![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spark
不会码代码的垃圾码农
Winter is coming!
展开
-
使用pyspark时报错--FileNotFoundError: [WinError 2] 系统找不到指定的文件。
使用pyspark时报错?所有的都调试好了,cmd运行pyspark也可以,但在python里的ide运行这一段程序总是报错。from pyspark importSparkConf,SparkContextfrom py4j.java_gatewayimport JavaGateway# 初始化Sparkconf = Spa原创 2017-08-18 16:11:28 · 6708 阅读 · 1 评论 -
hadoop-2.7.3 在windows环境下安装(无需Cygwin)
转自:http://blog.csdn.net/kokjuis/article/details/53537029 最近折腾文件系统,用到了hadoop,虽然项目是部署在Linux下的。但自己平时开发用的是windows系统(本人用的是win10 64bit)。为了方便开发和调试,所以打算在windows环境下安装hadoop。 往上找了几篇文章,都说得转载 2017-09-07 16:02:37 · 858 阅读 · 0 评论 -
在spark上运行scala代码,出现ClassNotFoundException
几个jvm运行报错说明如名字所言,一个exception,一个error, 而error是不建议捕捉的;classNotFound主要发生在Class.forName, ClassLoader.loadClass, Classloader.findSystemClass时动态加载类到内存中时,如果没有找到该类就会抛;还有一个原因是该类已经加载到内存中去了,此时另一个类加载器又尝试动态从转载 2017-09-28 09:48:16 · 1645 阅读 · 0 评论 -
大数据研发岗面经小结(涉及阿里,网易 云音乐以及商汤科技)
大数据研发岗面经小结(涉及阿里,网易 云音乐以及商汤科技)项目方面:项目闪光点、优化点、涉及到的关键技术这些基本都会问,事先最好准备一下、如果有开源项目经验就更好。语言方面:至少精通一门语言Java或C/C++等(以Java为例),java内存模型、gc回收算法、各种gc回收器的使用场景;类加载机制以及涉及到的一系列问题;volatile特性、主内存与工作内存交互、happ原创 2017-09-29 10:08:03 · 4665 阅读 · 2 评论