Hadoop
javartisan
年轻人,静下心来做事吧!
展开
-
Spark On Yarn 知识点
1:Adding Other JARsIn cluster mode, the driver runs on a different machine than the client, so SparkContext.addJar won’t work out of the box with files that are local(local动词,那些被被本地化到client的原创 2016-10-10 09:18:43 · 774 阅读 · 0 评论 -
浅读HDFS文件上传部分的过程源码
FileSystem类的继承结构 FileSystem的文件注释: An abstract base class for a fairly generic filesystem. It may be implemented as a distributed filesystem, or as a "local" one that reflects the locally-c原创 2016-08-30 09:39:26 · 1052 阅读 · 0 评论 -
Hadoop命令行警告信息解决方案
虽然开发使用hadoop很久,但是一直没有尝试过编译hadoop源码,此次正好因为有32位版本有兼容警告,促使我尝试编译一下hadoop源码顺便解决一下警告问题。运行hdfs dfs -ls ./ 会有如下警告:WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform...原创 2017-05-14 12:33:10 · 1044 阅读 · 0 评论 -
Spark On Yarn ERROR spark.SparkContext: Error initializing SparkContext.
当初搭建Spark On Yarn时候 配置yarn端获取spark运行的jar包时候,配置如下:spark.yarn.jars hdfs:///sparkrunjar/提交程序:spark-submit --class org.apache.spark.examples.SparkPi --master yarn --deploy-mode client原创 2016-11-01 22:29:10 · 14281 阅读 · 0 评论 -
Hadoop-MapReduce提交作业以及划分分片的源码分析(一)
MapReduce也写了很久,却一直没有系统的整理一下知识,从这篇文章开始争取坚持系统的整理学习一番!1: 任何一个Mapreduce作业都是以org.apache.hadoop.mapreduce.Job的submit或者waitForCompletion方法完成到集群的提交!这两个方法区别就是提交完毕作业之后客户端是否与Job的Driver断开,类似于Spark的--deploy-mode...原创 2018-11-13 21:38:55 · 738 阅读 · 0 评论