SparkCore
文章平均质量分 76
魏忠贵
这个作者很懒,什么都没留下…
展开
-
二十四:RDD源码分析
一:初始Spark:进入官网 http://spark.apache.orgApache Spark™ is a unified analytics engine for large-scale data processingApache Spark是一个标准的大型数据处理分析引擎,具有如下4个特性:1.1:运行速度快:相对于hadoop:编程模型不一样:mapreduce是基于进程计算...原创 2019-03-08 21:37:22 · 248 阅读 · 0 评论 -
二十五:Caused by: java.net.UnknownHostException: nameservice1(CDH 5.14 部署spark2第一次运行报错)
一: 问题描述:CDH 5.14部署好spark2后,写了个WC统计程序,并写了如下执行语句:$SPARK_HOME/bin/spark2-submit \--master local[2] \--class com.weizonggui.core03.SparkContextApp \--name WCApp \/home/hadoop/G5-Spark-1.0.jar \hdfs...原创 2019-03-21 10:01:23 · 2634 阅读 · 0 评论 -
二十六:Spark-submit提交一个WC任务源码解析:
一:准备工作:1.1 准备一个被统计文件:[root@hadoop001 ~]# hadoop fs -ls /logs/inputFound 1 items-rw-r–r-- 3 root supergroup 97 2019-03-14 22:48 /logs/input/text.txt[root@hadoop001 ~]# hadoop fs -cat /l...原创 2019-03-27 16:53:14 · 398 阅读 · 0 评论