SparkCore
文章平均质量分 76
魏忠贵
这个作者很懒,什么都没留下…
展开
-
二十四:RDD源码分析
一:初始Spark: 进入官网 http://spark.apache.org Apache Spark™ is a unified analytics engine for large-scale data processing Apache Spark是一个标准的大型数据处理分析引擎,具有如下4个特性: 1.1:运行速度快: 相对于hadoop:编程模型不一样:mapreduce是基于进程计算...原创 2019-03-08 21:37:22 · 245 阅读 · 0 评论 -
二十五:Caused by: java.net.UnknownHostException: nameservice1(CDH 5.14 部署spark2第一次运行报错)
一: 问题描述: CDH 5.14部署好spark2后,写了个WC统计程序,并写了如下执行语句: $SPARK_HOME/bin/spark2-submit \ --master local[2] \ --class com.weizonggui.core03.SparkContextApp \ --name WCApp \ /home/hadoop/G5-Spark-1.0.jar \ hdfs...原创 2019-03-21 10:01:23 · 2595 阅读 · 0 评论 -
二十六:Spark-submit提交一个WC任务源码解析:
一:准备工作: 1.1 准备一个被统计文件: [root@hadoop001 ~]# hadoop fs -ls /logs/input Found 1 items -rw-r–r-- 3 root supergroup 97 2019-03-14 22:48 /logs/input/text.txt [root@hadoop001 ~]# hadoop fs -cat /l...原创 2019-03-27 16:53:14 · 383 阅读 · 0 评论