- 博客(4)
- 问答 (1)
- 收藏
- 关注
原创 Linux命令
LINUX SED命令sed命令常用参数常见的语法示例s(substitute)命令flags标记及功能(s/被替换/替换/flag)sed d (delete)删除命令sed a (append) i(insert) c(replace) r(read)命令sed y 字符替换脚本命令sed p(print)打印命令sed w(write)将匹配的行写入指定文件中sed q (quit)退出命...
2020-05-07 10:36:59 188 1
原创 Spark入门——SparkContext启动详解
SparkContext是Spark程序的入口。所以了解SparkContext的启动过程很有必要,SparkContext初始化过程主要干了如下几件事情: 根据SparkContext的构造参数SparkConf创建SparkEnv 创建TaskScheduler,并初始化 创建DAGScheduler 初始化SparkUI 还没写完。。。。
2017-10-01 21:24:35 718
转载 Spark:宽依赖(shuffle dependency)和窄依赖(narrow dependency)
宽依赖是指父RDD的每个分区都可能被多个子RDD分区使用。 窄依赖是指父RDD的每个分区只被某一个子RDD分区使用。
2017-10-01 15:59:38 1488
原创 Spark源码分析——Spark整体架构
Spark源码分析——Spark架构常用术语 术语 描述 Application 用户编写的程序。(Driver端的SparkContext、SparkConf和运行在Executors上用户编写的业务逻辑代码即map、reduce、reduceByKey等) Driver 执行用户编写应用程序的main()方法并创建SparkContext Worker 具体运行应用
2017-10-01 14:02:53 538
空空如也
java 的Scanner的问题
2017-09-13
TA创建的收藏夹 TA关注的收藏夹
TA关注的人