2019年09月_jsaon_pg

09月 08月 04月

原创 spark编写wordcount程序

object WordCount { def main(args: Array[String]): Unit = { val lines = Array("hello tom hello jerry", "hello kitty hello tom", "hello tom tom") //按空格切割行成词，形成RDD(Array(),Array(),...)，在flat...

2019-09-17 15:32:22 321

原创 spark累加器Accumulator

1 使用累加器的背景spark在调度任务时，master会挑选一个worker成为driver。在使用spark的action算子时，会触发job任务，开始计算。此时，开始切分，driver分发Task给相应的executor，每个executor是相对独立的。对应在action算子范围内的变量会各自独立。如果在action算子代码内使用driver算子代码范围的变量，会形成在每个exe...

2019-09-17 15:18:32 196

Hadoop安装教程.docx

hadoop的完全分布式安装配置流程，没有关于HA机制的描述，如果不想要下载，我在我的博客也有相关内容的描写，可以直接访问我的博客进行访问。

2019-08-27

The_C_programming_Language(中文版).pdf

2016-08-20

centos6.6的x window system的配置文件在哪？如何读懂？

2017-06-02

模电运算电路中同相与反相端电阻的关系

2016-09-21

TA创建的收藏夹 TA关注的收藏夹

TA关注的人