2017年02月_AlferWei

11月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创 Spark 源码解析之SparkContext家族（二）SoarkContext都做了些什么

SparkContext作为Spark应用程序连接Spark集群的入口，对于学习Spark的运行机制与原理有重要的作用。SparkContext初始化时序图下面是阅读源码后做的SparkContext初始化时序图：结合源码，厘清SparkContext的初始化这里只列举了SparkContext初始化中的部分源码。设置SparkContext是否允许多个共存：...

2017-02-09 23:35:06 1230

原创 Spark源码解析之textFile

Spark加载文件的时候可以指定最小的partition数量，那么这个patition数量和读取文件时的split操作有什么联系呢？下面就跟着Spark源码，看看二者到底是什么关系。/*** Read a text file from HDFS, a local file system (available on all nodes), or any* Hadoop-supported file

2017-02-08 23:14:17 4034

翻译 Spark Release 2.. 新特性及修复的bug

Spark Release 2.0.0API StabilityCore and Spark SQL新特性Performance and RuntimeMLlibSparkRStreamingDependency, Packaging, and OperationsRemovals, Behavior Changes and DeprecationsSpark Re...

2017-02-06 17:31:19 657

原创 Centos7 网络配置

配置网卡BOOTPROTO=staticONBOOT=yesIPADDR=192.168.2.152NETMASK=255.255.0.0GATEWAY=192.168.0.1DNS1=218.2.135.1DNS2=114.114.114.114重启networksystemctl restart network.service如果启动network出错，可能是NetworkManag

2017-02-06 16:59:34 721

原创 Intellij Idea 修改 properties 文件编码

现象：idea 默认的properties文件是GBK，当有中文时，不同的客户端配置的编码不同时，可能产生中文乱码。解决：修改properties的默认编码，统一为utf8。File -> Settings -> File Encodings -> Default encoding for properties file -> UTF-8

2017-02-06 09:50:53 30046 6

原创 Spark SQL 与 Spark SQL on Hive 区别

Spark SQL Data Sourcespark 2.0.2通用的数据载入功能最简单的形式，默认的数据源格式是parquet，当然默认的格式可以通过spark.sql.sources.default进行配置：val usersDF = spark.read.load("examples/src/main/resources/users.parquet")usersDF...

2017-02-05 00:03:30 2403