2017年12月_杨士超

12月 10月 09月 07月 06月 03月 02月 01月

原创 BigData进阶--Spark的RDD操作

在上篇博文中已经讨论过Spark的RDD和DataFrame，这篇就来探究一下RDD集的具体操作。 Spark中RDD是一个不可变的分布式对象集合，每个RDD都被分成多个分区，这些分区运行在集群中的不同节点上。用户可以通过两种方式来创建RDD集合：读取外部数据集和在驱动器程序里分发驱动器程序中的对象集合（比如list和set）。创建完成后，RDD支持转化操作和行为操作，通俗的来讲，就是将R

2017-12-26 18:09:35 728

原创 BigData进阶--Spark中的函数与符号

刚接触spark不久，整理一些常用的方法与大家分享：1.Character.isDigit() 判断是否为数字2.Character.isLetter(): 判断是否为字母3.ToList.takeWhile(x=>x != B): takeWhile的判断结果是Boolean，只要x值不等于B，则继续取；否则停止取元素的操作4.map函数：

2017-12-26 18:08:14 1231

原创 BigData进阶--细说RDD，DataFrame，Dataset的区别

在spark中有重要的组件SparkContext和SQLContext，在读取数据文件时我们可以通过这两个组件进行不同形式的读取，比如：val conf = new SparkConf().setMaster("local").setAppName("testRead")val sc = new SparkContext(conf)val readFile = sc.textFil

2017-12-26 18:06:10 3722 2

高级软考真题（17.11-19.05）.zip

高级软考从2017年11月进行了改版，上传的文档中仅包括2017年11月改版以来到2019年05的真题及解析，下载后可直接打印。答案解析准确，详细，若需要2017年11月之前的可直接在我的博客下方留下邮箱，我会把其他年份的真题和解析都发送给大家。

2019-12-19

hadoop/bin文件

解决hadoop中java.io.IOException: Could not locate executable ${hadoop解压路径}\bin\winutils.exe in the Hadoop binaries的问题；

2017-10-12

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人