- 博客(3)
- 收藏
- 关注
RSS订阅原创 RDD数据去重（时间连续变化，断面以及客流连续不变的只保留第一条记录）
先将RDD按断面分组，生成新的RDDrdd.groupBy(s => (s.station_fore,s.station_back)).map(s=> cleandata(s)).flatMap(s=>s)//flatMap将数组展开，每条数据生成一条记录def cleandata(data:((String,String),Iterable[sample])):Array[sa...
2018-03-13 09:28:29
1523
原创 spark基础知识点
1. Spark是一个基于内存的用于处理、分析大数据的集群计算框架。他提供了一套简单的编程接口，从而使得应用程序开发者方便使用集群节点的CPU、内存、存储资源来处理大数据。2. Spark主要特点：1. 使用方便：spark提供了比MapReduce更简单的编程模型。Spark针对开发大数据应用程序提供了丰富的API，这些API比Hadoop MapReduce更易读懂。相...
2018-03-12 23:18:13
639
原创 Python-Fatal error in launcher: Unable to create process using '"'
将python3.6安装在C:\Python36目录下然后进入C:\Python36目录下执行pip -V能正常使用但是为了同时使用python2和python3，于是将python.exe改名为python3.exe,重新执行pip -V发现错误C:\Python36>pip3Fatal error in launcher: Unable to create process using ...
2018-03-08 10:55:06
565
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人