初学spark和scala,做些小分析练习,学习资料可以看看这里
如何搭建scala环境和spark环境我就不说了,网上一堆堆的。
开发环境
scala version:2.11.2
spark version:spark-2.0.0-bin-hadoop2.4
Eclipse:4.4.2 Juno Service Release 2
本次实例是单机运行的,步骤如下:
1. 模拟2000W人口数据
2. 编写程序分析男女比例分布
3. 编写程序分析人口星座分布
一、 模拟数据
2000W行数据是自己模拟出来的,模拟随机生成人口资料。
package com.soecode.SparkDemo
import java.io.PrintWriter
/**
* 模拟一个城市人口
*/
object CreateTestFile {
def main(args: Array[String]) {
val start = System.currentTimeMillis();
val out = new PrintWriter("d://renkou.txt")
for(i <- 1 to 20000000){
out.println(i+","+getName+","+getBirth+","+getSex)
}
out.close()
val end = System.currentTimeMillis();
print("任务结束,耗时:"+(end-start)+"ms")
}
//随机产生名
de