初探Spark-使用大数据分析2000W行数据

初学spark和scala，做些小分析练习，学习资料可以看看这里

如何搭建scala环境和spark环境我就不说了，网上一堆堆的。

---

开发环境
scala version：2.11.2 
spark version：spark-2.0.0-bin-hadoop2.4
Eclipse：4.4.2 Juno Service Release 2

本次实例是单机运行的，步骤如下：
1. 模拟2000W人口数据
2. 编写程序分析男女比例分布
3. 编写程序分析人口星座分布

---

一、 模拟数据

2000W行数据是自己模拟出来的，模拟随机生成人口资料。

package com.soecode.SparkDemo

import java.io.PrintWriter

/**
 * 模拟一个城市人口
 */
object CreateTestFile {
   
    def main(args: Array[String]) {
        val start = System.currentTimeMillis();
        val out = new PrintWriter("d://renkou.txt")

        for(i <- 1 to 20000000){
            out.println(i+","+getName+","+getBirth+","+getSex)
        }
        out.close()
        val end = System.currentTimeMillis();
        print("任务结束，耗时："+(end-start)+"ms")
    }

    //随机产生名
    de