WorldCount程序
一、需求:
对文本文件中的单词个数进行统计
二、步骤:
1.创建一个Spark Context
2. 加载数据
3.把没一行分割成单词
4.转换成键值对并且计数。
三、开发环境
IDEA+Maven, scala 2.11.8, CDH Spark2 2.1.1
四、代码开发
(1)pom.xml,配置如下:
<?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd"