Spark Streaming 本地测试：读取Windows本地文本文件

Spark Streaming 本地测试

准备工作就不说了，网上一大堆，jdk，sdk，环境搭建。。。
直接进入正题

本地idea Spark Streaming 读取 Windows本地文本文件两种方法：

先提一下：测试前，请先写好SparkStreaming程序，并且跑起来，让它开始监听，然后你再传数据，不然你传了数据之后，再开监听，还监听个毛啊

（1）通过ssc的socketTextStream()方法，读取本地某个端口的数据：
    在cmd命令行中通过netcat 打开端口（没有装netcat的话，就去装一下吧，很有用，而且才100k不到，很小的），可以向规定端口中手动输入文本，也可以将已存在的文本传入该端口（端口内部其实就是读取了该文本的内容）

    对端口的操作(在cmd中输入)
①nc -l -p 7777
//打开端口，可以向端口中输入文本
②nc -l -p 7777 < c:/test.log
//向端口里传文本 （那个符号是小于号，小于号两边都要加空格哦，如果文件路径不对，会给出提示的，仔细修改就行了）

● 补充：向端口传入文本的方法有一个小问题，就是端口不会读取到该文本最后一行的内容，所以，为了保证文本内容完整地被读取到，可以在文本内容最后再换一行，这样没被读取到的内容其实就是最后那个空的一行了

SparkConf 等 的设置&#