使用win提交Spark Streaming程序的时候,出现了一下小小的问题,出现如下错误:
INFO JobScheduler: Added jobs for time 1482304253000 ms
一直循环打印这句话,始终没有出现Streaming时间片 batch的信息。
然后又偶尔出现一句警告:如下
WARN TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient memory
为什么会出现这个错误呢?有两种情况:第一就是内存不足,从第二个报错可以了解到
第二就是spark集群不能返回信息给主机。
什么意思呢?就是有一个sparkJob提交之后啊,他会返回一个进度给提交job的机器,然后这个消息一直没有被接收到。这就是第二种情况。
内存原因可以排除,那么就是第二种了。由于我使用的是windows。所以讲windows的ip和hostName添加到spark集群
解决方式:
1.打开windows的CMD
输出hostname 查看主机名
2.输入ipconfig查看ip
3.将这两个属性加入到spark主节点的hosts就行了。
运行解决问题!