![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
whoami_zy
whoami
展开
-
Spark的环境搭建以及简单的eclipse的两种运行方式--standalone和yarn
前言:会一些linux的基础,以及java基础。以及是先搭建好java环境,搭建环境是单机版。假定ip:192.168.248.133步入正轨,我们直接来说说怎么搭建一个基于hadoop的spark环境。目的能够让spark将job提交到hadoop上处理。利用hadoop的分布式框架。第一步:搭建hadoop的单机环境1.在/etc/hostname 下修改对应的名字。 比如原创 2016-12-01 15:25:29 · 4604 阅读 · 4 评论 -
win提交spark程序
使用win提交Spark Streaming程序的时候,出现了一下小小的问题,出现如下错误:INFO JobScheduler: Added jobs for time 1482304253000 ms一直循环打印这句话,始终没有出现Streaming时间片 batch的信息。然后又偶尔出现一句警告:如下WARN TaskSchedulerImpl: Initial job has原创 2016-12-21 15:23:37 · 630 阅读 · 0 评论