![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
想拥有一片海
这个作者很懒,什么都没留下…
展开
-
采用Flume作为Spark Streaming数据源的编程实践
采用Flume作为Spark Streaming数据源的编程实践一、Flume的安装和使用1. flume 的下载2. 写环境变量3.修改配置文件4.验证是否安装成功2.写在前面我的spark集群的配置状态:我使用的是windows系统,安装了wsl子系统(Ubuntu),然后在Ubuntu中安装了docker,搭建了一个master两个slave的centos集群。一、Flume的安装和使用1. flume 的下载官网:http://flume.apache.org/download.htm原创 2020-12-31 15:18:54 · 1377 阅读 · 2 评论 -
IDEA连接wsl内docker的spark集群(scala版)
IDEA连接wsl内docker的spark集群前提条件已经在Ubuntu系统中配置完成spark集群!!!写在前面:我的环境基本如下图:在win 10中安装wsl(Ubuntu),然后在这个Ubuntu子系统中使用docker搭建了spark集群。节点IPmaster172.17.0.2slave1172.17.0.3slave2172.17.0.4windows的IP信息:Ubuntu系统的ip信息:Ubuntu系统的ip信息较多,但是大原创 2020-12-07 09:37:24 · 1268 阅读 · 1 评论 -
Spark:java.lang.ClassNotFoundException: computePI$$anonfun$1
使用IDEA远程提交jar到spark集群出错:java.lang.ClassNotFoundException: computePI$$anonfun$1这个问题困扰了我很长时间,我大概花费了三四天的时间,不停的找问题,不停的找原因,经过不断的尝试才发现原因所在。具体的报错信息如下:20/12/07 08:32:33 WARN TaskSetManager: Lost task 0.0 in stage 0.0 (TID 0, 172.17.0.3, executor 2): java.lan原创 2020-12-07 09:36:00 · 529 阅读 · 0 评论 -
IDEA将Scala程序封装成jar(提交spark集群)
IDEA将Scala程序封装成jar(提交spark集群)我从网上看了好几篇博客介绍如何在IDEA中封装jar,内容大体相同,但是也有细微的差别,可能是对于特定的任务有不同方法,但是对我提交spark集群不起作用,现将正确的方法写下。写在前面需要先安装maven环境,并且在IDEA 中配置好。(IDEA中好像可以下一个maven的小插件,有个简单版的maven,但是我没有采用,因为我原来的环境中已经添加过maven)具体步骤在项目的根目录鼠标右击选择打开项目设置(没有汉化的化,请直接翻译)原创 2020-12-07 09:34:52 · 937 阅读 · 1 评论