前方的路在刚开始

这个只能手动导入，其他alt+enter，选择带spark的包。kafka版本是2.0.0。scala版本是2.11。spark版本是2.4。导入kafka相关依赖。

local就是用本地spark执行，除了测试以外基本不会用，而且如果使用yarn模式或者其他模式，在代码中使用了local，还会导致spark-submit提交时，spark不知道以yarn模式运行还是以local模式执行，导致报错。spark-submit yarn提交任务，他会去读取HADOOP_HOME目录下yarn-site.xml以及其他配置，然后，通过driver去连接配置所对应的工作节点（集群上的节点），然后执行任务，将日志同步给本节点。yarn模式 cdh的模式 ，也是国内最多的模式。..

里面加1个这个，记得要先创建hadoop fs -mkdir /test。insert into 表 select * xxx。首先除了spark的依赖外要加上。然后将文件copy到项目的。

尤其是这2个，要删除，否则会导致你设置的log4j.proerpties失效。1.直接在代码里设置日志级别，包含直接类中添加，和使用继承类（不推荐）spark默认会答应info，信息，他内置有log4j。3.添加log4j.prperties。创建一个这样的文件，名称也要一样。2.修改他的全局配置（不推荐）故，我们有3种方式解决。...

Scala - IntelliJ IDEs Plugin | Marketplace下载idea，scala插件，按照下面的图，选择对应的版本范围内的scala放入idea,plugins目录下，解压https://www.scala-lang.org/download/上下载。点击Browse按钮，在弹出的对话框中加载scala安装后的文件夹。加载完成后可看到相应的scala SDK，然后点击Finish即可不好意思大家，因为太忙了，所...