idea本地调试spark，hive，kafka

  Spark推荐系统 

  点击上方蓝字关注～

 

      

 1、本地环境配置jdk、scala (自行配置环境变量。可百度)

   2.本地环境配置hadoop 并配置环境变量

3.使用pom文件

4.idea 用spark测试wordcount

代码效果如下

↓↓↓

5.idea连接hive(两种方式)

两种模式各有利弊，看自己喜好

1）可以连接远程mysql  （优点可与集群数据同步，缺点就是每次需要开集群 ）

将你的hive-site的配置文件拷贝到 idea的这个路径

2）可以用derby模式 （本地模式，完全脱离集群。）

不用做任何调整。但是元数据是空的，需要自己创建表

效果演示

↓↓↓

idea 连接kafka

补充下idea项目配置

（附：详细代码及本地hadoop请长按或扫描上方二维码进行下载）

长按识别二维码关注我们

一起来唠唠呗