Spark推荐系统
点击上方蓝字关注~
1、本地环境配置jdk、scala (自行配置环境变量。可百度)
2.本地环境配置hadoop 并配置环境变量
3.使用pom文件
4.idea 用spark测试wordcount
代码效果如下
↓↓↓
5.idea连接hive(两种方式)
两种模式各有利弊,看自己喜好
1)可以连接远程mysql (优点可与集群数据同步,缺点就是每次需要开集群 )
将你的hive-site的配置文件拷贝到 idea的这个路径
2)可以用derby模式 (本地模式,完全脱离集群。)
不用做任何调整。但是元数据是空的,需要自己创建表
效果演示
↓↓↓
idea 连接kafka
补充下idea项目配置
(附:详细代码及本地hadoop请长按或扫描上方二维码进行下载)
长按识别二维码关注我们
一起来唠唠呗