![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
项目
throws-Exception
这个作者很懒,什么都没留下…
展开
-
kettle正确连接Hive的姿势 亲测有效
一、版本1、hive-1.1.0-cdh5.14.2.tar.gz2、hadoop-2.6.0-cdh5.14.2.tar.gz3、pdi-ce-8.2.0.0-342.zip注:我用的是cdh版本,如果和我同版本的hadoop一定要用这个版本的Kettle,你真的信我试了五个kettle版本,亲测有效,试的都快哭了。二、kettle安装解压就可,但是前提是已经安装了JDK。三、添加驱动E:\Software\Kettle\data-integration\plugins\pentaho-b原创 2020-11-19 15:57:01 · 5385 阅读 · 1 评论 -
大数据项目实战——数据流程:Flume->Kafka->SparkStreaming->Kafka
项目基本需求:利用Flume监控文件,将文件读取到Kafka中,再从Kafka中读入到SparkStreaming,在SparkStreaming中经过简单的处理后再写入到Kafka中。原数据格式数据为用户的朋友关系,一个用户对应很多个朋友,大概有几十万的数据,有需要数据的可以联系我。Flume监控文件读入到Kafka中a6.sources=s6a6.channels=c6a6.sinks=k6a6.sources.s6.type=spooldira6.sources.s6.spool原创 2020-08-28 11:01:36 · 210 阅读 · 0 评论