利用talend从mysql抓取数据传送到hive具体步骤:
首先从mysql将数据抽取出来存放到HDFS上,再从HDFS转存到Hive,主要用到的控件如下图:
对于tHiveLoad的配置
FilePath路径是指HDFS上存放的从mysql导出的数据的地址,如果是单机环境,上面的地址可以直接改成/TDTest/hivetest2.csv 集群环境的话就要加上集群名字hdfs://QHFS
其中QHFS是集群的名字,同时还要注意将namenode的机器名要映射为集群名,不然运行的时候会报错。