总结一下:这个clickhousetohive踩过的坑
首先拿到需求后第一件事情就是得明白自己要干什么事,当然是把环境搭建好啊,我这里在配置idea的时候出现了小插曲,maven的家目录指定和settingfile时出现报各种错误,原因就是没有选择自己安装maven的目录而是使用了默认的。
本地repository目录也要指定正确(本地仓库-集群)
接下来还是说下由于idea是基于Java开发环境,因此安装maven后,jdk是必须要安装的。配置好相关环境变量,由于scala是idea需要插件,因此还需要配置scala环境以支持写scala。当然了,Hadoop环境也是需要的,毕竟是要支持在集群上用的框架。写了个testhello的程序,正常运行。此时环境ok。
对了,这里还有个小建议,就是使用idea工具版本时,最好使用社区版,官方网站下载。破解版需要配置防止过期的那个破解码。
需求是将从clickhouse读取数据库里的表然后写入到hive的表
这篇说说踩坑的,说了这么多其他的。
中间过程踩坑顺序不一一说了。遇到过的问题点,想起啥说啥吧。
频繁出来了一个这么样的报错信息,弄了很久才找到解决办法: