总结一下:这个clickhousetohive踩过的坑(1)

总结一下:这个clickhousetohive踩过的坑
首先拿到需求后第一件事情就是得明白自己要干什么事,当然是把环境搭建好啊,我这里在配置idea的时候出现了小插曲,maven的家目录指定和settingfile时出现报各种错误,原因就是没有选择自己安装maven的目录而是使用了默认的。
本地repository目录也要指定正确(本地仓库-集群)
在这里插入图片描述
接下来还是说下由于idea是基于Java开发环境,因此安装maven后,jdk是必须要安装的。配置好相关环境变量,由于scala是idea需要插件,因此还需要配置scala环境以支持写scala。当然了,Hadoop环境也是需要的,毕竟是要支持在集群上用的框架。写了个testhello的程序,正常运行。此时环境ok。

对了,这里还有个小建议,就是使用idea工具版本时,最好使用社区版,官方网站下载。破解版需要配置防止过期的那个破解码。
需求是将从clickhouse读取数据库里的表然后写入到hive的表

这篇说说踩坑的,说了这么多其他的。
中间过程踩坑顺序不一一说了。遇到过的问题点,想起啥说啥吧。
频繁出来了一个这么样的报错信息,弄了很久才找到解决办法:

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值