hive
ASN_forever
这个作者很懒,什么都没留下…
展开
-
hive3.1.2安装
下载安装包https://pan.baidu.com/s/17qYstZwDRV5tjkysCfeEZw提取码:ue1l解压到指定目录,如/opt/bigdata/hive-3.1.2配置环境变量export HIVE_HOME=/opt/bigdata/hive-3.1.2export PATH=$PATH:$HIVE_HOME/bin修改配置文件hive-site.xmlHive的默认配置文件是hive-default.xml.template,但里面有些错误。因此这里原创 2020-11-23 18:37:06 · 1129 阅读 · 0 评论 -
could only be written to 0 of the 1 minReplication nodes. There are 1 datanode(s) running and 1 node
问题描述在使用hive insert overwrite更新分区表的时候出现这个报错。意思是没用可用的DataNode了。解决方案网上看到的类似的解决方案有以下两种:但我这里都不是。我这里的原因是hdfs空间被占满了,而hive在执行的时候会往/tmp下读写大量的临时数据,由于没有空间而报错。默认情况下,hive脚本执行完之后会自动清理掉这些临时文件。这里之所以出现/tmp下大量文件没被清理,是因为之前自己有多次没等hive脚本执行完就Ctrl +c掉了,所以有大量临时文件未原创 2020-07-28 15:43:30 · 4678 阅读 · 4 评论 -
datax同步mysql数据到hive时,时间类型字段少8小时问题
现象在使用datax同步mysql数据到hive的时候,发现有些时间字段同步之后时间少了8小时。下面分析一下具体情况。背景知识首先,明确一下hive支持的时间类型和datax支持的时间类型有哪些。先看一下datax支持的数据类型:这是datax GitHub上的文档,可以看到datax支持的时间类型只有date和timestamp。接下来看一下hive3.x支持的数据类型:可以看到,hive也支持date和timestamp两种时间类型。但是datax和hive.原创 2020-07-09 10:13:41 · 4211 阅读 · 2 评论 -
datax同步mysql数据到hive
datax hdfswriter文档https://github.com/alibaba/DataX/blob/master/hdfswriter/doc/hdfswriter.md需要注意的是,hdfswriter写入时的字段分隔符,需要用户保证与创建的Hive表的字段分隔符一致,否则无法在Hive表中查到数据。另外,虽然hive3支持decimal格式,但是datax还不支持。。。因此datax作业中应该用string代替decimal。建表语句create external t.原创 2020-07-07 10:11:40 · 2310 阅读 · 0 评论 -
hive初始化mysql数据库报错
[root@master bin]# schematool -initSchema -dbType mysqlMetastore connection URL: jdbc:mysql://192.168.89.128:3306/hive?createDatabaseIfNotExist=true&useSSL=falseMetastore Connection Driver...原创 2019-04-30 22:26:39 · 3145 阅读 · 0 评论 -
hive的安装配置(转)
https://blog.csdn.net/pucao_cug/article/details/71773665转载 2019-04-30 23:00:20 · 156 阅读 · 0 评论