![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
细细品味-hive
文章平均质量分 64
sungang1120
这个作者很懒,什么都没留下…
展开
-
total number of created files now is 100385, which exceeds 100000. Killing the j
今天将临时表里面的数据按照天分区插入到线上的表中去,出现了Hive创建的文件数大于100000个的情况,我的SQL如下: hive> insert overwrite table test partition(dt) > select * from table_tmp; table_tmp表里面一共有570多G的数据,一共可以分成76个分区,SQL运行的时...原创 2015-12-07 10:17:50 · 3273 阅读 · 0 评论 -
ClassNotFoundException: Class org.apache.hadoop.hive.contrib.serde2.RegexSerDe n
今天使用flume采集apache access log到hive表中,然后使用hiveQL进行日志分析,出现错误: 需要修改 1,HIVE_HOME/conf/hive-env.sh 加上HADOOP_HOME=you home 2,HIVE_HOME/conf/hive-site.xml 加上 <property> &l...原创 2015-12-08 13:13:30 · 444 阅读 · 0 评论 -
使用flume日志采集直接将采集数据导入hive
今天给大家分享下 使用flume采集日志,直接将日志导入对应的hive表中,然后使用hive进行日志分析 下面就以apache access log为例 具体使用hive的外部表还是普通的表,个人决定哈 我这里就以普通表来讲解,首先我们创建一个hive表(注:此表我是从hive官网上直接拷贝修改了下表名,哈哈) 1,首先进入hive 命令行模式 我创建了一...原创 2015-12-08 13:34:24 · 3282 阅读 · 0 评论