hive
文章平均质量分 79
一米三的老阿姨
这个作者很懒,什么都没留下…
展开
-
hive查询,连接left join、inner join
1、创建表1.1、直接将一个表里的字段查出来放到新建的表中,字段hive会自动建好。create table temp_table stored as rcfile asselect id, name, age, schoolfrom table1where id=xxx;1.2、将表字段创建好,根据性别和省份分区,(分区字段不用写到字段里)create table temp_table1 (id...原创 2016-12-08 10:15:28 · 16092 阅读 · 2 评论 -
hive优化
学习笔记:hive优化1.join查询操作的基本原则:应该将条目少的表/子查询放在join操作符的左边,原因是在join操作的Reduce阶段,位于join操作符左边的表内容会被加载进内存,将条目少的表放在左边,可以减少发生内存溢出错误的几率。2、group by 优化数据倾斜聚合优化,设置参数hive.groupby.skewindata = true,当选项设定为 true,生原创 2016-11-28 12:54:23 · 347 阅读 · 0 评论 -
hive错误锦集
我的hive错误锦集-1性能问题:一个条件的错误在去年写了一个hive脚本,今年需求有变,条件细分。于是脚本改动较大,也没有考虑太多就开始改动。完成后测试运行速度,发现运行时间为改动前的三倍,当时需求很急,草草跑出数据提交了。后来又需要该脚本来用,才想起来效率问题,于是开始研究速度慢下来的原因。第一次将37个步骤的运行时间分离出来,发现问题出在某一个步骤上。这就好办了,单独拿出原创 2017-03-15 11:43:54 · 510 阅读 · 0 评论 -
hive的安装配置
1 使用yum安装mysql yum install mysql-server -y开启mysqlmysql -uroot -p没有启动mysql服务 service 启动:service mysqld start 、使用 mysqld 脚本启动:/etc/inint.d/mysqld start 3、使用 safe_my原创 2016-08-20 19:57:46 · 303 阅读 · 0 评论