![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hive
nucheima
我还是我!
展开
-
Hadoop家族安装系列(3)——hive0.12安装
在Hadoop1.2.1分布式集群环境下安装hive0.12 ● 前言:1. 大家最好通读一遍过后,在理解的基础上再按照步骤搭建。2. 之前写过两篇<<在VMware下安装Ubuntu并部署Hadoop1.2.1分布式环境>>、《在Hadoop1.2.1分布式集群环境下安装Mahout0.9框架》都是Hadoop家族一系列的,后续还会有其它内容,敬请期待!...原创 2014-03-08 22:30:03 · 196 阅读 · 0 评论 -
hive学习总结(9)—数据库创建、表创建、加载数据
--创建数据库create database if not exists sopdmcomment ‘this is test database’with dbproperties(‘creator’=’gxw’,’date’=’2014-11-12’) --数据库键值对属性信息location ‘/my/preferred/directory’; --查...2014-11-25 23:00:24 · 375 阅读 · 0 评论 -
hive学习总结(8)—hive注意点
--自动补全功能:tab键 --可以把“设置系统属性变量,增加hadoop分布式内存,自定义hive扩展的jar包”放在“$HOME/.hiverc”文件中 --在hive的CLI中执行bash shell命令,只要在命令前加上!,并且以分号(;)结尾就可以! /bin/echo “what up dog”; --在hive中使用hadoop的dfs...2014-11-24 19:41:04 · 261 阅读 · 0 评论 -
hive学习总结(7)—hive性能调优
limit限制调整--因为使用limit语句时候,是先执行整个查询语句,然后再返回部分结果的set hive.limit.optimize.enable=true;set hive.limit.row.max.size=10000;set hive.limit.optimize.limit.file=10; 2.JOIN优化。。。 3. 本地模式--h...2014-11-24 19:35:31 · 929 阅读 · 0 评论 -
hive学习总结(6)—hive参数设置方法
1. 参数声明:在hive的CTL环境中设置(临时)比如:set hive.fetch.task.conversion=more; 2.命令行设置:使用hadoop命令设置(临时)hive --hiveconf hive.fetch.task.conversion=more; 3.配置文件:--${HIVE_HOME}/conf/hive-site.xml里面加入以下配...2014-11-23 00:29:06 · 315 阅读 · 0 评论 -
hive学习总结(5)—分区、分桶和索引
1.分区 分区是以字段的形式在表结构中存在,通过describe table命令可以查看到字段存在, 但是该字段不存放实际的数据内容,仅仅是分区的表示(伪列)。 (1)静态分区create table if not exists sopdm.wyp2(id int,name string,tel string)partitioned by(age int)row fo...2014-11-23 00:27:08 · 353 阅读 · 0 评论 -
hive学习总结(4)—hive中所有join
1. 内连接:inner join --join优化:在进行join的时候,大表放在最后面 --但是使用 /*+streamtable(大表名称)*/ 来标记大表,那么大表放在什么位置都行了 select /*+streamtable(s)*/ s.ymd,d.dividend from stocks s inner join dividends d on s...2014-11-21 11:26:35 · 818 阅读 · 0 评论 -
hive学习总结(3)—从文件中加载执行语句
1. 从文件中执行hql语句 hive -f test.hql; 2. 在hive shell中使用source执行脚本 source test.hql; 注:hive执行语句的文件通常使用.hql或.q为后缀名,但不是必须的。...2014-11-21 11:18:24 · 257 阅读 · 0 评论 -
hive学习总结(2)—Hive几种导出数据方式
1.拷贝文件 如果数据文件恰好是用户需要的格式,那么只需要拷贝文件或文件夹就可以。hadoop fs –cp source_path target_path 2.导出到本地文件系统 --不能使用insert into local directory来导出数据,会报错--只能使用insert overwrite local directory来导出数据...2014-11-20 15:04:51 · 509 阅读 · 0 评论 -
hive学习总结(1)—Hive几种数据导入方式
1.从本地文件系统中导入数据到hive表 (1)数据准备(/home/sopdm/test.dat): 1,wyp,25,13188888888 2,test,30,13899999999 3,zs,34,89931412 (2)首先创建表use sopdm;drop table if exists sopdm.wyp;create tabl...2014-11-20 14:56:53 · 797 阅读 · 0 评论 -
hive学习总结系列—目录导航
hive学习总结(1)—Hive几种数据导入方式hive学习总结(2)—Hive几种导出数据方式hive学习总结(3)—从文件中加载执行语句hive学习总结(4)—hive中所有joinhive学习总结(5)—分区、分桶和索引hive学习总结(6)—hive参数设置方法hive学习总结(7)—hive性能调优hive学习总结(8)—hive注意点hive学习总结...2014-11-25 23:06:50 · 626 阅读 · 0 评论