hive
Bonyin
这个作者很懒,什么都没留下…
展开
-
Hive-1.2.2安装的过程说明
通过上传hive的包,解压,修改参数,配置环境变量,启动服务这几个过程完成。 关于修改参数:在经过tar zxvf apache-hive-1.2.2-bin.tar.gz解压之后。 cd apache-hive-1.2.2-bin/conf目录下面; 1、执行cp hive-site.xml.temple hive-site.xml 添加如下的参数; #首先是要配置mysql数据库来...原创 2018-08-17 08:53:03 · 621 阅读 · 0 评论 -
Hive的连接方式。。。。。
1、直接在安装完hive之后,进入到bin目录下面./hive启动就ok了: [hadoop@mini10 bin]$ ./hive Logging initialized using configuration in file:/home/hadoop/apps/apache-hive-1.2.2-bin/conf/hive-log4j.properties hive> show da...原创 2018-10-20 00:11:43 · 751 阅读 · 0 评论 -
Hive里面的时间函数。。
转自https://blog.csdn.net/qq646748739/article/details/77997276 --Hive中日期函数总结: --1.时间戳函数 --日期转时间戳:从1970-01-01 00:00:00 UTC到指定时间的秒数 select unix_timestamp(); --获得当前时区的UNIX时间戳 select unix_timestamp('2017-0...转载 2018-10-22 09:38:49 · 297 阅读 · 0 评论 -
利用Zeppelin来操作Hive数据仓库。
zeppelin的操作流程: 首先添加hive的interpreter 相关的配置信息如下所示: 另外还要添加相关的依赖: hive的操作方式 利用hiveserver2来操作 首先要启动元数据服务 cd hive cd bin ./hive --service metastore & //后台启动 ./hive --service hiveserve...原创 2018-12-04 21:13:23 · 4059 阅读 · 0 评论 -
Hive里面的数据倾斜以及解决方法
数据倾斜是进行大数据计算时最经常遇到的问题之一。当我们在执行HiveQL或者运行MapReduce作业时候,如果遇到一直卡在map100%,reduce99%一般就是遇到了数据倾斜的问题。数据倾斜其实是进行分布式计算的时候,某些节点的计算能力比较强或者需要计算的数据比较少,早早执行完了,某些节点计算的能力较差或者由于此节点需要计算的数据比较多,导致出现其他节点的reduce阶段任务执行完成,但是这...转载 2018-11-27 18:10:00 · 605 阅读 · 0 评论 -
Idea 里面创建Mavenproject 利用sparkSQL操作Hive
1、创建maven project,这个就在不说了。project结构如下所示, 2、添加pom文件的spark依赖。 <properties> <spark.version>2.2.0</spark.version> <scala.version>2.11</scala.version> </proper...原创 2019-03-11 20:34:42 · 3344 阅读 · 0 评论 -
关于HIve里面的join操作的案例。。。
hive 练习案例: ①wordcount 上传数据到hdfs上,创建external表去关联数据, 执行操作: 说明:explode函数可以把行数据按照指定的规则切分成多行数据 select count(*) from (select explode(split(line, ‘,’)) a1 from word) w1 group by w1.a1; //则完成单词计数的需求 ②re...原创 2019-03-20 23:30:41 · 371 阅读 · 0 评论 -
Hive的优化笔记。。。
1)map side join mapJoin的主要意思就是,当链接的两个表是一个比较小的表和一个特别大的表的时候,我们把比较小的table直接放到内存中去,然后再对比较大的表格进行map操作。join就发生在map操作的时候,每当扫描一个大的table中的数据,就要去去查看小表的数据,哪条与之相符,继而进行连接。这里的join并不会涉及reduce操作。map端join的优势就是在于没有sh...原创 2019-03-21 21:54:28 · 134 阅读 · 0 评论