hive
富的只剩下代码
富的只剩下代码
展开
-
Hive介绍及部署最详细文档
问题导读1、Hive的概念以及优缺点。2、Hive的执行流程。3、了解Hive的运行框架,以及Hive架构包括哪些组件?4、Hive的搭建过程。5、如何设置安装Mysql、设置root密码、Hive用户和创建Hive数据库?6、安装Hive过程中如何设置相关的环境变量?7、如何验证Hive是否安装成功?8、解决问题:设置MySql数据库root用户密码报错、Hive转载 2016-05-13 10:08:15 · 4648 阅读 · 0 评论 -
hive介绍
1.hive是什么 也许在你学习hive时,你已经学习过mapreduce,学习过mapreduce的应该知道, mapreduce是一个分布式的计算框架,当数据量小的时候,很难看出来mapreduce的优势,就好比说你用winrar将1kb的文件压缩后反而变大到十几kb的样子,使用mapreduce来计算小数据量时的性能还不如简单几行java代码的性能。 当数据量达到TB级原创 2016-05-14 10:48:10 · 1629 阅读 · 0 评论 -
hive的三种启动模式
hive的三种启动模式1.local模式,hive自带的有一个Derby数据库,非常简单只能有一个用户登录进去,一般只会在测试的时候用一下。2.单用户模式,将元数据存放到关系型数据库(常见的mysql,oracle,sql server等等。)中,也是经常使用的一种模式这种模式有一个问题,当多个用户对元数据进行操作时会引起操作上的冲突,这样我们就可以使用多用户模式。3.多用户模式,原创 2016-05-16 07:23:57 · 1858 阅读 · 1 评论 -
The auxService:mapreduce_shuffle does not exist
解决办法是:vim etc/hadoop/yarn-site.xml yarn.nodemanager.aux-services mapreduce_shuffle --------注意事项:是mapreduce_shuffle 不是 mapreduce.shuffle然后重新启动 hadoop 即可。原创 2016-05-29 15:32:54 · 1604 阅读 · 0 评论 -
hive本地mysql
hive本地mysql原创 2016-05-29 16:55:14 · 454 阅读 · 0 评论 -
开启Hive的本地模式
原文地址:https://blog.csdn.net/zyq11223/article/details/78846886先讲一个hive使用的一个小技巧。对于使用惯了oracle数据库的人来说,hive中没有dual啊,想验证一些函数的执行结果很是麻烦。比如我们在oracle数据库里面可以写select (1+2) from dual可以返回3。为了保证使用习惯,我们类似的在hive中...转载 2019-04-28 14:50:07 · 515 阅读 · 0 评论 -
Hive的三种Join方式
Hive中就是把Map,Reduce的Join拿过来,通过SQL来表示。参考链接:https://cwiki.apache.org/confluence/display/Hive/LanguageManual+JoinsCommon/Shuffle/Reduce JoinReduce Join在Hive中也叫Common Join或Shuffle Join如果两边数据量都很大,它会进行...转载 2019-04-28 14:51:55 · 283 阅读 · 0 评论 -
Hive面试问题1
A所有的hive任务都会有reducer的执行吗?答:不是,由于当前hive的优化,使得一般简单的任务不会去用reducer任务;只有稍微复杂的任务才会有reducer任务举例:使用select*fromperson;就不会有reducer使用frompersonpinsertintoperson2selec...转载 2019-04-29 14:39:24 · 306 阅读 · 0 评论