![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hive
Keep hunger
把月份过成了日子,把恬淡揉散在心间
展开
-
Hive查询显示表头,以及切换本地模式
一:HIve中查询数据表中的信息默认是不显示表头的可以通过修改hive安装文件中的配置文件[hadoop@hadoop03 conf]$ vi hive-site.xml<property> <name>hive.cli.print.header</name> <value>true</value>...原创 2019-10-19 15:56:09 · 1391 阅读 · 2 评论 -
Hive--数据倾斜以及解决方案
数据倾斜一:什么是数据倾斜? 由于数据分布不均匀,造成数据大量的集中到一点,造成数据热点 ,简单来说就是大量相同的key被partition到同一个分区里面导致某些或者某个reducetask压力过大,而一些reducetask闲住。这样也违背了并行计算的初衷。二:数据倾斜的主要表现? 任务进度长时间维持在 99%或者 100%的附近,查看任务监控页面,发现只有少量 reduce 子任...原创 2019-10-20 23:11:02 · 425 阅读 · 0 评论 -
Hive--HQL的转换过程
Hive–HQL的转换过程文章目录**Hive--HQL的转换过程**一:Hive的执行过程概述:操作符列表Hive 编译器的工作职责:优化器的类型:二:具体转化过程1)join2)group by3)distinck一:Hive的执行过程概述:Hive 将 HQL 转换成一组操作符(Operator),比如 GroupByOperator, JoinOperator 等操作符 Ope...原创 2019-10-20 17:57:49 · 718 阅读 · 0 评论 -
Hive的shell以及Hive参数的配置
Hive的shell以及Hive参数的配置Hive的shell一:进入Hive的客户端之前执行语句相关的 hive -e "sql" ; hive -e "show dtabase;" 执行单个sql语句执行顺序是:启动客户端–》执行语句–》退出客户端; hive -f sql脚本; 创建一个文件shell.txt,写入sql脚本: create datab...原创 2019-10-19 22:27:09 · 635 阅读 · 0 评论 -
Hive概要
Hive概要一:产生背景 虽然hadoop有效的解决了大规模数据的存储和统计的问题,但是MapReduce编程十分繁琐,在大多情况下,每个MapReduce程序需要包含Mapper、Reduceer和一个Driver,之后需要打成jar包扔到集群上运 行。如果mr写完之后,且该项目已经上线,一旦业务逻辑发生了改变,可能就会带来大规模的改动代码,然后重新打包,发布,非常麻烦(这种方式...原创 2019-10-17 14:42:33 · 233 阅读 · 0 评论