Vicky_Tang

Hive常见set的配置设置设置reduce数量（默认值-1）set mapred.reduce.tasks=100;set mapreduce.job.reduces=3;修改表为内部表set tblproperties('EXTERNAL'='FALSE');开启分桶表（默认false）set hive.enforce.bucketing=true;开启Hive中间传输数据压缩功能set hive.exec.cmpress.intermediate=true;开启mapred

--常用函数 --算术运算符：+ - * / % --关系运算符： == <> > >= < <= --逻辑运算符：and or not --数学函数 --1.pmod(±n,m) ----------------------------------------------------------------- select pmod(-3,5); (-3+n*5)%5 ...

hive优化(数据倾斜)问题描述：1.倾斜： 小文件 join 大文件 内容倾斜2.JOBS多 join union sub_query3.count(distinct)4.Task过多解决方案：整体考虑1.建模 分层=>轻量聚合 分区=>避免交换 压缩=>减少体量 2.配置优化 合理减少job,并行无依赖job,增加jvm重用 合理控制mapper和reducer的数量 核数 内存 单节点并行jvm数 数据的规模

1. Hive 中内部表和外部表的区别以及使用场景内部表：与数据库中的表在概念上类似 每一个内部表在 hive 中都有一个相应的目录存储数据 所有的内部表数据都保存在这个目录上 删除数据时，元数据和数据都会被删除 应用场景：数据分析的中间表可以使用内部表，方便对表进行管理外部表：创建时需要使用 external 修饰，指向已经在 HDFS 中存在的数据，可以创建 Partition 它和内部表在元数据的组织上是相同的，都是存储在关系数据库中 外部表只有一个过程，加载数据和创建表同时完成

Hive Zeppelin 0.8.2安装及配置文章目录Hive Zeppelin 0.8.2安装及配置一、解压二、修改目录名三、配置1.将临时文件重命名后编辑配置文件2.修改hive关联的hdfs文件夹权限3.配置环境变量并激活4.启动zeppelin5.web页面设置6.创建NoteBook7.测试一、解压tar -zxvf zeppelin-0.8.2-bin-all.tgz -C /opt/software/二、修改目录名mv /opt/software/zeppelin-0.8.