weixin_42821133的博客

总共分为3步：1.编写hql脚本简单案例：编写hql脚本：vim tongji1.hql内容如下：select * from fluxdb.tongji1 where reporttime='${statis_date}';很简单就是一个表查询，没啥逻辑保存退出后，记得 赋予执行权限：chmod +x tongji1.hql2.编写bash脚本statis_time=`date +%Y-%m-%d`/home/01/software/hive-1.2/bin/hive -d stati

hive.exec.mode.local.auto决定 Hive 是否应该自动地根据输入文件大小，在本地运行（在GateWay运行）truehive.exec.mode.local.auto.inputbytes.max如果 hive.exec.mode.local.auto 为 true，当输入文件大小小于此阈值时可以自动在本地模式运行，默认是 128兆。134217728Lhive.exec.mode.local.auto.tasks.max如果 hive.exec.mode.local.

测试删除hive内部分区表找回：删除前数据查看hive (default)> select * from test3 where statis_date='2020-05-17';OKclo1 clo2 clo3 clo4 statis_datezhangsan jiangsu lisi anhui 2020-05-17sunce dongwu daqiao dongwu 2020-05-17zhouyu dongwu xiaoqiao dongwu 2020-05-17wangwu

直接上干货！数据explode_lateral_view.txt：a:shandong,b:beijing,c:hebei|1,2,3,4,5,6,7,8,9|[{“source”:“7fresh”,“monthSales”:4900,“userCount”:1900,“score”:“9.9”},{“source”:“jd”,“monthSales”:2090,“userCount”:789...

hive表脏数据情况及解决方案：1.制表分隔符和数据列分割符不一致案例：本地文件导入hive表出现查询数值为null值本地导入数据入hive表sql：hive> load data local inpath "/home/01/temp/employee.txt" overwrite into table employee;Loading data to table emp.emp...

下面的fluxdb是我新建的数据库mysql> show databases;+--------------------+| Database |+--------------------+| information_schema || fluxdb || hive || mysql ...

hive的map和reduce数量如何确定map的数量确定map的数量：主要决定因素有input文件的总个数，input中文件的大小，集群设置的 文件块大小(默认128M，可在hive shell中通过set dfs.block.size查看)三种举例：文件不足128M则当做一个块，大于128M则拆分 input目录下有七个文件，大小均为64M，则共7个mapinput目录下有...

Hive参数设置及优化：1.动静态分区属性设置2.Set hive.map.aggr=true 通过设置属性hive.map.aggr值为true来提高聚合的性能，这个设置会触发在map阶段进行的‘顶级’聚合过程。（非顶级的聚合过程会在执行一个GROUP BY后进行。）不过，这个设置需要更多的内存3.本地模式设置大多数情况下查询都会触发一个MapReduce任务（job）,hive中某些...

hive中文数据乱码hive中直接使用insert into table value插入中文数据会导致乱码问题。sql语句如下insert into mac_dict partition(create_time_p='20190616') values ('1','F2-DB-E2-BE-69-F7','余金科','70211134','true','余金科','2','1559808057'...