hive
文章平均质量分 76
蘑菇丁
每份经历,不管是顺境还是坎坷,都会增加生命的厚度。
世界很小,请带着梦想一起奔跑。
世界很大,请带着坚持努力成长!
勇于挑战,不断突破自我!加油!!!
建了一个大数据运维群,各位大数据运维的同学可以一起讨论 群号584912368
https://github.com/liangjingbin99/shouhuo/tree/master/%E7%AC%AC02%E7%AB%A0
展开
-
Hue中添加hive自定义函数
hue目前因为开启sentry 后不能add jar语句,目前只能用永久函数解决该问题。具体方法如下:首先把文件上传hdfshdfs dfs -put授权beeline> !connect jdbc:hive2://10.5.xx.xx:2500GRANT ALL ON URI 'hdfs://xxx:8020/tmp.db/function/Dmo.jar' TO ROLE read;创建函数create function tmp.Dmo as 'com.Dmo' usi...原创 2020-08-25 16:46:14 · 711 阅读 · 0 评论 -
hiveserver2如何批量对列授权
cat table.txtt1cat clume.shtable_name=$1cat ${table_name}|while read linedo ` hive -e "SET hive.cli.print.header=false;SHOW COLUMNS IN default.$line" | sed -e ':label;N;s/\n/,/;b labe...原创 2019-04-12 15:23:44 · 332 阅读 · 0 评论 -
hive不能count,inner
最近折腾hive和impala集成sentry后,tableas连接impala 后join一直报错如下:与 Cloudera Hadoop 数据源“x___sql___ (product)”通信时出错。连接错误: Tableau 无法连接到数据源。[Cloudera][Hardy] (35) Error from server: error code: '2' error message...原创 2018-08-03 13:40:17 · 2177 阅读 · 0 评论 -
CDH开启sentry后如何同步跨集群hive数据迁移
1. 不同集群直接hive迁移由于集群里设置了dfs.permissions=true 的 因此hdfs上的文件访问须hdfs用户才可以操作 被迁移的集群是hadoop用户,因此先对现有的目录设在acl权限访问/hive① 新集群操作导数据之先把另一个集群的hadoop用户授予本集群的hdfs访问权限。hdfs dfs -setfacl -R -muser:ha...原创 2018-07-11 18:22:28 · 1201 阅读 · 0 评论 -
hive 调优 转发
1.列裁剪分区裁剪尽可能早地过滤掉尽可能多的数据量,避免大量数据流入外层SQL。列裁剪:在列存格式下(RCFile),列裁剪可以是我们只获取需要的列的数据,减少数据输入。分区裁剪:分区在hive实质上是目录,分区裁剪可以方便直接地过滤掉大部分数据。2.表分桶 对于表或分区Hive可以进一步组织成桶,桶是更为细粒度的数据范围划分。Hive的桶是针对某一列取哈希值,然后除以桶的个数求余的方式决定...转载 2018-04-24 10:22:02 · 228 阅读 · 0 评论 -
hive 权限分享
1.系统创建两个用户[root@namenode01 ~]#adduser test[root@namenode01 ~]#kadmin.local -q "addprinc test"2.用acl设置Hive/warehourse里面数据库中的表做权限共享[root@namenode01 ~]# hdfs dfs -getfacl /user/hive/warehouse/sensitive.d...原创 2018-03-08 11:23:57 · 346 阅读 · 0 评论 -
hive里如何快速查看表中有多少记录数
方法一:在hue界面的hive下找到相应的表,即可看到表的行数和大小等信息。方法二编写脚本,[root@namenode01 hive]# cat count_tables.sh myorder=1while read line;doeval "hive --database tpc_ds -S -e 'select \"$myorder\" a原创 2017-07-11 11:05:56 · 30618 阅读 · 0 评论 -
TPC-DS测试hadoop 安装步骤
1.TPC-DS下载地址如下http://www.tpc.org/tpc_documents_current_versions/current_specifications.asp1. 安装依赖yum -y install gcc gcc-c++ libstdc++-devel bison byacc flex2. 安装unzip a30原创 2017-05-10 10:56:08 · 1808 阅读 · 1 评论 -
tpc-ds 性能测试
1.安装依赖yum -y install gcc gcc-c++ libstdc++-devel bison byacc flex2.下载http://www.tpc.org/tpc_documents_current_versions/current_specifications.asp3安装unzip tpc-ds-tool.zipcd v2.3.0/tools原创 2017-03-06 11:12:23 · 4794 阅读 · 4 评论 -
hive 用户分享给其他用户的做法
1.系统创建两个用户[root@namenode01 ~]#adduser test[root@namenode01 ~]#kadmin.local -q "addprinc test"2.用acl设置hive/warehourse里面数据库中的表做权限共享[root@namenode01 ~]# hdfs dfs -getfacl /user/hive/warehouse/s原创 2017-01-10 18:27:17 · 1750 阅读 · 0 评论