![](https://img-blog.csdnimg.cn/2019102909392117.jpg?x-oss-process=image/resize,m_fixed,h_224,w_224)
大数据-hive
文章平均质量分 75
hive
根哥的博客
big world needs big-data-manager !
展开
-
hive脚本分析:加载第三方jar包
1, hive安装目录[root@bigdata4 ~]# tail /export/hive/conf/hive-env.shexport HADOOP_HEAPSIZE=2048export HADOOP_CLIENT_OPTS="-Xmx2g -Xms2g -Djava.net.preferIPv4Stack=true $HADOOP_CLIENT_OPTS"HADOOP_HOME=/export/hadoopHADOOP_CONF_DIR=/export/common/hadoop/con原创 2022-02-23 18:26:45 · 1808 阅读 · 0 评论 -
beeline 支持多条sql, 启用kerberos的权限问题
文章目录1, 方式1: -e 'sql1' 'sql2' 'sql3'2,方式2: !sql sql1; sql2; sql31, 方式1: -e ‘sql1’ ‘sql2’ ‘sql3’[root@hw10 ~]# beeline -e "show databases" "use test" "show tables" "select * from score limit 2" 'create table t1 like score stored as textfile'SLF4J:原创 2021-09-30 09:14:38 · 1931 阅读 · 0 评论 -
hiverserver2 用户登录验证: openldap
1,安装配置openldapyum install openldap-servers openldap-clients -y yum install migrationtools -ycp /usr/share/openldap-servers/slapd.conf.obsolete /etc/openldap/slapd.confsed -i '122irootpw 123456' /etc/openldap/slapd.confsed -i 's@my-domain@cdh@g'原创 2020-11-19 11:20:01 · 701 阅读 · 0 评论 -
hive表字段里有换行符,导致一行变多行或者字段错乱
1,问题#################### hbase数据:字段有换行符号hbase(main):001:0> get 'test','r2'COLUMN CELL f:age timestamp=1599799051999, value=23 f:name timestamp=1600原创 2020-09-24 18:31:18 · 8782 阅读 · 0 评论 -
hive on spark: 数据统计分析
1, 需求分析数据源/数据格式 : 某医院的hbase表–> 映射hive 外表–> 使用hive函数分析数据person_name oper_code oper_time oper_group_numperson1 1 2018/9/3 12:23 person1_0001person1 2 ...原创 2019-10-22 10:40:43 · 972 阅读 · 0 评论 -
hive分析函数篇:函数高级
hive与关系型数据库hive函数hive优化: 表设计, mr作业part1: hive对比关系型数据库hive: 基于Hadoop的一个数据仓库工具,将结构化的数据文件映射成一张表,并提供类sql语句的查询功能, 使用Hql作为查询接口,使用HDFS存储,使用mapreduce计算mysqlhive存储位置本地文件系统hdfs文件系统表文件存储形式...原创 2018-09-27 21:27:12 · 1585 阅读 · 0 评论 -
hadoop系列: hive优化篇
hive优化: 表设计, mr作业linux系统下, 在用户当前目录创建配置文件~/.hiverc, 加入配置参数part1: 本地模式#显示头,db: set hive.cli.print.current.db=true ; set hive.cli.print.header=true ;#本地模式:set hive.exec.mode.local.auto=true ;s...原创 2018-10-03 20:51:23 · 614 阅读 · 0 评论 -
hive 数据导入导出
1, 数据源端hive表数据导出到本地目录 - - -> scp 本地目录到远程主机hive> select * from t;OKt.id t.name1 a2 a23 bTime taken: 0.451 seconds, Fetched: 3 row(s)hive> insert overwrite local directory '/root/t.da...原创 2019-09-23 16:08:11 · 596 阅读 · 0 评论 -
hive/impala:分区表,hbase外表
创建分区表:插入数据( 动态分区,手动分区)create table users(id int,user_id int,user_name string);create table product(id int,product_id int,product_name string,price double);create table orders (id int,...原创 2019-04-25 16:11:47 · 1964 阅读 · 0 评论 -
hive:自定义UDF函数-extends UDF
简单函数,对int, String, boolean类型的操作, 可以直接集成UDF, 编写evalute方法即可,如图:打包后,在hive命令行中添加该jar包,即可创建自定义函数:hive> delete jar /home/wang/sparkTest/out/artifacts/sc2_jar/sc2.jar;Deleted [/home/wang/sparkTest/ou...原创 2018-11-09 22:25:54 · 1018 阅读 · 0 评论 -
hive: 安装使用(metastore, top10, beeline,事务支持)
要点如下:如何安装hive, 使用hive (hive +mysql ) hive中: 如何建表(数据类型, 字段修改) hive中: 怎样向表中插入数据 hive 与mysql 的关系: mysql作为元数据存储容器 hive中: 有哪些查询语句,函数(wordcount, union, topk问题) hive 交互的jdbc接口: hiveserver2( java api............原创 2018-08-06 21:34:15 · 1392 阅读 · 0 评论 -
hive-自定义UDF函数- extends GenericUDF
在项目中遇到某些场景需要自定义函数,如日期处理:那么如何在hive中要自定udf函数呢? 只要定义一个类Myudf 继承org.apache.hadoop.hive.ql.udf.generic.GenericUDF,然后打成Jar包, 发送到hive所在机器或hdfs, 登录hive, 使用命令创建函数:create function myfun1 as "包名.Myudf&a原创 2018-11-03 17:46:33 · 8695 阅读 · 0 评论 -
hive: 自定义UDTF
在hive项目中, 有client和server通信的log日志体系如下,中间的网络传输使用的json格式,所以在server端接收时需要使用阿里的fastJSON来解析为日志聚合体LogAgg类;然后使用自定义表生成函数UDTF, 分别取出Error表, Event表,StartUp表的数据, 数据转储到各表中,完成日志的初步ETL。所以,这个UDTF如何定义?类似于上篇的自定义UDF函数...原创 2018-11-03 19:11:39 · 2234 阅读 · 0 评论