Hive
文章平均质量分 85
全能打工人
程序员,打工人,奶爸,社交恐惧
展开
-
HIVE/OOZIE ERROR记录
报错日志:日志上的报错为return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask遇见这个报错就表示需要进yarn看log了yarn日志:yarn日志报错为Output column number expected to be 0 when isRepeating查询hive的官方jira,有对此报错的临时解决方案:set hive.vectorized.execution.enabled = false;注意,设置原创 2021-11-12 13:29:59 · 524 阅读 · 0 评论 -
HIVE自定义UDF函数-IP地址解析
目录需求背景解决方案Ip解析介绍pom.xmlConstantsGeoIp.javaIpUtils.javaUDFIp2Region.javaip2region.db编译和打包创建UDF使用需求背景项目中埋点信息需要解析用户信息的地理位置信息,如果有经纬度信息,我们可以通过百度地图或者高德地图的API解析,但一般接口都是有次数限制或者收费的。这里我们通过解析IP地址获取用户(访问者)的地理位置。解决方案通过解析IP地址获取用户(访问者)的原创 2021-11-30 15:08:05 · 4446 阅读 · 0 评论 -
HIVE SQL日常使用记录
使用记录行专列数据、建表如下:孙悟空 白羊座 A大海 射手座 A宋宋 白羊座 B猪八戒 白羊座 A凤姐 射手座 A小明 白羊座 B需求如下:把星座和血型一样的人归类到一起射手座,A 大海|凤姐白羊座,A 孙悟空|猪八戒白羊座,B 宋宋|小明分析:先用concat_ws函数将将星座和血型用“,”连接 在根据连接好的星座和血型group by 用collect_set函数对name聚合, 用concat_ws函数对聚合后的name用“|”分割实现如下:SE原创 2021-11-15 11:22:38 · 2818 阅读 · 0 评论 -
hive的4种存储格式以及使用场景
在hive中,较常见的文件存储格式有:TestFile、SequenceFile、RcFile、ORC、Parquet、AVRO。默认的文件存储格式是TestFile,在建表时若不指定默认为这个格式,那么导入数据时会直接把数据文件拷贝到hdfs上不进行处理。除TestFile外的其他格式的表不能直接从本地文件导入数据,数据要先导入到TestFile格式的表中,然后再从表中用insert导入到其他格式的表中。TestFile格式在建表时无需指定,Hive的默认文件格式,文件存储方式为正常的文本格式。以T原创 2021-11-04 09:06:40 · 3138 阅读 · 0 评论 -
sqoop+mysql+hive收集数据&例子
业务场景业务场景中存在需要将业务数据存放到hive中做数据BI统计等情形。解决方案我们可以使用sqoop工具,将业务数据库mysql或者oracle中的数据落地到hive表中,以方便后续的大数据统计分析。具体步骤说明:mysql数据库或者oracle数据的安装大人们可以自己搜索资料了;hive和hadoop的安装:Windows10 安装Hadoop3.3.0_xieedeni的博客-CSDN博客Windows10安装Hive3.1.2_xieedeni的博客-CSDN博客原创 2021-09-30 14:29:05 · 4335 阅读 · 0 评论 -
flume+kafka+hive收集用户行为数据
需求背景项目中需要将用户的行为数据或者其他数据放入大数据仓库,已有kafka服务。解决方案我们可以通过flume获取kafka实时数据并转存储到hdfs。转存到hdfs后,再通过load data命令加载到Hive表中,hive再处理用户行为数据,最终输出到mysql呈现到用户端。具体步骤一. 安装部署Hadoop并启动Hadoop,具体步骤见:Windows10 安装Hadoop3.3.0_xieedeni的博客-CSDN博客Windows10安装Hive3.1.2_xie..原创 2021-09-28 11:33:16 · 2359 阅读 · 0 评论 -
Windows10安装Hive3.1.2
基本环境资源Hadoop:2.3.XHive:2.3.X.bin.tar.gz 版本第一步:下载Hive.tar.gz,官网下载地址:http://archive.apache.org/dist/hive,可以在CSDN上找资源,官方地址下载真的慢!第二步:解压Hive.tar.gz 至指定文件夹目录,配置Hive 全局环境变量。HIVE_HOME和修改path增加hive的bin路径注意:Hive 的Hive_x.x.x_bin.tar.gz 版本在windows 环.原创 2021-09-18 09:42:18 · 2784 阅读 · 1 评论