![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
文章平均质量分 88
全能打工人
程序员,打工人,奶爸,社交恐惧
展开
-
HIVE/OOZIE ERROR记录
报错日志:日志上的报错为return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask遇见这个报错就表示需要进yarn看log了yarn日志:yarn日志报错为Output column number expected to be 0 when isRepeating查询hive的官方jira,有对此报错的临时解决方案:set hive.vectorized.execution.enabled = false;注意,设置原创 2021-11-12 13:29:59 · 556 阅读 · 0 评论 -
hive的4种存储格式以及使用场景
在hive中,较常见的文件存储格式有:TestFile、SequenceFile、RcFile、ORC、Parquet、AVRO。默认的文件存储格式是TestFile,在建表时若不指定默认为这个格式,那么导入数据时会直接把数据文件拷贝到hdfs上不进行处理。除TestFile外的其他格式的表不能直接从本地文件导入数据,数据要先导入到TestFile格式的表中,然后再从表中用insert导入到其他格式的表中。TestFile格式在建表时无需指定,Hive的默认文件格式,文件存储方式为正常的文本格式。以T原创 2021-11-04 09:06:40 · 3494 阅读 · 0 评论 -
sqoop+mysql+hive收集数据&例子
业务场景业务场景中存在需要将业务数据存放到hive中做数据BI统计等情形。解决方案我们可以使用sqoop工具,将业务数据库mysql或者oracle中的数据落地到hive表中,以方便后续的大数据统计分析。具体步骤说明:mysql数据库或者oracle数据的安装大人们可以自己搜索资料了;hive和hadoop的安装:Windows10 安装Hadoop3.3.0_xieedeni的博客-CSDN博客Windows10安装Hive3.1.2_xieedeni的博客-CSDN博客原创 2021-09-30 14:29:05 · 4514 阅读 · 0 评论 -
flume+kafka+hive收集用户行为数据
需求背景项目中需要将用户的行为数据或者其他数据放入大数据仓库,已有kafka服务。解决方案我们可以通过flume获取kafka实时数据并转存储到hdfs。转存到hdfs后,再通过load data命令加载到Hive表中,hive再处理用户行为数据,最终输出到mysql呈现到用户端。具体步骤一. 安装部署Hadoop并启动Hadoop,具体步骤见:Windows10 安装Hadoop3.3.0_xieedeni的博客-CSDN博客Windows10安装Hive3.1.2_xie..原创 2021-09-28 11:33:16 · 2521 阅读 · 0 评论 -
flume+kafka+hdfs收集用户行为数据
需求背景项目中需要将用户的行为数据或者其他数据放入大数据仓库,已有kafka服务。目标:通过flume获取kafka实时数据并转存储到hdfs。一. 安装部署Hadoop并启动Hadoop,具体步骤见:Windows10 安装Hadoop3.3.0_xieedeni的博客-CSDN博客Windows10安装Hive3.1.2_xieedeni的博客-CSDN博客说明:这里的版本本人安装的是Hadoop3.3.0,kafka是腾讯云,Flume这里建议安装flume1.9二. Wind原创 2021-09-27 16:59:41 · 1680 阅读 · 0 评论 -
Windows10 安装Hadoop3.3.0
首先在搭建Hadoop环境之前需要先安装JDK,并且配置好Java环境变量,具体如何配置,可以参照其他已有的教程,这里需要注意的是,Java环境变量中不允许有空格,如C:\Program Files\java\xxxxx, 后续步骤中在hadoop-env.cmd配置JAVA_HOME时,这种环境变量的是无法识别的,容易报“Error JAVA_HOME is incorrectly set.”之类的错误。1 下载安装进入Hadoop官网下载压缩文件,如hadoop-3.3.0.t...原创 2021-09-17 11:35:55 · 2671 阅读 · 3 评论