![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
文章平均质量分 80
weixin_43824019
这个作者很懒,什么都没留下…
展开
-
Hive学习笔记【全】
Hive学习之路文章目录Hive学习之路一、Hive简介1、Hive是什么二、使用步骤1.引入库2.读入数据总结一、Hive简介1、Hive是什么Hive由Facebook实现并开源,提供HQL(Hive SQL)查询功能,是一个基于Hadoop的数据仓库基础工具,使不熟悉 MapReduce 的用户能够利用 HQL 处理和计算 HDFS 上的结构化的数据。Hive只适用于离线的批量数据计算。【本质】Hive依赖于HDFS存储数据,处理的底层数据存储在HDFS,将结构化数据映射为一张数据原创 2022-04-04 17:32:12 · 758 阅读 · 0 评论 -
Hadoop常见错误【持续更新】
Hadoop常见错误【持续更新】一、搭建分布式问题二、mapreduce问题【错误1】....Error file: prelaunch.err.【错误2】.....job.splitmetainfo not exists....【错误3】打包jar时出现WARNNING一、搭建分布式问题二、mapreduce问题【错误1】…Error file: prelaunch.err.【解决】$vim yarn-site.xml#添加如下"""#务必所有规划为resourcemanager都添加该配原创 2021-05-10 23:18:07 · 341 阅读 · 0 评论 -
hadoop配置文件及分布式搭建
Hadoop分布式搭建一、配置文件说明1、所有配置文件文件名格式描述hadoop-env.shBash脚本脚本中要用到的环境变量,以运行Hadoopmapred-env.shBash脚本脚本中要用到的环境变量,以运行MapReduce(覆盖hadoop-env.sh中设置的变量)yarn-env.shBash脚本脚本中要用到的环境变量,以运行YARN(覆盖hadoop-env.sh中设置的变量)core-site.xmlHadoop配置XMLHa原创 2021-04-30 17:40:57 · 462 阅读 · 0 评论 -
Hadoop源码编译及常见报错【持续更新】
Hadoop源码编译常见报错【持续更新,若有其他解决问题,也可留言,会持续修改】以下列配置为例:只针对于linux安装版本:hadoop3.2.2虚拟机:CentOS-8仔细阅读源码安装说明-BUILDING.txt(务必安装完全),各个版本的hadoop源码文档略有不同,大致思路是一致的,请根据自己的源码文档进行安装!!!一、requirementRequirements:* Unix System* JDK 1.8* Maven 3.3 or later* ProtocolBu原创 2021-04-29 14:37:04 · 1674 阅读 · 0 评论