- 博客(6)
- 收藏
- 关注
原创 Hive学习笔记【全】
Hive学习之路文章目录Hive学习之路一、Hive简介1、Hive是什么二、使用步骤1.引入库2.读入数据总结一、Hive简介1、Hive是什么Hive由Facebook实现并开源,提供HQL(Hive SQL)查询功能,是一个基于Hadoop的数据仓库基础工具,使不熟悉 MapReduce 的用户能够利用 HQL 处理和计算 HDFS 上的结构化的数据。Hive只适用于离线的批量数据计算。【本质】Hive依赖于HDFS存储数据,处理的底层数据存储在HDFS,将结构化数据映射为一张数据
2022-04-04 17:32:12
862
原创 Hadoop常见错误【持续更新】
Hadoop常见错误【持续更新】一、搭建分布式问题二、mapreduce问题【错误1】....Error file: prelaunch.err.【错误2】.....job.splitmetainfo not exists....【错误3】打包jar时出现WARNNING一、搭建分布式问题二、mapreduce问题【错误1】…Error file: prelaunch.err.【解决】$vim yarn-site.xml#添加如下"""#务必所有规划为resourcemanager都添加该配
2021-05-10 23:18:07
366
原创 Linux常见错误解决【持续更新】
Linux常见错误解决【持续更新】【问题1】、VMWare虚拟机提示:另一个程序已锁定文件的一部分,打不开磁盘…模块"Disk"启动失败的解决办法。【原因】这是因为虚拟机在运行的时候,会锁定文件,防止被修改,而如果系统突然崩溃了,虚拟机就来不急把已经锁定的文件解锁,所以你在启动的时候,就会提示无法锁定文件。【解决】找到你安装这台虚拟机的位置(如果你不记得安装位置在哪,可根据报错提示的路径找到安装位置),进入安装虚拟机位置后 在搜索栏搜索 *.lck ,把搜索到以 .lck结尾的文件全部删除。V
2021-05-02 15:40:22
172
原创 hadoop配置文件及分布式搭建
Hadoop分布式搭建一、配置文件说明1、所有配置文件文件名格式描述hadoop-env.shBash脚本脚本中要用到的环境变量,以运行Hadoopmapred-env.shBash脚本脚本中要用到的环境变量,以运行MapReduce(覆盖hadoop-env.sh中设置的变量)yarn-env.shBash脚本脚本中要用到的环境变量,以运行YARN(覆盖hadoop-env.sh中设置的变量)core-site.xmlHadoop配置XMLHa
2021-04-30 17:40:57
464
原创 Hadoop源码编译及常见报错【持续更新】
Hadoop源码编译常见报错【持续更新,若有其他解决问题,也可留言,会持续修改】以下列配置为例:只针对于linux安装版本:hadoop3.2.2虚拟机:CentOS-8仔细阅读源码安装说明-BUILDING.txt(务必安装完全),各个版本的hadoop源码文档略有不同,大致思路是一致的,请根据自己的源码文档进行安装!!!一、requirementRequirements:* Unix System* JDK 1.8* Maven 3.3 or later* ProtocolBu
2021-04-29 14:37:04
1686
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人