![](https://img-blog.csdnimg.cn/957e3c65f79c465692f67357e6d658c3.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
hadoop
文章平均质量分 72
更新本人对hadoop的理解
一个人的牛牛
一个人的牛牛,要么孤独,要么庸俗!踏踏实实从头开始!
展开
-
时间同步/集群时间同步/在线/离线
NTP(Network Time Protocol)网络时间协议,是用来使计算机时间同步的一种协议,它可以使计算机对其服务器或时钟源做同步化,它可以提供高精准度的时间校正(LAN上与标准间差小于1毫秒,WAN上几十毫秒),且可介由加密确认的方式来防止恶毒的协议攻击。NTP的目的是在无序的Internet环境中提供精确和健壮的时间服务。原创 2023-06-11 00:04:30 · 903 阅读 · 0 评论 -
lzo创建索引命令
前提:1.lzo建索引的前提是文件很大,如果文件很小是不会创建索引的;2.hadoop正常运行。命令:hadoop jar /training/hadoop-3.1.3/share/hadoop/common/hadoop-lzo-0.4.20.jar com.hadoop.compression.lzo.DistributedLzoIndexer /input/文件名hadoop jar /training/hadoop-3.1.3/share/hadoop/common/...原创 2022-05-07 12:10:52 · 715 阅读 · 0 评论 -
hadoop配置LZO压缩
目录一、准备及配置二、验证结论:一、准备及配置1.准备jar包1.1下载hadoop-lzo-*相关jar包,比如:hadoop-lzo-0.4.20.jarCSDN上有很多,无法下载的私信我。或者下载lzo代码编辑jar包(不推荐)2.上传jar包上传准备好的jar包到hadoop的share/hadoop/common下(比如:hadoop-3.1.3/share/hadoop/common)3.同步配置在common目录下同步,可以用scp也可以原创 2022-05-06 21:46:04 · 931 阅读 · 1 评论 -
解决:Application state is completed. FinalApplicationStatus=FAILED. Redirecting to job history server
问题:Application state is completed. FinalApplicationStatus=FAILED. Redirecting to job history server问题描述:应用程序状态已完成。FinalApplicationStatus =失败。重定向到作业历史服务器原因:没有配置历史服务器或者历史服务器没有启动解决:配置或者检查mapred-site.xml进入hadoop的安装目录的etc/hadoop目录下,执行:vimap.原创 2022-05-06 21:04:06 · 687 阅读 · 1 评论 -
解决:Error: Could not find or load main class org.apache.hadoop.mapreduce.v2.app.MRAppMaster
错误:Could not find or load main class org.apache.hadoop.mapreduce.v2.app.MRAppMaster问题描述:无法找到或加载主类解决:停止hadoop的运行。stop-all.sh编辑mapred-site.xmlvi mapred-site.xml加入以下内容#/training/hadoop-3.1.3是我的Hadoop的安装目录,改成你的<property> <n..原创 2022-05-06 20:36:36 · 4924 阅读 · 18 评论 -
hadoop3X HA安装部署
目录一、前期准备1.1安装了jdk1.2安装了zookeeper分布式1.3配置免密码登录1.4机器准备二、安装部署2.1上传2.2解压2.3配置环境变量(每一台都要)2.4修改hadoo-env.sh2.5修改core-site.xml2.6修改hdfs-site.xml2.7修改mapred-site.xml2.8修改yarn-site.xml2.9修改workers2.10修改:yarn-env.sh2.11拷贝到其他节点三、验.原创 2022-04-22 14:23:54 · 2617 阅读 · 0 评论 -
解决:ERROR: Attempting to operate on hdfs journalnode as rootERROR: but there is no HDFS_JOURNALNODE_
问题描述:安装Hadoop3X HA完成后为了验证安装开启Hadoop执行:start-all.sh报错:ERROR: Attempting to operate on hdfs namenode as rootERROR: but there is no HDFS_NAMENODE_USER defined. Aborting operation.ERROR: Attempting to operate on hdfs datanode as rootERROR: but there..原创 2022-04-22 13:32:36 · 7105 阅读 · 3 评论 -
解决: Operation category READ is not supported in state standby.
问题描述:安装hadoop3X的HA完成后进行验证输入:hdfs dfs -ls /报错:Operation category READ is not supported in state standby.待机状态下不支持操作类别读取原因:两个从节点都是standby解决:把一个从节点改成active1.查看状态(HAhadoop03是我的节点嘛)hdfs haadmin -getServiceState HAhadoop03standby2.修改状态..原创 2022-04-22 12:47:28 · 4695 阅读 · 3 评论 -
Hadoop全分布式的安装--hadoop-2.7.3
Hadoop全分布式的安装--hadoop-2.7.3原创 2021-12-01 15:35:54 · 3354 阅读 · 3 评论 -
Hadoop2X HA环境部署
一、前期准备1.1安装了jdk1.2安装了zookeeper分布式zookeeper单机和集群(全分布)的安装过程_一个人的牛牛的博客-CSDN博客1.3配置免密码登录Linux配置免密登录单机和全分布_一个人的牛牛的博客-CSDN博客1.4机器准备主节点 从节点 hadoop01 hadoop02 hadoop02 hadoop03 笔记本性能不够,没有安装多的虚拟机,hadoop02重复使用。二、安装部署2.1上传...原创 2022-04-16 15:07:08 · 1213 阅读 · 0 评论