![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
魂——牵
不断前行
展开
-
Hadoop的各个启动进程介绍
守护进程:NameNode,DataNode,ResourceManager,NodeManager,JournalNode,DFSZKFailoverController等 备注:本文截图出自数据《Hadoop权威指南_第四版_中文版.pdf》和官网(地址:https://hadoop.apache.org/docs/r2.7.3/hadoop-project-dist/hadoop-hdfs...原创 2019-10-09 11:28:19 · 5662 阅读 · 0 评论 -
Hbase由于时间不一致导致regionserver节点启动失败
背景:hadoop的hdfs的各个进程启动正常(UI页面访问也正常),启动hbase时,hmaster进程正常启动,hregionserver节点启动失败,报错:(regionserver.HRegionServer: STOPPED: Unhandled: org.apache.hadoop.hbase.ClockOutOfSyncException: Server h102,16020,155...原创 2019-05-29 10:59:08 · 600 阅读 · 0 评论 -
linux 安装hadoop 的四大运行模式——HA高可用分布模式(版本2.9.1)
hadoop的HA高可用配置:hadoop的名称节点部署在不同的服务器上(简单理解),具体定义请自行查询 备注:简述过程如果前面步骤按步骤进行,后续的步骤就不做详细解释 准备:创建h105作为高可用的名称节点(namenode),一般会再建议一个数据节点(及配置4个数据节点,两个名称节点),但本文作为学习,就不做累述,请自行学习 h105服务器的免登录要求与h101相同: 1、可以免登录(...原创 2018-12-22 10:45:27 · 320 阅读 · 0 评论 -
linux 安装hadoop 的四大运行模式——完全分布模式(版本2.9.1)
hadoop完全分布式模式:hadoop的守护线程在不同的服务器上(具体定义请自行查询) 本机部署:实在前一篇文章伪分布式部署下进行操作的: 伪分布部署链接:https://blog.csdn.net/weixin_39435629/article/details/84841252 前期准备: 本机使用虚拟机测试:故需要继续构建几台服务器,通过克隆的形式,(jdk无需配置,hadoop的基...原创 2018-12-07 14:42:20 · 320 阅读 · 0 评论 -
hadoop构建伪分布式环境时,可能的出错处理 比如8088打不开
基于本人写的hadoop伪分布式环境搭建讲解: 链接:https://blog.csdn.net/weixin_39435629/article/details/84841252 查错常用命令汇总: $>jps (查看hadoop的启动进程) $>ps -ef | grep java (查看java中的进程) $>netstat -tnlp (查看启动运行的端口)...原创 2018-12-06 16:29:18 · 2499 阅读 · 5 评论 -
centos7 设置SSH免登录
背景:在hadoop的伪分布式下启动时,需要多次输入当前用户的密码,为了方便hadoop的启动所以需要设置本地免登录(同时也适用于避免登录别的服务器(后续会介绍)) 1、查询是否安装SSH (该服务器叫h101) 命令:$>yum list installed | grep ssh 包括:openssh-server、openssh-clients、openssh 即可 ...原创 2018-12-06 13:45:15 · 925 阅读 · 0 评论 -
linux 安装hadoop 的四大运行模式——伪分布模式(版本2.9.1)
hadoop伪分布模式:hadoop的守护进程在同一台服务器上(具体定义请自行查询) 前提:请在阅读《linux 安装hadoop 的四大运行模式——本地模式》的基础上进行阅读 1、将本地模式的配置文件复制出来 建立软连接 ,便于后续方便使用 运行命令:$>cp -r hadoop/ local (-r 代表文件的递归复制) 删除hadoop文件 命令使用:$>...原创 2018-12-06 16:11:21 · 568 阅读 · 0 评论 -
linux 安装hadoop 的四大运行模式——本地模式(版本2.9.1)
四大模式包括: 1、本地模式(独立模式):(无需任何守护进程,直接运行在JVM上,存储文件相当于服务器本地文件) 2、伪分布模式(各个进程运行在hadoop的守护进程中,但并不是真正的分布式,因为都在一台机器上) 3、完全分布式(各个进程运行在多个服务器上) 4、HA高可用配置(两个名称节点共存(一个active、一个standby)高可用配置) 备注: 1、hadoop的各个守护进...原创 2018-12-05 18:30:41 · 543 阅读 · 0 评论 -
hadoop报错:hadoop.security.AccessControlException: Permission denied: user=liyang, access=WRITE
hadoop在通过idea进行文件保存时, @Test public void putFile() throws Exception { Configuration conf = new Configuration(); FileSystem fs = FileSystem.get(conf); FSDataOutp...原创 2019-10-09 15:34:11 · 880 阅读 · 0 评论