遇到问题之-centos安装配置hadoop超详细过程（含故障排除）

于 2021-04-16 20:28:06 发布
阅读量140 收藏
点赞数
分类专栏： 遇到问题解决方案集锦
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43214644/article/details/115771180
版权
本文详细介绍了在CentOS系统上安装配置Hadoop集群的步骤，包括设置主机名、网络配置、SSH无密码登录、所需软件、故障排除等关键环节。首先，文章讲述了集群环境和网络配置的重要性，然后详细解释了如何配置主机名和IP地址，以及如何通过SSH无密码登录各个节点。接着，文章提到了安装和配置过程中可能遇到的问题及其解决方案，如HDFS的安全模式、数据节点启动失败等。最后，列举了一些常见的Linux命令，如chmod、chown和scp，帮助读者更好地理解和管理Hadoop集群。
摘要由CSDN通过智能技术生成

1、集群部署介绍

1.1 Hadoop简介

201205161427003307.png　　Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统（HDFS，Hadoop Distributed Filesystem）和MapReduce（Google MapReduce的开源实现）为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。

对于Hadoop的集群来讲，可以分成两大类角色：Master和Salve。一个HDFS集群是由一个NameNode和若干个DataNode组成的。其中NameNode作为主服务器，管理文件系统的命名空间和客户端对文件系统的访问操作；集群中的DataNode管理存储的数据。MapReduce框架是由一个单独运行在主节点上的JobTracker和运行在每个集群从节点的TaskTracker共同组成的。主节点负责调度构成一个作业的所有任务，这些任务分布在不同的从节点上。主节点监控它们的执行情况，并且重新执行之前的失败任务；从节点仅负责由主节点指派的任务。当一个Job被提交时，JobTracker接收到提交作业和配置信息之后，就会将配置信息等分发给从节点，同时调度任务并监控TaskTracker的执行。

从上面的介绍可以看出，HDFS和MapReduce共同组成了Hadoop分布式系统体系结构的核心。HDFS在集群上实现分布式文件系统，MapReduce在集群上实现了分布式计算和任务处理。HDF

了解本专栏 订阅专栏 解锁全文
格格巫 MMQ!!
关注
专栏目录
订阅专栏
博客
深度分析Linux下双网卡绑定七种模式 多网卡的7种bond模式原理
07-01 4966
多网卡的7种bond模式原理Linux网卡绑定mode共有七种(0~6) bond0、bond1、bond2、bond3、bond4、bond5、bond6常用的有三种mode=0：平衡负载模式，有自动备援，但需要”Switch”支援及设定。mode=1：自动备援模式，其中一条线若断线，其他线路将会自动备援。mode=6：平衡负载模式，有自动备援，不必”Switch”支援及设定。需要说明的是如果想做成mode 0的负载均衡,仅仅设置这里options bond0 miimon=100 mode.
博客
5G技术优势
03-18 3万+
1G实现了移动通话，2G实现了短信、数字语音和手机上网，3G带来了基于图片的移动互联网，而4G则推动了移动视频的发展。5G网络则视为未来物联网、车联网等万物互联的基础。同时，5G普及将使得包括虚拟现实和增强现实这些技术成为主流。4G网络是专为手机打造的，没有为物联网进行优化。5G技术为物联网提供了超大带宽。与4G相比，5G网络可以支持10倍以上的设备。可以应用于自动驾驶、超高清视频、虚拟现实、万物互联的智能传感器。　　5G网络主要有三大特点，极高的速率，极大的容量，极低的时延。相对4G网络，传输速率提升1
博客
允许Traceroute探测漏洞解决方法
03-29 1368
允许Traceroute探测漏洞解决方法详细描述 本插件使用Traceroute探测来获取扫描器与远程主机之间的路由信息。攻击者也可以利用这些信息来了解目标网络的网络拓扑。解决办法 在防火墙出站规则中禁用echo-reply（type 0）、time-exceeded（type 11）、destination-unreachable（type 3）类型的ICMP包。1、关闭Traceroute探测的方法2、重新载入防火墙配置3、查看防火墙规则。
博客
ftp连接命令linux的简单介绍
10-18 3977
oPort=远程端口号sftp get /var/www/fuyatao/index.php /home/fuyatao/。这条语句将从远程主机的 /var/www/fuyatao/目录下将 index.php。这条语句将把本地 /home/fuyatao/downloads/目录下的 linuxgl.pdf文件上传至远程主机/var/www/fuyatao/ 目录下。ls -l 普通文件就是以 - 开头，文件夹以 d 开头，grep 后面接正则表达式：^- 以 - 开头的匹配。
博客
yarn启动后用jps查看没有resourcemanager
10-15 862
1.1.添加：如下：再次启动yarn就有了，如下：2.
博客
Linux技巧：修复硬盘坏道
10-07 3056
Last cylinder or +size or +sizeM or +sizeK (51-125, default 125): +200M 注：这个是定义分区大小的，+200M 就是大小为200M；警告：删除分区时要小心，请看好分区的序号，如果您删除了扩展分区，扩展分区之下的逻辑分区都会删除；Last cylinder or +size or +sizeM or +sizeK (1-125, default 125): +200M 注：指定分区大小，用+200M来指定大小为200M。
博客
SDN介绍
09-14 1113
想当年，集群技术多火，STP和VRRP技术多经典，还不是慢慢被淘汰，成为了历史，只要不适应业务发展的需要，再好的技术都可能被淘汰。三是小型的数据中心网络，一旦部署后完成后，扩容和变更机会是比较少的，人工操作并不复杂，引入SDN属于大材小用，给数据中心带来的真正实惠不对，即便是那些大型的数据中心网络，扩容几台网络设备，一个熟练的网络工程师也可以很快完成，并不比SDN的方式慢多少，SDN虽是自动化部署，但出了问题排查起来也难度不小，Underlay和Overlay网络层面都要排查，网络问题复杂度增加了。
博客
running beyond physical memory limits. Current usage: 2.0 GB of 2 GB physical memory used； 2.6 GB of
09-14 517
因为默认值都是：1024M，也就是一个G，如果不够就会溢出！在运行hive sql前加上 ： （map）或者 （reduce）
博客
Sftp登录时报received message too long 1416128883如何解决？Ensure the remote shell produces no output for non-
06-13 2981
但是，实际上文件系统也可能仅仅是一种访问数据的界面而已，实际的数据是通过网络协议（如NFS、SMB、9P等）提供的或者内存上，甚至可能根本没有对应的文件（如proc文件系统）。用户使用文件系统来保存数据，只需要记住这个文件的所属目录和文件名。在写入新数据之前，用户不必关心硬盘上的那个块地址没有被使用，硬盘上的存储空间管理（分配和释放）功能由文件系统自动完成，用户只需要记住数据被写入到了哪个文件中。在计算机领域，SSH文件传输协议，即SFTP，它是一数据流连接，提供文件访问、传输和管理功能的网络传输协议。
博客
ftp工具无法连接到Linux服务器
06-13 1621
ftp工具无法连接Linux服务器，文件无法上传，是因为你的ftp服务器未搭建（或未启动）但是ftp工具的21端口无法连上远程主机，文件无法上传。许久没有登录腾讯云，今天想用xshell的xftp工具上传文件，却突然出现连接不上。问题出在Linux虚拟云主机上面的 21 端口的 ftp 功能没有启动。执行下面的命令，将 vsftpd 设置为开机启动。ftp工具可以正常连上Linux服务器了，文件可以上传了。3.执行以下命令，确认服务是否启动。执行以下命令，安装 vsftpd。执行以下命令，启动服务。
博客
Linux新用户登录时出现“-bash-4.2$”的解决办法
06-13 2985
Linux服务器新建的用户在登录时显示“-bash-4.2$”，而不是“user@hostname”的显示方式，出现此问题的原因是在添加普通用户时，用户家目录下丢失了.bash_profile和.bashrc两个环境变量文件。之后退出终端重新登录即可。
博客
liunx卸载磁盘后重新挂载
05-15 654
root@localhost]# parted /dev/sdb 使用parted来对GPT磁盘操作，进入交互式模式。[root@localhost]# mkfs.xfs -f /dev/sdb1 格式化分区xfs格式。[root@localhost]# mkdir /data1 在根目录下新建挂载硬盘所需文件夹。[root@localhost]# vi /etc/fstab 在fstab表末添加下列参数。[root@localhost]# df -Th 查看分区挂载情况。
博客
5G NR 网络切片是什么意思
03-28 1869
b） CSC-A可以使用从CSP-A获得的网络切片来支持自己的通信服务，或者可以向获得的NSaaS添加额外的网络功能，并将得到的组合作为一个新的网络切片提供给CSP-b。网络切片可以理解为支持特定使用场景或商业模式的通信服务要求的一组逻辑网络功能的集合，是基于物理基础设施对服务的实现，这些逻辑网络功能可以看作是由EPC下的网络功能（NetworkFuncTIon）分解而来的一系列子功能（Networksub-FuncTIon）。与向终端用户提供的通信服务不同，在NSaaS中，所提供的服务是实际的网络切片。
博客
json文件怎么写注释
03-23 4242
4、我们可以使用重复定义的方法来添加注释。json文件解析后，是使用最后定义的值的。2、一个json文件，其实就是一个js脚本文件，我们可以使用//的单行注释符。5、如果不使用重复值，我们也可以专门使用//的键来作为注释键。1、 使用编辑器打开json文件，现在是没有注释内容的。3、也可以使用/* */符号来支持多行注释。6、添加完注释后，把文件保存就行了。（如果没有的话需要下载安装）
博客
xml文件的注释展示
03-23 1341
即能够在HTML文件之外将数据存储在XML文档中，这样可以使开发者集中精力使用HTML做好数据的显示和布局，并确保数据改动时不会导致HTML文件也需要改动，从而方便维护页面。XML也能够将数据以“数据岛”的形式存储在HTML页面中，开发者依然可以把精力集中到使用HTML格式化和显示数据上。基于XML可以在不兼容的系统之间交换数据，计算机系统和数据库系统所存储的数据有多种形式，对于开发者来说，最耗时间的工作就是在遍布网络的系统之间交换数据。xml文件的注释格式： ，注释不能嵌套定义。
博客
欧拉操作系统和linux区别
03-17 3684
linux 有自己的API。windows也有自己的API例如：linux下打开文件的函数是open()，而windows下却是fopen(),这并不能代表C语言有什么区别，只是说平台不同定义的API函数不同。而Linux发行套件系统才是咱们常说的Linux操作系统，也即是由Linux内核与各种常用软件的集合产品，全球大约有数百款的Linux系统版本，比较有名的有RedHat、CentOS、Ubuntu等。一般来说，我们平时说Linux指的是Linux系统内核，而centos是Linux发行套件系统。
博客
EasyConnect虚拟IP地址未分配
03-08 3474
工作中遇到EasyConnect虚拟IP地址未分配，导致无法正常连接服务器进行调测工作。
博客
MySQL修改密码的3种方式以及启动方式
02-10 2093
注意：下图修改密码的命令中 -uroot 和 -proot 是整体，不要写成 -u root -p root，-u 和 root 间可以加空格，但是会有警告出现，所以就不要加空格了。使用 mysqladmin 命令修改 MySQL 的 root 用户密码格式为 mysqladmin -u用户名 -p旧密码 password 新密码。在使用数据库时，我们也许会遇到 MySQL 需要修改密码的情况，比如密码太简单需要修改等。，其中 username 为要修改密码的用户名，newpwd 为要修改的新密码。
博客
Lftp for linux 编译安装
02-09 1773
默认命令安装路径/软件路径/lftp-4.9.2/src/lftp （可在 ./configure --prefix=“xxxxxxx” 自定义）make[2]: 离开目录“/root/lftp-4.9.2/contrib”make[2]: 进入目录“/root/lftp-4.9.2/tests”make[2]: 离开目录“/root/lftp-4.9.2/tests”make[2]: 离开目录“/root/lftp-4.9.2/src”make[2]: 离开目录“/root/lftp-4.9.2/po”
博客
com.jcraft.jsch.JSchException: Session.connect: java.io.IOException: End of IO Stream Read
02-09 4115
2）上网搜寻这个错误，发现国内遇到这个问题不多。国外stackoverflow网站上有贴出一样的报错，但是引用的jar版本不同，并且答案指出升级到jsch-0.1.54问题就不存在了。1）经过多次测试，排查问题。推测是环境ssh版本问题，由于客户环境不可见，无法获得sftp服务器ssh的版本。在sftp登录时，设置完ip，port,user和pwd之后。3）小心测试，解决问题。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值