hadoop配置超详细版

Ubuntu下配置hadoop分为三个步骤

 

一.配置Java环境

二.配置ssh免密码登录

测试是否可以免密码登录

一.配置hadoop环境


预备工作

创建hadoop用户

hadoop用户添加权限

(1)Ubuntu联网

  第一步:打开以太网属性,设置“允许其他网络用户通过此计算机连接来连接”,选中VMnet8

第二步:打开当前“虚拟机设置”,设置网络适配器 为自定义“VMnet8NAT模式)”

第三步:控制面板>网络和Internet>网络连接,设置VMware Virtual Ethernet Adapter

IP地址:219.216.73.113

IP地址掩码:255.255.255.0

默认网关:219.216.73.254

DHCP服务器:202.118.1.37

DNS服务器:202.118.1.29

            202.118.1.53

root@juciny-virtual-machine:/home/juciny# ifconfig

ens33     Link encap:以太网  硬件地址 00:0c:29:b4:48:2d  

          inet 地址:192.168.190.128  广播:192.168.190.255  掩码:255.255.255.0

          inet6 地址: fe80::27a7:8150:464f:dfaf/64 Scope:Link

第四步:打开Ubuntu编辑连接,在“IPV4设置”选卡项中,选择党阀为手动,地址要设置为192.168.0.*(最后一位范围为0~255

子网掩码设置为255.255.255.0

网关为VMnet8IP地址:192.168.0.1

DNS服务器就是本地连接的DNS地址

第五步:大功告成

一.配置ssh

 1. 输入ps -ef|grep ssh

  楼主serverclient一个都没有安装

最激动人心的时刻来了,我已经被这一步折磨了好久。

我就说不是我的原因,都怪网都是网的原因。

如果缺少sshd,说明ssh服务没有启动或者没有安装。

2.安装ssh-client命令:sudo apt-get install openssh-client

安装ssh-server命令:sudo apt-get install openssh-server

安装完成以后,先启动服务:sudo /etc/init.d/ssh start

3.修改ssh端口号

sudo gedit /etc/ssh/sshd_config

就可以在gedit中直接像Word一样修改数据,然后点击保存

这里把

输入sudo /etc/init.d/ssh restart

 

补充:在window下要下载ssh软件Xshell(在官网上有免费的)

1.打开xshell5 点击新建

2.Shell账号密码ssh root@localhost 

--------------------------图片明日在加--------------------


 







CentOS安装配置Hadoop详细过程如下: 1. 安装CentOS操作系统,确保系统处于最新本。 2. 在终端中使用以下命令安装Java运行环境: ``` sudo yum install java-1.8.0-openjdk-devel ``` 3. 配置Java环境变量。编辑/etc/profile文件并添加以下行: ``` export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk export PATH=$PATH:$JAVA_HOME/bin ``` 4. 将profile更改应用到系统中: ``` source /etc/profile ``` 5. 下载Hadoop软件包,并解压到指定目录。你可以从Hadoop官方网站下载最新的稳定。 ``` wget https://downloads.apache.org/hadoop/common/hadoop-3.3.0/hadoop-3.3.0.tar.gz tar -xzvf hadoop-3.3.0.tar.gz sudo mv hadoop-3.3.0 /usr/local/hadoop ``` 6. 配置Hadoop环境变量。编辑/etc/profile文件并添加以下行: ``` export HADOOP_HOME=/usr/local/hadoop export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin ``` 7. 将profile更改应用到系统中: ``` source /etc/profile ``` 8. 配置Hadoop的核心文件。 - 编辑Hadoop配置文件core-site.xml: ``` sudo vi /usr/local/hadoop/etc/hadoop/core-site.xml ``` 在<configuration>标签之间添加以下内容: ``` <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> ``` - 编辑Hadoop配置文件hdfs-site.xml: ``` sudo vi /usr/local/hadoop/etc/hadoop/hdfs-site.xml ``` 在<configuration>标签之间添加以下内容: ``` <property> <name>dfs.replication</name> <value>1</value> </property> ``` 9. 设置Hadoop的主节点和从节点。 - 编辑Hadoop配置文件workers: ``` sudo vi /usr/local/hadoop/etc/hadoop/workers ``` 在文件中添加从节点的IP地址或主机名。 - 编辑Hadoop配置文件masters: ``` sudo vi /usr/local/hadoop/etc/hadoop/masters ``` 在文件中添加主节点的IP地址或主机名。 10. 格式化Hadoop的分布式文件系统(HDFS): ``` hdfs namenode -format ``` 11. 启动Hadoop集群: ``` start-dfs.sh ``` 12. 验证Hadoop是否正常工作。打开网页访问http://localhost:9870,应该能看到Hadoop集群的状态。 以上就是在CentOS上安装配置Hadoop详细过程,希望能对你有所帮助!
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值