2024年Linux最新Hadoop入门 day1

再点击NAT设置,修改网关IP为192.168.10.2(之后也要修改windows上的VMnet8的网关)

再点击DHCP设置,修改起始IP为192.168.10.128,结束IP为192.168.10.256

之后保存并退出。

修改ens33网卡配置

vim /etc/sysconfig/network-scripts/ifcfg-ens33

将BOOTPROTO改为static,ONBOOT改为yes,之后添加以下配置

IPADDR=192.168.10.128
GATEWAY=192.168.10.2
NETMASK=255.255.255.0
DNS1=192.168.10.2

之后将其余两台主机分别处理,写入各自的IP

0.2 SSH免密登录

注意:在hadoop130上生成公钥,然后复制给hadoop131,结果是可以在hadoop130上免密登录hadoop131

简单方法:

先在hadoop130上生成公钥、密钥

ssh-keygen        //之后按四下回车

然后将公钥复制给hadoop131,就可以登陆hadoop131(中间可能要输入hadoop131的密码)

ssh-copy-id hadoop131  

复杂方法:

在从机hadoop130上,查看本地机器的隐藏文件 .ssh

ll -a

进入.ssh目录

cd .ssh

发起公钥请求

ssh-keygen -t rsa

然后在.ssh/目录下,会新生成两个文件:id_rsa.pub和 id_rsa

上传公钥到目标主机(注意要在.ssh目录下,否则可能没有权限)

ssh-copy-id crane@192.168.10.131
ssh-copy-id crane@hadoop131

(ssh-copy-id 用户名@主机名/IP地址)

在主机的.ssh文件上检查是否接收到 authorized_keys文件

文件中查看hadoop131下的authorized_keys文件与hadoop130下的id_rsa.pub中内容是一样的

之后可以在主机hadoop130上测试免密登录从机hadoop131

ssh hadoop131           //用户名相同时
ssh 用户名@IP地址        //用户名不同时

Q1.找不到.ssh文件夹

ssh localhost

.ssh 是记录密码信息的文件夹,如果没有登录过root的话,就没有 .ssh 文件夹,因此登录 localhost ,并输入密码就会生成了。

Q2.SSHD服务无响应

yum list installed | grep openssh-server    //检查sshd有没有安装
netstat -an | grep 22        //检查sshd 服务是否启动
systemctl start sshd.service   //开启sshd服务
systemctl status sshd.service   //查看sshd状态
systemctl restart sshd.service   //重启sshd服务

0.3 主机配置

配置主机hostname为hadoop130,hadoop131,hadoop132

配置主机hosts

192.168.10.130 hadoop130
192.168.10.131 hadoop131
192.168.10.132 hadoop132

集群时间同步

ntpdate ntp5.aliyun.com       //同步阿里云的时间

关闭防火墙

先自我介绍一下,小编浙江大学毕业,去过华为、字节跳动等大厂,目前在阿里

深知大多数程序员,想要提升技能,往往是自己摸索成长,但自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!

因此收集整理了一份《2024年最新Linux运维全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友。
img
img
img
img
img

既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上运维知识点,真正体系化!

由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新

需要这份系统化的资料的朋友,可以点击这里获取!

伙伴深入学习提升的进阶课程,涵盖了95%以上运维知识点,真正体系化!**

由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新

需要这份系统化的资料的朋友,可以点击这里获取!

  • 18
    点赞
  • 10
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Linux上安装Hadoop可以按照以下步骤进行: 1. 首先,确保你已经在Linux系统上安装了Java Development Kit(JDK)。Hadoop是用Java编写的,所以需要先安装Java环境。 2. 下载Hadoop的二进制文件。你可以从Hadoop官方网站(https://hadoop.apache.org/)下载最新版本的Hadoop。 3. 解压下载的Hadoop压缩包。使用以下命令解压: ``` tar -xzvf hadoop-x.x.x.tar.gz ``` 4. 将解压后的Hadoop文件夹移动到你想要安装的目录。例如,可以将其移动到`/usr/local`目录下: ``` sudo mv hadoop-x.x.x /usr/local/hadoop ``` 5. 配置Hadoop环境变量。编辑`~/.bashrc`文件,并添加以下内容: ``` export HADOOP_HOME=/usr/local/hadoop export PATH=$PATH:$HADOOP_HOME/bin ``` 6. 使环境变量生效: ``` source ~/.bashrc ``` 7. 配置Hadoop的核心文件。进入Hadoop的安装目录,并编辑`etc/hadoop/hadoop-env.sh`文件,设置Java环境变量: ``` export JAVA_HOME=/path/to/java ``` 8. 配置Hadoop集群的相关文件。主要包括`core-site.xml`、`hdfs-site.xml`和`mapred-site.xml`。这些文件位于`etc/hadoop`目录下。你可以根据自己的需求进行配置,例如设置Hadoop的工作目录、数据存储目录、日志目录等。 9. 格式化Hadoop文件系统。使用以下命令格式化HDFS: ``` hdfs namenode -format ``` 10. 启动Hadoop集群。使用以下命令启动Hadoop: ``` start-all.sh ``` 至此,你已经成功在Linux上安装并启动了Hadoop。你可以通过访问Hadoop的Web界面(默认为http://localhost:50070)来验证Hadoop是否正常运行。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值