Hadoop入门 day1

最新推荐文章于 2024-06-03 10:40:23 发布

2401_83944297

最新推荐文章于 2024-06-03 10:40:23 发布

阅读量711

点赞数 15

分类专栏： 2024年程序员学习文章标签： hadoop 网络大数据

本文链接：https://blog.csdn.net/2401_83944297/article/details/137649760

版权

2024年程序员学习专栏收录该内容

277 篇文章 0 订阅

订阅专栏

注意：在hadoop130上生成公钥，然后复制给hadoop131，结果是可以在hadoop130上免密登录hadoop131

简单方法：

先在hadoop130上生成公钥、密钥

ssh-keygen        //之后按四下回车

然后将公钥复制给hadoop131，就可以登陆hadoop131（中间可能要输入hadoop131的密码）

ssh-copy-id hadoop131

复杂方法：

在从机hadoop130上，查看本地机器的隐藏文件 .ssh

ll -a

进入.ssh目录

cd .ssh

发起公钥请求

ssh-keygen -t rsa

然后在.ssh/目录下，会新生成两个文件：id_rsa.pub和 id_rsa

上传公钥到目标主机（注意要在.ssh目录下，否则可能没有权限）

ssh-copy-id crane@192.168.10.131
ssh-copy-id crane@hadoop131

(ssh-copy-id 用户名@主机名/IP地址）

在主机的.ssh文件上检查是否接收到 authorized_keys文件

文件中查看hadoop131下的authorized_keys文件与hadoop130下的id_rsa.pub中内容是一样的

之后可以在主机hadoop130上测试免密登录从机hadoop131

ssh hadoop131           //用户名相同时
ssh 用户名@IP地址        //用户名不同时

Q1.找不到.ssh文件夹

ssh localhost

.ssh 是记录密码信息的文件夹，如果没有登录过root的话，就没有 .ssh 文件夹，因此登录 localhost ，并输入密码就会生成了。

Q2.SSHD服务无响应

yum list installed | grep openssh-server    //检查sshd有没有安装
netstat -an | grep 22        //检查sshd 服务是否启动
systemctl start sshd.service   //开启sshd服务
systemctl status sshd.service   //查看sshd状态
systemctl restart sshd.service   //重启sshd服务

0.3 主机配置

配置主机hostname为hadoop130，hadoop131，hadoop132

配置主机hosts

192.168.10.130 hadoop130
192.168.10.131 hadoop131
192.168.10.132 hadoop132

集群时间同步

ntpdate ntp5.aliyun.com       //同步阿里云的时间

关闭防火墙

systemctl stop firewalld               //关闭防火墙
sudo systemctl disable firewalld          //关闭防火墙自启

传输文件后解压

tar -zxvf jdk.1.8.0_401.tar.gz

拷贝文件到其他主机

scp -r /opt/hadoop/hadoop-3.1.3/ root@hadoop131:/opt/hadoop/hadoop-3.1.3/
scp -r /opt/java/jdk1.8.0_401/ root@hadoop131:/opt/java/jdk1.8.0_401/

修改环境变量

//打开配置环境变量的文件

vim /etc/profile.d/my_env.sh          //二选一      
vim /etc/profile

//复制下面这个到文本

#JAVA_HOME
export JAVA_HOME=/opt/java/jdk1.8.0_401
export PATH=$PATH:$JAVA_HOME/bin

#HADOOP_HOME 
export HADOOP_HOME=/opt/hadoop/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

//重新加载环境变量

source /etc/profile

//验证
java
hadoop

Q1.执行source /etc/profile报错“：command not found”

locate source /etc/profile      //二选一
usr/bin/source /etc/profile

Q2.执行source /etc/profile报错bash: rt: 未找到命令…相似命令是： ‘tr’

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数Linux运维工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Linux运维全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Linux运维知识点，真正体系化！

由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新

如果你觉得这些内容对你有帮助，可以添加VX：vip1024b （备注Linux运维获取）

最全的Linux教程，Linux从入门到精通

======================

linux从入门到精通(第2版)
Linux系统移植
Linux驱动开发入门与实战
LINUX 系统移植第2版
Linux开源网络全栈详解从DPDK到OpenFlow

华为18级工程师呕心沥血撰写3000页Linux学习笔记教程

第一份《Linux从入门到精通》466页

====================

内容简介

====

本书是获得了很多读者好评的Linux经典畅销书**《Linux从入门到精通》的第2版**。本书第1版出版后曾经多次印刷，并被51CTO读书频道评为“最受读者喜爱的原创IT技术图书奖”。本书第﹖版以最新的Ubuntu 12.04为版本，循序渐进地向读者介绍了Linux 的基础应用、系统管理、网络应用、娱乐和办公、程序开发、服务器配置、系统安全等。本书附带1张光盘，内容为本书配套多媒体教学视频。另外,本书还为读者提供了大量的Linux学习资料和Ubuntu安装镜像文件，供读者免费下载。

华为18级工程师呕心沥血撰写3000页Linux学习笔记教程