Java转大数据第一课（必修课）（用汗水为后来人做铺垫-----非常详细图文步骤）

最新推荐文章于 2022-10-22 08:26:34 发布
最新推荐文章于 2022-10-22 08:26:34 发布
阅读量6.4k 收藏 301
点赞数 108
分类专栏： 职场@大数据 文章标签： SSH拒绝访问 无法访问50070 防火墙没关 伪分布集群Hadoop SSH免密登录
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wolf_love666/article/details/88559974
版权

搭建Hadoop环境(jdk8/Hadoop2.x/viralbox)

准备工作
  • （1）关闭防火墙、主机名
  • （2）安装JDK
  • （3）免密码登录

准备工具：
jdk
virtualBox
iso
安装过程：

1、环境搭建

在这里插入图片描述
安装完毕以后，VirualBox是没有64位显示的，那么我们需要按照如下图更改BIOS配置。在这里插入图片描述
选择自己新建的类型，这里选择linux、选择版本red hat
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

ipv4和掩码，记得ipv4配置192.168的网段，我这里配置192.168.56.111。掩码：255.255.255.0

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

2、关闭防火墙

在这里插入图片描述
补充：

这里如果你依然链接不上链接：检查密码也对。拒绝访问或者就是ping ip超时，那么问题是在网络链接的四种模式。默认是NAT。你可以修改为

3、配置JDK

解压jdk到指定目录/usr/local：tar -zxvf jdk-8u144-linux-x64.tar.gz -C /usr/local

在这里插入图片描述在这里插入图片描述

4、配置Hadoop

解压hadoop到指定文件: tar -xzvf hadoop-2.7.3.tar.gz -C /usr/local

jdk中配置hadoop路径

export JAVA_HOME=/usr/local/jdk1.8.0_144
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/lib:${JRE_HOME}/lib
export HADOOP_HOME=/usr/local/hadoop-2.7.3
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export PATH=$JAVA_HOME/bin:$PATH

在这里插入图片描述
每次修改完/etc/profile文件都需要重新激活配置否则不生效：source /etc/profile
在这里插入图片描述
Hadoop中也需要配置jdk：

在这里插入图片描述

5、本地模式启动Hadoop

在这里插入图片描述

小结：在这个过程中，如果你需要上传文件则这里可以通过xftp或者winscp。
这里经常会遇见问题：比如说，拒绝访问。比如说root密码对但是登录不上。别着急，别慌。两种检查方案：
1、检查你的连接IP是否正确通过 ifconfig。

如果没有ifconfig。那么可以选用ip addr show的命令格式查看

2、检查是否安装了ssh服务

查看ssh的安装包 ：rpm -qa | grep ssh 
查看ssh是否安装成功 ：ps -ef | grep ssh
开启sshd服务 ：service sshd start 
开启sshd服务 ：/bin/systemctl start sshd.service 
查看sshd服务的网络连接情况：netstat -ntlp 


安装ssh
因为以后的操作要用到ssh面密登录，现在先确保系统里安装好ssh. 如
果未安装可利用sudo apt-get install ssh 安装，使用ssh localhost 来ssh登陆本机 
使用命令dpkg –l |grep ssh 
检查是否安装openssh-server 
没有的话使用apt-get安装。 
安装完成之后检查是否启动： 
有sshd说明已经启动，没有启动的话使用命令： 
/etc/init.d/ssh start 来启动ssh服务。

tips:
service ssh restart是centos 6的命令。
centos 7的命令应该是：systemctl restart sshd

3、检查是否不允许让root登录

编辑/etc/ssh/sshd_config文件
sudo vi /etc/ssh/sshd_config
1.编辑 /etc/ssh/sshd_config文件：  sudo vi /etc/ssh/sshd_config

将PermitRootLogin 的值改成 yes

将PermitEmptyPassword 的值改成 no

保存退出 

重启ssh

Hadoop的分布式配置文件图，由于是别人的，所以有些信息和我这里对不上。但是我大体说明下就可以知道了。把/root/training/换成我们这里的/usr/local就可以了
在这里插入图片描述

6、启动伪分布式Hadoop

由于刚才我们有个步骤非常恶心，就是选择yes连续才能启动起来。那么我们需要设置免密登录。

6.1免密登录

所以这里我重新设置了hostName以后再进行面密登录：
步骤如下：ssh-keygen -t rsa -P ''
在这里插入图片描述

cat  /root/.ssh/id_rsa.pub >>  /root/.ssh/authorized_keys
chmod 600 /root/.ssh/authorized_keys

在这里插入图片描述
完成之后，以 root 用户登录，修改 ssh 配置文件

vi /etc/ssh/sshd_config
　　把文件中的下面几条信息的注释去掉：　

　　RSAAuthentication yes # 启用 RSA 认证
　　PubkeyAuthentication yes # 启用公钥私钥配对认证方式
　　AuthorizedKeysFile .ssh/authorized_keys # 公钥文件路径（和上面生成的文件同）

在这里插入图片描述
重启服务：systemctl restart sshd.service
然后ssh localhost登录发现异常
在这里插入图片描述
The authenticity of host ‘localhost (::1)’ can’t be established.
ECDSA key fingerprint is SHA256:X+9DEX5+oCD0NyGctt0HK8swVeVvOZOFhJbBt0Vguv8.
ECDSA key fingerprint is MD5:16:33:69:41:1d:99:37:27:5b:81:0e:ee?82:ec:fd.

Fix it:
方法一
ssh -o StrictHostKeyChecking=no 192.168.xxx.xxx（我这里的链接是配置的192.168.56.111）
在这里插入图片描述
方法二
一个彻底去掉这个提示的方法是，修改/etc/ssh/ssh_config文件（或$HOME/.ssh/config）中的配置，添加如下两行配置：
StrictHostKeyChecking no
UserKnownHostsFile /dev/null
修改好配置后，重新启动sshd服务即可。
重启ssh服务命令为systemctl restart sshd.service
在这里插入图片描述
在这里插入图片描述

6.2伪分布式环境搭建配置

6.2.1、上传和解压hadoop并配置环境变量

上面解压和配置etc/profile的hadoop变量已经完成，现在配置伪分布式环境

6.2.2、创建hadoop文件夹下的tmp目录在这里插入图片描述
6.2.3、在hadoop-env.sh增加环境变量

在这里插入图片描述

6.2.4、在hdfs-site.xml修改数据块的冗余度和禁用HDFS权限检查
     （*）hdfs-site.xml
	<!--数据块的冗余度默认3-->
			<!--原则数据块的冗余度跟数据节点个数一样，最大不超过3-->
			<property>
				<name>dfs.replication</name>
				<value>1</value>
			</property>
			
			<!--禁用HDFS权限检查-->
			<property>
				<name>dfs.permissions</name>
				<value>false</value>
			</property>

在这里插入图片描述

6.2.5、在core-site.xml修改NameNode的地址和HDFS对应的操作系统目录
     （*）core-site.xml
			<!--NameNode的地址-->
			<property>
				<name>fs.defaultFS</name>
				<!-- 192.168.56.111是我们之前配置的虚拟机ip地址-->
				<value>hdfs://192.168.56.111:9000</value>
			</property>	
	
			<!--HDFS对应的操作系统目录-->
			<property>
				<name>hadoop.tmp.dir</name>
				<!--正式配置参数前创建的目录路径-->
				<value>/usr/local/hadoop-2.7.3/tmp</value>
			</property>

在这里插入图片描述

6.2.6、在mapred-site.xml增加yarn容器的配置
（*）mapred-site(.xml/.tmplate)
			<property>
				<name>mapreduce.framework.name</name>
				<value>yarn</value>
			</property>
			如果是tmplate结尾，更改为复制template，生成xml，命令如下：
            cp mapred-site.xml.template mapred-site.xml

在这里插入图片描述
在这里插入图片描述

6.2.7、在yarn-site.xml增加resourcemanager的地址和洗牌配置
		（*）yarn-site.xml
			<!--ResourceManager地址-->
			<property>
				<name>yarn.resourcemanager.hostname</name>
				<value>192.168.56.111</value>
			</property>

			<!--洗牌-->
			<property>
				<name>yarn.nodemanager.aux-services</name>
				<value>mapreduce_shuffle</value>
			</property>

在这里插入图片描述
到此我们便配置完成一个 hdfs 伪分布式环境
在这里插入图片描述

6.2.7、　启动 hdfs Single Node，格式化NameNode，比较重要

①、初始化 hdfs 文件系统
bin/hdfs namenode -format

②、启动 hdfs
sbin/start-dfs.sh，但是我们这里配置了yarn容器所以我们可以直接start-all.sh启动hdfs服务和yarn服务
在这里插入图片描述
在这里插入图片描述
在你的浏览器内输入你的虚拟主机ip:50070访问namenode服务
在这里插入图片描述
在这里插入图片描述
这里的黄色信息192.168.56.101就是上面我们提到启动的时候日志提示的信息。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

以下是错误失败次数导致的积累。从某种意义上说，多经历几次失败就好了。如果你按照上面的教程没有成功，则肯定是你没看仔细或者省略了步骤，再重新来一遍就好了。对了版本要一致，不同的版本不同的坑。

如果不格式化启动服务，然后再格式化的情况下不能访问50070服务namenode，只能访问如下界面

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

问题很难过：
hadoop无法访问50070端口怎么办？

Hadoop 50070是hdfs的web管理页面，在搭建Hadoop集群环境时，有些大数据开发技术人员会遇到Hadoop 50070端口打不开的情况，引起该问题的原因很多，想要解决这个问题需要从以下方面进行排查！

1. 排查Namenode是否部署成功

排查Namenode是否部署成功可以采用命令jps两种方式之一查看，如Namenode未部署成功，需重新部署Namenode；若已部署成功，请进行第二步排查！

2. 排查datanode是否部署成功

排查datanode是否部署成功可以采用jps命令进行查看，如果部署未成功，找到问题节点进行解决；若部署成功请进行第三步。

3.排查防火墙是否开启

排查防火墙是否正常开启，如果防火墙关闭了，可按照以下方式进行设置：

netstat –ant  #查看本地开发端口

127.0.0.1 50070

在hdfs-site.xml中，更改开放端口的绑定IP：

<property>

  <name>dfs.http.address</name>

  <value>0.0.0.0:50070</value>

</property>

将绑定IP改为0.0.0.0，而不是本地回环IP，这样，就能够实现外网访问本机的50070端口了

排查问题：5个节点都启动成功
在这里插入图片描述
在这里插入图片描述
更改0.0.0.0:50070依然失败。无法访问50070.

过程中遇见的其他问题：

userdel -r hadoop

group hadoop not removed because it has other members.

免密登录不能使用hostname大写字母
在这里插入图片描述

小诚信驿站
关注
专栏目录
Java第一课
07-05
Java的简答小结
大数据第一课
dingchuda0659的博客
09-29 190
Java大数据知识体系 转载于:https://www.cnblogs.com/tyh666/p/11610357.html
大数据学习的第一课-大数据概论和技术原理
莫浅子的博客
10-22 4315
大数据(Big Data)，指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。采用分步式的方式存储数据时，要考虑数据复制时一致性问题，数据复制与一致性基本原则和设计理念CAP 、ACID 、BASE 等。典型的Hadoop 的HDFS存储框架采用文件拆分存储在多个结点，每个拆分出的文件存储3个副本的形式存储。大数据就像矿石，需要汇聚，清洗 ,分析 ，挖掘等处理才能发挥蕴含的价值。
【Java第一课
Zhanhxinjie的博客
06-06 1155
开始学习Java第一节课。首先了解一下Java的发展史，Java是美国的sun公司于1995年推出的一门计算机语言，后由甲骨文公司收购。Java之父是詹姆斯-高斯林Java有一优势就是它 可以跨平台使用JDK：Java开发工具包，里面有供开发人员使用的各种开发工具，想要运行一个Java程序就必须安装JDKJRE：Java程序的运行环境，包含JVM与核心类库DOS命令窗口： Path环境变量的配置：...
实体店老板0-1短视频必修课-视频教程网盘链接提取码下载 .txt
06-02
实操讲师账号定位、策划、...口播，表演，表达，演讲，手机短视频创作拍摄剪辑。课程包括认知了解短视频、内容创作实操课、拍摄运镜实操课、剪辑教学实操课、包括短视频案例课和手把手实操案例库等。 视频大小：2.3G
必修一-4-1-人工智能.docx
12-18
人工智能与人类智能的主要区别在于，机器的智能是通过数据、数学模型和算法来实现的，通常以结果为导向，而人类智能则更加复杂，涉及情感、直觉和创造性的思考。 3. **人工智能的研究目的** 人工智能的研究目标...
电商从业者基础必修课-高效沟通艺术-电商高效团队建设
07-23
资源名称：电商从业者基础必修课-高效沟通艺术-电商高效团队建设内容简介：电子商务人才发展现状-存在的主要问题电商成功人士三大必备技能-沟通有效的沟通技巧有效的肢体语言成熟沟通的十大法则高效沟通的基本步骤拿...
大数据必修课 Python基础入门教程 Python自学资料课件-第9章 Python异常 共24页.pptx
04-15
【Python异常处理】在...Python作为大数据应用人才的必修课，掌握异常处理是编程实践中不可或缺的技能。通过清华大学的这套Python基础入门教程，无论是初学者还是有经验的开发者，都能系统地学习和巩固这一关键知识。
大数据必修课 数据挖掘基础课程 含练习题 第4章 关联规则 Apriori FP-Growth算法 共40页.pptx
最新发布
04-15
【大数据必修课 数据挖掘基础课程】这门课程涵盖了数据挖掘的重要知识点，旨在培养大数据应用人才。课程资源丰富，包括了从数据挖掘的基础概念到实际应用的多个章节，适合从初学者到经验丰富的专业人士学习。 在...
java第一课
08-20
java培训的第一课，给java初学者一些资源，无法免费只能C币1了
Java 第一课
m0_65026757的博客
06-01 134
Java基础是学习JavaEE、大数据、Android开发的基石 第一章：Java语言概述
JAVA第一课
weixin_34363171的博客
04-24 85
System.out.println( "Hello, World!" );Hello,World 是每个人学习编程的开始，也是人生的转折点，Welcome to the virtual world 转载于:https://www.cnblogs.com/huangweikai/p/10761549.html...
Java浅谈
clover_oreo的博客
02-28 204
1.Java概述 Java语言是美国Sun公司（Stanford University Network）在1995年推出的 计算机语言。 Java之父：詹姆斯·高斯林（James Gosling）。 2.Java语言跨平台原理 平台指的是操作系统 Windows Mac Linux 跨平台：Java程序可以在任意操作系统上运行 总结：在需要运行Java应用程序的操作系统上，安装一个与操作系统对应的Java虚拟机(JVM Java Virtual Machine)即可。 3.JDK,J...
面向对象程序设计C 第三版 - 第一章概述
2022年陈天华-面向对象程序设计C 第三版-ppt-第一章完整.ppt；2022年陈天华-面向对象程序设计C 第三版-ppt-第一章完整.ppt;课程概述 《面向对象程序设计》是计算机专业必修的基础课程，也是一门核心课程。本课程以...
评论 18
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小诚信驿站

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值