Hadoop之为了开发测试进行分布式集群搭建

最新推荐文章于 2024-10-11 10:12:56 发布

Java架构师联盟

最新推荐文章于 2024-10-11 10:12:56 发布

阅读量228

点赞数

分类专栏：大数据集群文章标签：大数据 linux hadoop hdfs

git地址：https://github.com/biws-byte/mxq

本文链接：https://blog.csdn.net/weixin_42864905/article/details/104395393

版权

大数据同时被 2 个专栏收录

35 篇文章 0 订阅

订阅专栏

集群

17 篇文章 0 订阅

订阅专栏

本文档提供了一种简单的方法来搭建Hadoop小规模集群，适用于开发和测试。主要步骤包括：准备虚拟机并配置网络与JDK，上传并解压Hadoop安装包，配置Hadoop环境及启动集群。详细步骤包括设置网络、配置环境变量、安装lrzsz、解压安装包、修改配置文件，最后启动集群并访问Web界面。

摘要由CSDN通过智能技术生成

在尽心到api的开发的时候涉及到开发环境的搭建，我发现，除了需要进行windows本地环境搭建意外，还需要进行集群环境搭建，但是可能有很多新手呢，不知道如何搭建，所以，我在这里呢，将环境搭建的简单小集群进行贡献，让大家可以进行简单的测试
1、准备一台虚拟机，内存2G足以使用，网络、jdk均需要配置完成
2、上传hadoop安装包并解压
3、配置hadoop相应的设置
4、格式化集群并启动
简单吧，一目了然，可是有的人会说你这不脱裤子放屁—多此一举啊，大家都知道这个，具体的怎么执行啊
好的，那下面就是具体的执行步骤，不要眨眼睛哦
1、你要有虚拟机，并且网络可通
dir /s 全磁盘扫描文件 DDOS—可以了解一下
ping www.baidu.com

这里是引用
> 配置环境变量
1.1 你的系统名称
cat /etc/sysconfig/network
1.2 映射文件（将你的IP地址和你的用户名进行绑定）
cat /etc/hosts
1.3 配置你们的网络
图形化界面或者命令行，我使用的是命令行
vi /etc/sysconfig/network-scripts/ifcfg-eth0
命令行配置网络：DEVICE=eth0 驱动名称
HWADDR=00:0C:29:1D:CC:22
TYPE=Ethernet
UUID=a4074c35-4d00-4f78-a546-30171d1266a9
ONBOOT=yes 是否开启网络连接，即开启网卡
NM_CONTROLLED=yes
BOOTPROTO=static 网络类型
IPADDR=192.168.152.123 ip地址
NETMASK=255.255.255.0 子网掩码
GATEWAY=192.168.152.2 网关
DNS1=8.8.8.8 域名解析
网络重新启动：service iptables start/restart/stop
查看网络信息：ifconfig -a
1.4正常windows中要进行开发----优先配置jdk环境变量
在Linux中：系统变量 /etc/profile
用户变量 /.bashrc
export JAVA_HOME=/opt/software/jdk1.8
export HADOOP_HOME=/opt/software/hadoop-2.6.5
export HADOOP_CLUSTER=/opt/software/hadoop-2.6.5-cluster
export PATH= $P A T H :$ JAVA_HOME/bin: $HADOOP_HOME/bin:$ HADOOP_HOME/sbin: $HADOOP_CLUSTER/bin:$ HADOOP_CLUSTER/sbin
生效环境变量：
source /etc/profile
source /.bashrc

2、配置hadoop
2.1、上传hadoop安装文件到虚拟机中
rz—你们的电脑里没有，需要安装：yum install lrzsz -y
2.2、上传的安装包需要解压 tar -zxvf 压缩包名称
改名：mv 现在的名称修改的名称
删除：rm -rf 要删除的文件

2.3、所谓的配置文件就是配置我们的角色信息
NN：vi core-site.xml

	<configuration>
				<property>
				<name>fs.defaultFS</name>		//namenode启动信息 9000.对外提供服务的端口
				<value>hdfs://node01:9000</value> 
				</property> 
				<property> 
				<name>hadoop.tmp.dir</name> 	//集群运行的时候产生的日志信息
				<value>/var/msb/hadoop/local</value> 
				</property> 
			</configuration>

DN：就是一些工作的节点–slaves 输入节点，即为启动之后的DN

SNN以及备份: vi hdfs-site.xml

<configuration>
				<property>
						<name>dfs.replication</name>      //修改备份数量
						<value>1</value>
				</property>

				<property>     
					 <name>dfs.namenode.secondary.http-address</name>    //确定secondaryNamenode在那里启动
						<value>node01:50090</value>
				</property>

			</configuration>

2.4 让配置文件生效 hdfs namenode -format 在Hadoop的bin目录下，通过./hdfs namenode -format
2.5 启动在hadoop的sbin目录下通过./start-dfs.sh 启动集群在任意位置启动，需要配置环境变量
2.6 web访问界面 ip:50070
2.7 简单操作： hdfs dfs -ls /

ok
到现在位置，一个简单的hadoop集群就搭建完成了，试试吧，各位！