在尽心到api的开发的时候涉及到开发环境的搭建,我发现,除了需要进行windows本地环境搭建意外,还需要进行集群环境搭建,但是可能有很多新手呢,不知道如何搭建,所以,我在这里呢,将环境搭建的简单小集群进行贡献,让大家可以进行简单的测试
1、准备一台虚拟机,内存2G足以使用,网络、jdk均需要配置完成
2、上传hadoop安装包并解压
3、配置hadoop相应的设置
4、格式化集群并启动
简单吧,一目了然,可是有的人会说你这不脱裤子放屁—多此一举啊,大家都知道这个,具体的怎么执行啊
好的,那下面就是具体的执行步骤,不要眨眼睛哦
1、你要有虚拟机,并且网络可通
dir /s 全磁盘扫描文件 DDOS—可以了解一下
ping www.baidu.com
这里是引用
> 配置环境变量
1.1 你的系统名称
cat /etc/sysconfig/network
1.2 映射文件(将你的IP地址和你的用户名进行绑定)
cat /etc/hosts
1.3 配置你们的网络
图形化界面或者命令行,我使用的是命令行
vi /etc/sysconfig/network-scripts/ifcfg-eth0
命令行配置网络:DEVICE=eth0 驱动名称
HWADDR=00:0C:29:1D:CC:22
TYPE=Ethernet
UUID=a4074c35-4d00-4f78-a546-30171d1266a9
ONBOOT=yes 是否开启网络连接,即开启网卡
NM_CONTROLLED=yes
BOOTPROTO=static 网络类型
IPADDR=192.168.152.123 ip地址
NETMASK=255.255.255.0 子网掩码
GATEWAY=192.168.152.2 网关
DNS1=8.8.8.8 域名解析
网络重新启动:service iptables start/restart/stop
查看网络信息:ifconfig -a
1.4正常windows中要进行开发----优先配置jdk环境变量
在Linux中:系统变量 /etc/profile
用户变量 /.bashrc
export JAVA_HOME=/opt/software/jdk1.8
export HADOOP_HOME=/opt/software/hadoop-2.6.5
export HADOOP_CLUSTER=/opt/software/hadoop-2.6.5-cluster
export PATH= P A T H : PATH: PATH:JAVA_HOME/bin: H A D O O P H O M E / b i n : HADOOP_HOME/bin: HADOOPHOME/bin:HADOOP_HOME/sbin: H A D O O P C L U S T E R / b i n : HADOOP_CLUSTER/bin: HADOOPCLUSTER/bin:HADOOP_CLUSTER/sbin
生效环境变量:
source /etc/profile
source /.bashrc2、配置hadoop
2.1、上传hadoop安装文件到虚拟机中
rz—你们的电脑里没有,需要安装:yum install lrzsz -y
2.2、上传的安装包需要解压 tar -zxvf 压缩包名称
改名:mv 现在的名称 修改的名称
删除:rm -rf 要删除的文件
2.3、所谓的配置文件就是配置我们的角色信息
NN:vi core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name> //namenode启动信息 9000.对外提供服务的端口
<value>hdfs://node01:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name> //集群运行的时候产生的日志信息
<value>/var/msb/hadoop/local</value>
</property>
</configuration>
DN:就是一些工作的节点–slaves 输入节点,即为启动之后的DN
SNN以及备份: vi hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name> //修改备份数量
<value>1</value>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name> //确定secondaryNamenode在那里启动
<value>node01:50090</value>
</property>
</configuration>
2.4 让配置文件生效 hdfs namenode -format 在Hadoop的bin目录下,通过./hdfs namenode -format
2.5 启动 在hadoop的sbin目录下通过./start-dfs.sh 启动集群 在任意位置启动,需要配置环境变量
2.6 web访问界面 ip:50070
2.7 简单操作: hdfs dfs -ls /
ok
到现在位置,一个简单的hadoop集群就搭建完成了,试试吧,各位!