修改hostname
sudo vim /etc/hostname
修改静态IP
sudo /etc/network/interfaces
添加以下配置
auto ens33(联网名称)
ifaces ens33 inet static
address 192.168.135.133
gateway 192.168.135.2
netmask 255.255.255.0
重启网络:/etc/init.d/networking restart
重启电脑:reboot
实现SSH免密码登录
安装SSH:sudo apt-get install ssh | sudo apt-get install sshopen-server
配置密钥:ssh-keygen -t rsa
配置公钥:cat ~/.ssh/id_rsa.pub >> authorized_keys
测试免密码登录:ssh hostname(主机名)
配置Java环境
解压下载的JDK包至任意目录,开始就好.
配置环境变量
sudo vim /etc/profile
添加以下代码:
export JAVA_HOME=jdk所在的路径
export CLASSPATH=:.$JAVA_HOME/jre/lib:$JAVA_HOME/lib
export PATH=$PATH:$JAVA_HOME/jre/bin:$JAVA_HOME/bin
保存,source /etc/profile
在终端输入 java,javac验证JAVA环境是否配置正确.
配置Hadoop环境
1)配置Hadoop全局环境变量
sudo vim /etc/profile
export JAVA_HOME=jdk所在的路径
export CLASSPATH=:.$JAVA_HOME/jre/lib:$JAVA_HOME/lib
export PATH=$PATH:$JAVA_HOME/jre/bin:$JAVA_HOME/bin:/Hadoop所在目录/bin:/Hadoop所在目录/sbin
source /etc/profile
终端输入hadoop命令测试是否配置成功
2)hadoop-env.sh
PS:这类所说的配置文件均在/etc/hadoop/目录下
找到JAVA_HOME=${JAVA_HOME}
将${JAVA_HOME}替换成jdk所在的路径
3)core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://ubuntu:9000</value>
<description>hdfs://主机名:9000</description>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/hadoop/tmp</value>
<description>输入tmp目录的路径[tmp目录需要手工建立]</description>
</property>
</configuration>
4)hdfs-site.xml
dfs/data,dfs/name需要手工建立.
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
<description>不能大于datanode的数量,默认为3</description>
</property>
<property>
<name>dfs.data.dir</name>
</value>/opt/hadoop/dfs/data</value>
</property>
<property>
<name>dfs.name.dir</name>
<value>/opt/hadoop/dfs/name</value>
</property>
</configuration>
5)mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
6)yarn-site.xml
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.scheduler.minimum-allocation-mb</name>
<value>2040</value>
</property>
<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>20480</value>
</property>
<property>
<name>yarn.nodemanager.resource.cpu-vcores</name>
<value>1</value>
</property>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>boomboom</value>
</property>
</configuration>
验证Hadoop环境
回退到Hadoop根目录,执行以下命令
1)格式化namenode ./bin/hdfs namenode -format
2)启动环境 ./sbin/start-all.sh
测试环境
1)输入jps
2)算上jps一共有如下6个进程
29401 NodeManager
28922 DataNode
29114 SecondaryNameNode
31610 Jps
29276 ResourceManager
28766 NameNode
3)web端测试
打开浏览器,进入
ubuntu:50070
ubuntu:8088