hadoop环境准备

原创 2013年12月05日 15:05:53
1.宿主机(windows)与客户机(安装在虚拟机中的linux)网络连接
1.1 host-only 宿主机与客户机单独组网。
好处:网络隔离
坏处:虚拟机与其他服务器之间不能通信。
1.2 bridge  客户机与宿主机在同一个局域网中。
好处:都在同一个局域网,可以互相访问。
坏处:不安全
-----------------------------------------------------------------
2.hadoop的为分布安装步骤
【使用root用户登录】
2.1 设置静态ip
在centos桌面的右上角的图标上,右键修改。
重启网卡,执行命令service network restart
验证:执行命令ifconfig
2.2 修改主机名
<1>修改当前回话中的主机名,执行命令hostname hadoop
<2>修改配置文件中的主机名,执行命令vi /etc/sysconfig/network
验证:重启机器
2.3 把hostname和ip绑定
执行命令vi /etc/hosts,增加一行内容如下
192.168.5.88
保存退出。
验证:ping hadoop
2.4 关闭防火墙
执行命令 service iptables stop
验证:service iptables status
2.5 关闭防火墙的自动运行
执行命令 chkconfig iptabels off
验证: chkfongi --list | grep iptables
2.6 SSH(secure shell)
<1>执行命令 ssh-keygen -t rsa 产生密钥,位于~/.ssh文件夹中
<2>执行命令 cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys
验证: ssh localhost
2.7 安装JDK
<1>执行命令rm -rf /usr/local/* 删除所有内容
<2>使用winscp把jdk文件从windows复制到/usr/local目录下
<3>执行命令 chmod u+x jdk-6u24-linux-i586.bin赋予执行权限
<4>执行命令 ./jdk-6u24-linux-i586.bin 解压缩
<5>执行命令 mv jdk1.6.0_24 jdk 重命名
<6>执行命令 vi /etc/profile 设置环境变量,增加了2行内容
export JAVA_HOME=/usr/local/jdk
export PATH=.:JAVA_HOME/bin:$PATH
保存退出
执行命令 source /etc/profile 让该设置立即生效
验证:java -version
2.8 安装hadoop
<1>执行命令 tar -zxvf hadopp-1.1.2.tar.gz 进行解压缩
<2>执行命令 mv hadoop-1.1.2 hadoop 重命名
<3>设置环境变量 vi /etc/profile 设置环境变量,增加了1行内容
export HADOOP_HOME=/usr/local/hadoop
修改了一行内容
export PATH=.:$HADOOP_HOME/bin:JAVA_HOME/bin:$PATH
执行命令 source /etc/profile 让该设置立即生效
<4>修改hadoop的配置文件,位于$HADOOP_HOME/conf目录下
修改4个配置文件,分别是hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml
具体内容见PPT
【hadoop-env.sh的修改第9行,内容如下】
export JAVA_HOME=/usr/local/jdk
【core-site.xml的修改内容如下】
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://hadoop:9000</value>
<description>change your own hostname</description>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop/tmp</value>
</property>  
</configuration>
【hdfs-site.xml的修改内容如下】
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>
【mapred-site.xml的修改内容如下】
<confi guration>
<property>
<name>mapred.job.tracker</name>
<value>hadoop:9001</value>
<description>change your own hostname</description>
</property>
</configuration>
<5>执行命令 hadoop namenode -format 对hadoop进行格式化
<6>执行命令 start-all.sh 启动
验证:(1)执行命令jps,发现5个java进程,分别是NameNode、DataNode、SecondaryNameNode、JobTracker、TaskTracker
 (2)通过浏览器 http://hadoop:50070 和 http://hadoop:50030
******可以修改windows的C:\Windows\System32\drivers\etc\hosts文件
2.9 NameNode进程没有启动成功?
(1)没有格式化
(2)配置文件只copy,不修改
(3)hostname与ip没有绑定
(4)SSH的免密码登陆没有配置成功
3.0 多次格式化hadoop也是错误的?
方法:删除/usr/local/hadoop/tmp文件夹,重新格式化

Hadoop+Spark+Scala+R+PostgreSQL+Zeppelin 安装过程-环境准备

Hadoop+Spark+Scala+R+PostgreSQL+Zeppelin 安装过程前的环境准备。

虚拟环境下搭建hadoop之一——搭建前的准备

1 环境说明 集群包括3个节点,这个三个节点是用户名为hadoop-un的安装有CentOS6.7系统的虚拟机,这里虚拟机的安装过程略去。三个节点中,1个master节点,2个slave节点,节点之...
  • liu_005
  • liu_005
  • 2015年12月14日 17:04
  • 275

<hadoop学习历程>--笔记心得7-环境准备

1.首先要有一台vm,然后在这个虚拟机上安装一个centos的linux系统。 2.因为是在虚拟机下,为了保证linux可以联网,刚刚安装的centos系统是dhcp分配的ip,这时候选择net,让...

hadoop集群搭建准备环境

linux集群搭建准备环境

伪分布式系统之安装HADOOP环境之前的准备工作

1. 设置主机名称和IP地址 配置映射主机名[xua@bigdata-hpsk ~]$ hostname bigdata-hpskIP地址[xua@bigdata-hpsk ~]$ ifconfig ...

Hadoop 2.5.1 虚拟集群搭建——基本环境准备

最近看到第一届全国高校云计算应用创新大赛在东南大学举行,内心有点小骚动。心动不如行动,我赶紧在自己的PC上搭了个虚拟的hadoop环境,断断续续花了半个月,终于弄好了,这篇文章先介绍一下虚拟机环境的准...

hadoop环境搭建准备工作之二:linux下设置ssh无密码登陆

ssh配置   主机A:172.16.16.101 主机B:172.16.16.102  需要配置主机A无密码登录主机A,主机B 先确保所有主机的防火墙处于关闭状态。 在主机A上执行如下: ...

入职任务--搭建hadoop和storm环境并测试(包含搭建文档和测试准备文档,测试文档)

linux环境变量 export命令详解http://blog.csdn.net/wl_fln/article/details/7258294 1.搭建hadoop环境 hadoop各版本下载地址...

Hadoop入门进阶步步高(一)-环境准备

前言Hadoop从存储上来说,是类似于冗余磁盘阵列(RAID)的存储方式,将数据分散存储并提供以提供吞吐量,它的存储系统就是HDFS(Hadoop Distuibute Fils System);从计...

实验室私有云部署Hadoop(1)-环境准备篇

硬件准备 路由器 实体物理机 网线 操作系统准备我选择的是 LINUX-CENTOS7系统,两台物理机一台装了桌面图形界面版,一台装了命令行版...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:hadoop环境准备
举报原因:
原因补充:

(最多只允许输入30个字)