study hadoop 1


=============================================
experience:
  * look video
  * operate according video
  * record command and preduce with operate successfully.
=============================================
2016/7/10-7
* ssh连接时去掉“The authenticity of host xx can’t be established”解决方法  
  http://www.111cn.net/sys/linux/80188.htm
  1. 使用ssh连接远程主机时加上“-o StrictHostKeyChecking=no”的选项,如下:
 
ssh  -o StrictHostKeyChecking=no  192.168.xxx.xxx
 
if the method above invalid, could try below:
 
$ ssh -v slave@192.168.0.10
or
$ ssh sxg@192.168.1.104
attention: there may be should hostname, not only host address.

2. 一个彻底去掉这个提示的方法是,修改/etc/ssh/ssh_config文件(或$HOME/.ssh/config)中的配置,添加如下两行配置:
 
StrictHostKeyChecking no
UserKnownHostsFile /dev/null
 
修改好配置后,重新启动sshd服务即可,命令为:/etc/init.d/sshd restart (或 service sshd restart )
 
* 免密码登录其他Linux主机--一次设置,过一会就失效了。。
  ** ifconfig    主机1查看ip: 192.168.1.108,用户名itcast
  ** ifconfig    主机2查看ip: 192.168.1.109,用户名itcast
  ** ssh 192.168.1.109    主机1登录主机2,需要密码
 
  ** cd /home/itcast/    主机1到主目录下
  ** ssh-keygen -t rsa    主机1建立密码目录
  ** cd /home/itcast/    主机2到主目录下
  ** ssh-keygen -t rsa    主机2建立密码目录
 
  主机1到主目录下,做密码文件复制操作,复制到主机2下面
  ** ls -al    
  ** cd .ssh
  ** ls        可看到新建文件有id_rsa和id_rsa_pub
  ** scp ./id_rsa.pub itcast@192.168.1.109:/home/itcast/.ssh/authorized_keys
  主机2到主目录下,做密码文件复制操作,复制到主机1下面,具体如上操作。
 
  ** ssh 192.168.1.109    主机1登录主机2,不需要密码
  ** ssh 192.168.1.108    主机2登录主机1,不需要密码
   
  ** 如果想自己登陆自己免密码,也要把自己的公钥放到自己的authorized_keys里,即authorized_keys空两行,粘贴id_rsa.pub即可。
 
* 配置hadoop,
CentOS7 上安装Hadoop 2.7.2 的安装 和 初步使用 http://blog.csdn.net/remote_roamer/article/details/50579874
 
 
 
*  
Oracle VirtualBox 安装增强工具包:“building the main guest additions module 失败” 原因及解决方法  http://www.programgo.com/article/8869637863/
 
Windows 7与VirtualBox中的Ubuntu共享文件的方法 http://www.linuxidc.com/Linux/2014-02/96713.htm
 
VirtualBox内Linux系统怎样与Windows共享文件夹 http://jingyan.baidu.com/article/2fb0ba40541a5900f2ec5f07.html
 
*
CentOS卸载系统自带的OpenJDK并安装Sun的JDK的方法 http://www.cnblogs.com/sixiweb/archive/2012/11/25/2787684.html
查看目前系统的jdk: rpm -qa | grep jdk
得到的结果:  
 
[root@dc-01 java]#  rpm -qa | grep jdk
java-1.6.0-openjdk-1.6.0.0-1.45.1.11.1.el6.i686  
 
卸载之:
 [root@dc-01 java]# yum -y remove java-1.6.0-openjdk-1.6.0.0-1.45.1.11.1.el6.i686
等一段时间就Complete了
 
* 第二个centos虚拟机
useradd hadoop
passwd hadoop
  1314hadoop
 
* 查看Linux的主机名
  #hostname
    centos
  #uname -n
    centos
 
* 改linux主机名
1、通过hostname命令。
命令格式:hostname newhostname
此命令的作用是暂时的修改linux的主机名,它的存活时间linux当前的运行时间,即在
重启前的运行时间内。一般修改以后就生效,但是不能永久修改
2、 通过配置文件/etc/sysconfig/network修改。
--------------------------------------------------------
# cat /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=localhost.localdomain
--------------------------------------------------------
       通过修改此文件的内容,它能够实现永久修改linux的主机名,但是它不会立即生效,即有可能不在当前运行时间生效,即在从下次重启后才开始生效,至少是 不在当前session生效,需要用户退出以后才生效。通过修改此配置文件,再配合hostname命令,可实现立即永久修改linux的主机名。
 
sxg:修改完,一定要login itcast,会换个terminal,否则命令行前面的主机名不会变。
 
* Hadoop集群安装配置教程 http://blog.csdn.net/remote_roamer/article/details/50579874
严重提示:
这里注意所有的主机名需要规范设置。不能用下划线来做分隔符,只能用减号。
同时不能在配置文件里面使用ip地址。而要使用主机名。
 
我在安装过程中就是因为这2个原因。导致集群无法正确建立。hdfs dfsadmin -report ,无法显示正确信息
 
* 20160712-2 下一步,master和slave两个虚拟机装免密码登录。master主机安装配置jdk,从机已配置好jdk。
 
 
==============================================
20160723-6
 
==============================================
 
 
==============================================
 
==============================================
 
==============================================
 
==============================================
 
==============================================
 
==============================================
 
==============================================
 
==============================================
 
==============================================
 
==============================================
 
==============================================

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
本次实验旨在学习Hadoop分布式计算框架的部署和使用,以下是实验报告: 一、实验环境 1. 虚拟机软件:VMware Workstation Pro 16 2. 操作系统:Ubuntu Server 18.04 LTS 3. Hadoop版本:Hadoop-2.7.7 4. Java版本:OpenJDK 8 二、实验步骤 1. 安装Java 在Ubuntu系统上安装OpenJDK 8: ``` sudo apt-get update sudo apt-get install openjdk-8-jdk ``` 2. 下载Hadoop 从官网下载Hadoop-2.7.7版本:https://hadoop.apache.org/releases.html 3. 配置Hadoop 解压Hadoop文件,将其放置在指定目录下(此处为/usr/local/hadoop/): ``` sudo tar -zxvf hadoop-2.7.7.tar.gz -C /usr/local/ sudo mv /usr/local/hadoop-2.7.7 /usr/local/hadoop ``` 配置Hadoop环境变量: ``` sudo nano ~/.bashrc ``` 在文件末尾添加以下内容: ``` export HADOOP_HOME=/usr/local/hadoop export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin ``` 保存并退出,然后使用以下命令使环境变量生效: ``` source ~/.bashrc ``` 4. 配置Hadoop集群 首先,在master节点上创建一个名为“hadoop”的用户,并设置密码: ``` sudo adduser hadoop sudo passwd hadoop ``` 然后在master节点和slave节点上安装ssh服务: ``` sudo apt-get install ssh ``` 生成ssh密钥: ``` ssh-keygen -t rsa ``` 将公钥复制到所有slave节点: ``` ssh-copy-id hadoop@slave1 ssh-copy-id hadoop@slave2 ... ``` 编辑Hadoop的配置文件/etc/hadoop/core-site.xml,添加以下内容: ``` <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://master:9000</value> </property> </configuration> ``` 其中“master”是master节点的主机名。 编辑Hadoop的配置文件/etc/hadoop/hdfs-site.xml,添加以下内容: ``` <configuration> <property> <name>dfs.replication</name> <value>3</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>/usr/local/hadoop/data/nameNode</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>/usr/local/hadoop/data/dataNode</value> </property> </configuration> ``` 其中“dfs.replication”表示数据副本数,这里设置为3;“dfs.namenode.name.dir”表示NameNode的数据存储位置,“dfs.datanode.data.dir”表示DataNode的数据存储位置。 编辑Hadoop的配置文件/etc/hadoop/mapred-site.xml,添加以下内容: ``` <configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration> ``` 编辑Hadoop的配置文件/etc/hadoop/yarn-site.xml,添加以下内容: ``` <configuration> <property> <name>yarn.resourcemanager.hostname</name> <value>master</value> </property> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> </configuration> ``` 其中“yarn.resourcemanager.hostname”表示ResourceManager的主机名,“yarn.nodemanager.aux-services”表示NodeManager的辅助服务。 5. 启动Hadoop集群 启动Hadoop集群: ``` start-all.sh ``` 使用jps命令查看Hadoop进程: ``` jps ``` 输出如下: ``` 24012 Jps 23632 ResourceManager 23355 NameNode 23824 NodeManager 23519 SecondaryNameNode ``` 6. 验证Hadoop集群 在Hadoop集群中上传文件: ``` hdfs dfs -mkdir /input hdfs dfs -put /usr/local/hadoop/etc/hadoop/*.xml /input ``` 运行Hadoop自带的wordcount例子: ``` hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.7.jar wordcount /input /output ``` 查看结果: ``` hdfs dfs -cat /output/part-r-00000 ``` 输出如下: ``` "1 "2 "3 "4 "5 "6 "7 "8 "9 "a 2 ``` 至此,Hadoop集群部署实验完成。 三、实验总结 通过本次实验,我学习了Hadoop分布式计算框架的部署和使用方法,了解了Hadoop集群的配置和启动方式,并成功运行了Hadoop自带的wordcount例子,加深了对Hadoop的理解和应用。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值