hadoop安装

VMWare出现的一些问题

刚开始先分享一下做了这么久我遇到的各种各样的问题。
***示例1***如果你刚开始开启了虚拟机但是黑屏。
首先右键先将机子关机。然后选择关闭VMware。他会提示你虚拟机繁忙。然后打开任务管理器把有关VMware的进程全部关闭。但这时有一个进程你怎么关都关不掉。不用管他重启机子。
如果上述方法没有用
需要将winsock的目录重置。因为虚拟机与主机之间的通信方式是以socket进行的。可能是因为某个程序通过LSP注入DDL。这个时候你需要用管理员的身份打开cmd。如果不知道，就直接左下角有个放大镜一样的东西打 命令 会弹出命令提示符。右键以管理员身份运行。因为下面要输的代码必须要以这个身份才能运行。打开之后输入：netsh winsock reset 之后他就会提醒你重启。重启就OK了。
示例二

因为需要安装一个eclipse mars 。但是遇到了这么一个问题。然后我去了解了一下是你的jdk和eclipse的位数不一致。如何查看jdk就是cmd输入：java -version 都没写就是32位的 当时我的jdk版本是32位的

我的解决办法是把jdk删掉重新去下了一个。这就遇到最开始安装时的jdk环境变量此过程就不一一赘述。
***示例三***zookeeper从node02传到node04时，因为node02与node04没有免密钥设置，所以在确认过密码之后，我却在node04中找不到zookeeper。同时也导致了我输入：zkCli.s 按Tab键没有补全称zkCli.sh。我重新去检查了之前所有的步骤全都是对的。然后破罐子破摔重新把node04快照装了一遍。成功了，在此就是想说一下。快照还是很有必要的。同时也要备注好。
**示例四格式化hdfs

遇到这个问题其实就是不小心啦！重新检查了一下hostname是和slaves的对不上。所以输入：vi /etc/sysconfig/network 改掉不对的hostname
示例四打开虚拟机时 他会显示你在某个路径之下有个文件丢失。导致打不开虚拟机
因为虚拟机在每次开机时都会在这个路径下创建一个文件，在关机时会删除这个文件。打开它提示的目录打开之后将里面所有带 .lck的文件删除。重启机子就可以了

---

hadoop伪分布式

---

下载这个软件并且安装，而且这个软件好像只能安装在c盘？因为我安装了很多次在D盘都打不开。

打开xell之后，在这一栏找到这个图像。然后点击传输jdk文件

找到jkd-7u67-linux-64x.rpm右键选择传输，当你右边是在根目录就直接出现在根目录里。传输好就该安装了。
输入：rpm -i jdk-7u67-linux-64x.rpm
弹出

就代表安装成功。
输入：whereis java 查看java的安装路径
弹出

输入：vi +/etc/profile 配置环境变量 按一下i就可以输入

输入：source /etc/profile 再输入jps

这就显示没有配置好，重新回答etc/profile 文件中将路径改为绝对路径

重新source /etc/profile 一下 输入：jps
若弹出：数字 jps 则环境变配置成功。
以下是配置免密钥
在家目录下，输入：ll -a 查看有无 .ssh文件。如果没有则输入：ssn localhost
之后输入：exit

重新输入：ll -a 观察文件中是否有 .ssh文件
输入下面划红命令

---

hadoop安装

---

然后在根目录下 创建一个software文件
输入：mkdir software 然后再 ll 查看是否创建成功
再次使用xtfp4 将hadoop-2.6.5.tar 放到software中
输入：cd software 查看是否传输好。 输入：cd /opt
在此文件下建立一个以自己名字缩写的文件
输入：mkdir czx 之后输入：ll 确认时候创建成功

然后将hadoop-2.6.5tar.gz 解压到czx这个文件中

最后回到czx文件中看看是否解压完成。
输入：vi /etc/profile 将路径修改

改完之后 输入：source /etc/profile 输入hdfs按Tab键可以联想出hdfs
输入start-d按Tab键可以联想出start-dfs 则表明配置成功。
.修改hadoop配置文件信息
cd /opt/ldy/hadoop-2.6.5/etc/hadoop
注：以上路径的etc可不是根目录下的etc
vi hadoop-env.sh
vi mapred-env.sh
vi yarn-env.sh
给这三个文件里的JAVA_HOME都改成绝对路径/usr/java/jdk1.7.0_67
配置 vi core-site.xml

fs.defaultFS
hdfs://node01:9000


hadoop.tmp.dir
/var/czx/hadoop/pseudo

配置 vi hdfs-site.xml

dfs.replication
1


dfs.namenode.secondary.http-address
node01:50090

配置slaves文件
输入：vi slaves
node01
格式化hdfs
输入：hdfs namenode -format

若显示这样则格式化成功
启动集群
输入：start-dfs.sh 启动之后输入：jps观察有什么进程启动

打开浏览器输入node编号：50070
显示active即为正确
小小的应用一下

创建两个文件，若创建好了在网站上也可以查看到。

将500miles文件用fxtp 传输到根目录里。

输入下面这条命令


在此路径下输入代码。


查看运行结果

---

高可用安装

---

将jdk-7u67-linux-x64.rpm传给nod,02，03，04，同一个路径下


最后在该路径下看node02,03,04是否收到jdk






查看4台虚拟机时间是否相同

安装时间同步步骤

并将它同步到阿里云

检查hostname和 hosts是否打对。selinux =disabled

防火墙是否关闭。

node01和node02间相互免密钥：node01可以免密钥登录node02，那需要node02上能免密钥node01
在node02上输入：

分发到node01上：scp id_dsa.pub node01:pwd/node02.pub
ssh node01 验证一下
修改namenode的一些配置信息
cd /opt/czx/hadoop-2.6.5/etc/Hadoop
vi hdfs-site.xml
去掉

dfs.namenode.secondary.http-address
node01:50090

增加：

dfs.nameservices
mycluster


dfs.ha.namenodes.mycluster
nn1,nn2


dfs.namenode.rpc-address.mycluster.nn1
node01:8020


dfs.namenode.rpc-address.mycluster.nn2
node01:8020


dfs.namenode.http-address.mycluster.nn1
node02:50070


dfs.namenode.http-address.mycluster.nn2
node02:50070


dfs.namenode.shared.edits.dir
qjournal://node01:8485;node02:8485;node03:8485/mycluster


dfs.journalnode.edits.dir
/var/ldy/hadoop/ha/jn


dfs.client.failover.proxy.provider.mycluster
org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider


dfs.ha.fencing.methods
sshfence


dfs.ha.fencing.ssh.private-key-files
/root/.ssh/id_dsa


dfs.ha.automatic-failover.enabled
true

vi core-site.xml
改成：

fs.defaultFS
hdfs://mycluster

ha.zookeeper.quorum node04:2181,node05:2181,node06:2181

vi slaves

安装hadoop
cd /opt 将其下的czx目录分发到node02,03,04

将hdfs-site.xml和core-site.xml分发到02,03,04中
scp hdfs-site.xml core-site.xml node04:pwd
scp hdfs-site.xml core-site.xml node05:pwd
scp hdfs-site.xml core-site.xml node06:pwd

安装zookeeper

在另外三台机子上的家目录下 查看是否有software文件夹，若没有建立文件夹，之后把zookeeper传输到这个文件夹下，然后解压到czx文件夹下。

cd 到该路径下 查看所有文件


cd 到conf文件

cp zoo_sample.cfg zoo.cfg 将zoo_sample.cf复制并改名为zoo.cfg
vi zoo.cfg

改dataDir=/var/ldy/zk
并在末尾追加
server.1=node02:2888:3888
server.2=node03:2888:3888
server.3=node04:2888:3888
其中2888主从通信端口，3888是当主挂断后进行选举机制的端口

***把zookeeper分发到其他节点***
scp -r zookeeper-3.4.6/ node05:`pwd`
scp -r zookeeper-3.4.6/ node06:`pwd`

并用ll /opt/czx检查下看分发成功没
给每台机子创建刚配置文件里的路径

mkdir -p /var/czx/zk
对node02来说：
echo 1 > /var/ldy/zk/myid
cat /var/czx/zk/myid
对node03来说：
echo 2 > /var/czx/zk/myid
cat /var/czx/zk/myid
对node06来说：
echo 3 > /var/czx/zk/myid
cat /var/czx/zk/myid
显示


配置路径
然后将这个文件传输给03，04
scp /etc/profile node03:/etc
scp /etc/profile node04:/etc


如果这里有什么问题请看示例三

若状态为not runing则进入下面路径把JAVA_HOME改成绝对路径

重新输入：zkServer.sh status

表示成功
启动journalnode

***格式化***这里我选择node01

下面就是成功地样子

***启动namenode***输入jps查看是否出现namenode

下面表示启动成功，输入jps查看


***namenode数据同步***给另外一台namenode输入以下指令


***格式化zkfc***在node01上输入

在xell里双击node02标签。输入命令

会出现下图过程

这是成功图

***启动集群***输入：start-dfs.sh

全部会话jps查看都启动了什么进程

把mapred-site.xml.template留个备份，并且改下名字

mapred-site.xml里添加如下

在yarn-site.xml里添加如下

node03和node04免密钥

同理
MapReduce准备







跑一个wordcount



查看运行结果


关闭集群