虚拟机Hadoop实战（一）概念总览

　　系统太大，大到完全没有头绪，大到网上一堆培训班。

　　硬骨头还是要啃，之前一直怕自己电脑跑这么多虚拟机跑不下，要不要买几台廉价电脑拼一起呢？……实际上完全是多余的，你永远不知道你电脑有多块。（实际虚拟机安装linux是能慢出翔的，估计得换固态硬盘了）

　　而且，Hadoop官网上本来就提供了单机、伪多机、真多机的模式供你训练。实际上还是没迈开步子干的缘故，不禁后悔起当初非常傻逼的面试回答“Hadoop好像是英特尔的吧，因为收费所以没条件搞”……（简直！这种回答都出得来！）

　　一、装linux

　　二、装openssh（win下putty连linux报错connection refused是因为openssh没装，apt-get来装）

　　三、传java、hadoop

　　四、解压，配java、配hadoop、配ssh

　　五、OK，开网址验证

【下一篇将要重点讲具体步骤】

　　言归正传，一些知识及准备工作：

　　一、Hadoop是Apache的。

　　二、Hadoop是开源免费的。

　　三、Hadoop是Java程序，得有Java环境才能跑。——【 Linux下配置Java环境】

　　四、在Win下用Linux虚拟机来玩，Linux装个SSH， win下【装个putty】（没错,远程客户端），方便远程操控。

　　五、 从win往linux传文件用的命令行，下载putty系列软件里面的 pscp。

如将aaa.jpg传到/home下，则在win下的cmd输入：  pscp aaa.jpg root@192.168.0.101:/home

从Linux向windows传文件：在windows的cmd中输入  pscp root@hostIp: linux中源文件路径   windows中目的路径

如：   pscp root@192.168.0.100:/home/aaa.jpg  G:/putty/

注意：使用pscp只能传文件，无法传目录，要传目录的话可以用psftp

【以下是探索过程中遇到的一些问题，下一篇教程里面将直接避免这些雷人的坑】

　　小插曲，之前装的centOS，始终找不到网络，无法分配ipv4地址。真是受够了centOS了的各种权限限制了。对于个人学习来说，最好别装这种权限高的OS，免得蛋碎。

　　换Ubuntu Server LTS后

　　进入/etc/init.d/目录

　　运行程序   ./networking restart

　　之后再用ifconfig查询，仍然是没有ipv4地址

　　从虚拟机回到win桌面，打开控制面板，网络配置，把之前教程里叫禁用的VMware Network Adaptor VNet1给重新启用了。

　　之后回到虚拟机，点击“向虚拟机发送Ctrl+Alt+Del组合键”重启。重启过后，ipv4地址又回来了，能正常ping通外部网了

　　下载hadoop：之前下了个带source结尾的，以为是源码安装呢……结果hadoop是java啊！直接下jar才行，又重新下了一遍。

　　解压出来，1个多GB！仔细一看，里面share文件夹里有个doc，似乎就是原班网站照搬下来的，感觉似乎是非必要文件吧，不太想考到虚拟机里了。

　　传文件：pscp hadoop.tar master@10.100.78.90:/home/master

1. *.tar 用 tar –xvf 解压
2. *.gz 用 gzip -d或者gunzip 解压
3. *.tar.gz和*.tgz 用 tar –xzf 解压
4. *.bz2 用 bzip2 -d或者用bunzip2 解压
5. *.tar.bz2用tar –xjf 解压
6. *.Z 用 uncompress 解压
7. *.tar.Z 用tar –xZf 解压
8. *.rar 用 unrar e解压
9. *.zip 用 unzip 解压

一些命令理解错误：令人发指的傻逼细节“ 不是'' ——双引号不是2个单引号！

在hadoop里也要设置一遍JAVA的环境变量，设置的环境地址跟一般java环境地址一样

etc/hadoop/hadoop-env.sh

  # set to the root of your Java installation

  export JAVA_HOME=/usr/java/latest

单机的似乎不行，试试伪分布式模式？

一直提示连接被拒绝，简直了……

密码不可能错的，却老是提示我出错了

结果我重新重置了一遍master的密码，还是一模一样的的，之后按照

http://blog.csdn.net/djd1234567/article/details/50934044

里面的方法，ssh的rsa密钥也全部删了重新生成一遍

在ssh localhost通了以后

终于能正常启动

localhost:50070端口可以使用，而50030似乎已经过时，新的hadoop版本不再支持。