java 学习hadoop_【Java 学习笔记】 Hadoop学习笔记

简介

Hadoop是Apache开发的一个用于大规模分布式计算的开源工程。主页地址：http://hadoop.apache.org/。

安装

在windows上安装Hadoop文档：http://wenku.baidu.com/view/6af47921af45b307e8719799.html

简单介绍下步骤吧

Step 1. 安装cygwin，cygwin是在windows的平台上模拟Linux环境的虚拟机。要注意安装的时候cygwin的安装组件最好全选，因为以后再加比较麻烦。

Step 2. 使用cygwin安装sshd服务。文档：http://ebiquity.umbc.edu/Tutorials/Hadoop/05%20-%20Setup%20SSHD.html

安装指令：ssh-host-config

因为第一次使用安装cygwin的时候cygwin的窗口被我直接叉掉了(注意win7下面必须用管理员权限打开cygwin！！)，所以后面都需要overwrite一些已生成的文件。

截图如下：

有问到权限分离，具体是什么意思也不清楚，但是在说明文档里特别讲了填no。

问是否要安装ssh，选择yes，而后会出现“Enter the value of CYGWIN for the daemon: []”，填上 ntsec

之后问是否要用一个不同的名字，选了no，后面的那个选了yes

而后就是键入密码什么的，最后出现了have fun！这个词，你就成功了～～

安装成功sshd后需要启动sshd服务，路径：计算机-管理-服务和应用程序-服务-cygwin sshd-右键启动。

Step 3. 配置ssh登录

在cygwin中使用ssh-keygen生成密钥文件，如下图所示：(一直按回车知道出现下面的那张大图，三次回车)

之后如下图操作(跟着文档的步骤走的)

完成上面步骤后，写入exit，退出cygwin(如果不那么做会出问题，是不是因为在ssh的目录下？)

重新打开cygwin，输入 ssh localhost，在问是否继续的时候回答yes。 之后就会打出一张图片，很有爱哦～

Step 4. 下载hadoop安装包：

在hadoop网站上找到下载的端口(common)：http://www.apache.org/dyn/closer.cgi/hadoop/common/

下载了2.3.0，就随便下了个版本，hadoop-0.23.0.tar.gz，59.43M。

Step 5. 安装hadoop

1. 将hadoop解压到自定义的目录，D:\Useful Software\Software Installed\hadoop\run

2. 修改hadoop中文件的配置

修改hadoop-evn.sh

将JAVA_HOME设为JDK的目录即可，JDK版本必须大于1.6

修改core-site.xml

x修改