Win7 下安装hadoop
一. 首先下载JDK,去官网下载。下载地址:http://www.oracle.com/technetwork/java/javase/downloads/index.html。
安装JDK,配置环境变量,具体上网查。
二. 下载cygwin,安装。
具体方法:去官网下载cygwin:http://www.cygwin.com/,这是一个引导安装文件。具体过程不演示了,可以参考http://wenku.baidu.com/view/6af47921af45b307e8719799.html
配置环境变量。新增一个系统变量CYGWIN,变量值为 ntsec tty , 在系统变量的Path变量,加入你安装cygwin的bin目录,如c:\cygwin\bin.
三. 点击cygwin, 安装sshd服务。
执行ssh-host-config,
当要求输入yes/no时,选择输入no,
当出现Have fun!证明你成功安装sshd服务。
下面启动sshd服务。
启动任务管理器,点击右下角那个服务
找到CYGWIN sshd,启动。
如果用的是win7系统,有可能启动不了,这个时候右击CYGWIN sshd服务,属性-登录选项卡,选择此账户,,点击浏览-高级-立即查找,选择超级用户,输入登录密码,确定,重启。
四.启动sshd之后,要配置免密码登录ssh
执行ssh-keygen,一直按<Enter>键,会出现一个随机的密钥
然后,
$cd .ssh
$cat id_rsa.pub>>authorized_keys
最后执行$ssh localhost
如果还是要输入密码,那么就执行下面个条命令:
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
再执行$ssh localhost 就可以实现免密码登录。
五.下载并配置hadoop
1. 可以去http://hadoop.apache.org/下载,个人建议如果是学习,不要下载太新的,容易出问题,解压hadoop.如果你下载的是hadoop-0.20.2.tar.gz在你的d盘,那么执行:$tar –zxvf /cygdrive/d/hadoop-0.20.2.tar.gz,默认在cygwin 的/home下面。
2. 伪分布式模式配置,需要配置四个文件,分别是:hadoop/conf下面的,core-site.xml,mapred-site.xml,hdfs-site.xml,hadoop-env.sh。可以在cygwin中用vi编辑,也可以直接在windows下面直接用记事本编辑,分别配置如下:
core-site.xml:
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
mapred-site.xml:
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property
hdfs-site.xml:
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
之后的hadoop-env.sh,用记事本打开,可以用查找功能查找JAVA_HOME,找到”#export JAVA_HOME=……”去掉前面那个注释符#,设置JAVA_HOME的值为你安装jdk的路径,如:export JAVA_HOME=/cygdrive/c/Java/jdk1.7.0_07,我安装jdk在c盘java下面的jdk1.7.0_07
3. 配置完之后,运行hadoop
在hadoop的bin目录下执行:
./hadoopnamenode –format 格式化分布式文件系统。
./start-all.sh 启动hadoop守护进程。
4. 可以用浏览器输入以下namenode和jobtracker的默认地址:
Namenode: http://localhost:50070/
Jobtracker: http://localhost:50030/
如果打得开,证明hadoop安装成功。
如果有需要可去http://hadoop.apache.org/docs/r0.19.2/cn/quickstart.html看一下.
Ps:本人也是刚刚学习hadoop,以上不什么不对,恳请指出。我都是利用课余时间来学一下这个东西,现在的大学生压力很大!!!