2. 配置mac os 自身环境
这个主要是配置ssh环境。先在terminal里面输入
ssh localhost
会有错误提示信息,表示当前用户没有权限。这个多半是系统为安全考虑,默认设置的。更改设置如下:进入system preference --> sharing --> 勾选remote login,并设置allow access for all users。再次输入“ssh localhost",再输入密码并确认之后,可以看到ssh成功。
不过这里面还有一个麻烦,就是每次都会要求输入用户密码。《hadoop实战》提供了一种免登陆的方法。首先,输入
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
ssh-keygen表示生成秘钥;-t表示秘钥类型;-P用于提供密语;-f指定生成的秘钥文件。这个命令在”~/.ssh/“文件夹下创建两个文件id_dsa和id_dsa.pub,是ssh的一对儿私钥和公钥。接下来,将公钥追加到授权的key中去,输入:
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
ssh免登陆设置完成。
3. 安装并运行hadoop
首先下载hadoop,链接是http://apache.etoak.com/hadoop/common/,里面由hadoop的各个版本。看到书上用的是0.20.2版本,我也就下这个了。文件不大,135M左右。接下来,到 hadoop-0.20.2/conf 文件夹下,要配置的几个文件都在这里。
第一个是hadoop-env.sh脚本文件,设置如下环境变量:
export JAVA_HOME=/System/Library/Java/JavaVirtualMachines/1.6.0.jdk/Contents/Home export HADOOP_INSTALL=/Volumes/Data/Works/Hadoop/hadoop-0.20.2/ export PATH=$PATH:$HADOOP_INSTALL/bin
从名字都能判断各个环境变量的含义。需要说明的是,第一个路径,实际上是从”/System/Library/Frameworks/JavaVM.framework/Versions/1.6.0/Home“来的,只不过中间有些软连接,最后的实际目录如上面所示。
接下来是core-site.xml文件,配置hdfs的地址和端口号,如下:
<?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <!-- Put site-specific property overrides in this file. --> <configuration> <property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value> </property> </configuration>
默认是没有中间<property>区域的,需要自己加上。
然后是mapred-site.xml文件,设置map-reduce中jobtracker的地址和端口号,如下:
<?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <!-- Put site-specific property overrides in this file. --> <configuration> <property> <name>mapred.job.tracker</name> <value>localhost:9001</value> </property> </configuration>
最后是hdfs-site.xml文件,设置hdfs的默认备份方式。默认值是3,在伪分布式系统中,需要修改为1,如下:
<?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <!-- Put site-specific property overrides in this file. --> <configuration> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration>
设置总算是完成了,接下来,格式化namenode。啊,namenode是啥?问度娘吧。在terminal里输入如下命令:
bin/Hadoop NameNode -format
我曾担心把我的整个Data盘都给废掉,后来看看,不是的。不知道这个namenode在mac系统中的哪个目录下。
接下来,启动hadoop,输入命令:
bin/start-all.sh
如果一切正常的话,会在http://localhost:50030和http://localhost:50070分别看到map-reduce和hdfs的相关信息。总之,走到这一步,我看到信息了,虽然没太看懂吧,但证明hadoop在我的mac上运行起来了。