ubuntu16+virtualbox 安装 hadoop(共享目录, tar, 改主机名hostname)杂记

VirtualBox虚拟机访问windows上的共享目录, 参考下面的链接:

http://www.cnblogs.com/xing901022/p/5774677.html

简单来说就是安装一个增强功能(菜单栏里, 设备->安装增强功能),然后在ubuntu弹出的文件夹窗口里执行命令行语句:

sudo ./VBoxLinuxAddtion.run

再mount之前在virtualbox里配置好的共享目录(一般挂载在/mnt下, 比如mkdir /mnt/vbox):

sudo mount -t vboxsf 共享文件夹名称（在设置页面设置的） 挂载的目录

ubuntu改主机名, 就是改 /etc/hostname 里的名字

mkdir /home/rav009/shared
sudo mount -t vboxsf shared_file /home/rav009/shared

最后还要把你当前用户加到vboxsf这个组里, 然后重新登录:

sudo adduser $USER vboxsf

解压hadoop, -C指明了目标路径

tar -xzf hadoop-2.8.0.tar.gz -C ~/

Hadoop 2.x里已经不需要masters这个文件了, 这个文件在1.x里是用来记录备用namenode(snn)的IP的

slaves文件是用来记录datanode的白名单的, 要结合dfs.hosts来配置, 参考: 

http://www.tuicool.com/articles/zINvYbf 

http://www.aboutyun.com/thread-8146-1-1.html

https://hadoop.apache.org/docs/r2.4.1/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml

XML配置文件里不要用~号来表示路径, hadoop不识别

node 起不来可以到 hadoop目录的log目录下找日志看

单独启动节点的语句(sbin目录下):

./hadoop-daemon.sh stop tasktracker

./hadoop-daemon.sh stop datanode

./hadoop-daemon.sh start datanode

./hadoop-daemon.sh start tasktracker

补一个hdfs清空回收站的命令：

hdfs dfs -expunge