ssh localhost ssh免密登录
./sbin/start-dfs.sh 启动 hdfs
./sbin/start-yarn.sh 启动 yarn
./sbin/stop-dfs.sh 停止hdfs
./sbin/stop-yarn.sh 停止 yarn
赋权限
chown –R username:username /usr/hadoop/tmp
sudo chmod -R a+w /usr/local/hadoop
1、实际上有三种shell命令方式。
1. hadoop fs 适用于任何不同的文件系统,比如本地文件系统和HDFS文件系统
2. hadoop dfs 只能适用于HDFS文件系统
3. hdfs dfs 跟hadoop dfs的命令作用一样,也只能适用于HDFS文件系统
2、hadoop有提供相应的脚本去验证文件目录是否存在的:
查询hadoop下的目录 hadoop fs -ls / 或 hdfs fs -ls / ,权限:drwxr-xr-x 755
查询结果: /user /usr的所属组都是 supergroup
注:用cd 或 find 没用的,就这个搞了我好久,都是因为基础的东西没把握好。
3、网上说,接着将 ./etc/hadoop 中的 xml 文件作为输入文件复制到分布式文件系统中,即将 /usr/local/hadoop/etc/hadoop 复制到分布式文件系统中的 /user/hadoop/input 中。
然后可以查看一下 ./bin/hdfs dfs -ls /user/hadoop/input
- ./bin/hdfs dfs -mkdir /user/hadoop/input
- ./bin/hdfs dfs -put ./etc/hadoop/*.xml /user/hadoop/input
4、