安裝jdk
vi /etc/profile
export JAVA_HOME=
PATH=$PATH:$JAVA_HOME/bin
设置免密钥登录(本机)
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
hadoop.tar.gz 到服务器,解压到指定的文件夹
vi /etc/profile
JAVA_HOME=/opt/module/jdk1.7.0_75
export HADOOP_PREFIX=/opt/module/hadoop-2.6.5
PATH=/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin:/root/bin:$JAVA_HOME/bin:$HADOOP_PREFIX/sbin:$HADOOP_PREFIX/bin
配置hadoop的环境变量 配置sbin和bin
hadoop-env.sh设置
export JAVA_HOME=/opt/module/jdk1.7.0_75
core-site.xml
<property>
<name>fs.defaultFS</name>
<value>hdfs://note01:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/var/sxt/hadoop/local</value>
</property>
设置linux的hosts的目录 192.168.18.100 note01 配置映射关系
hdfs-site.xml
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>note01:50090</value>
</property>
默认副本数是3,这里伪分布式设置为1即可
vi slaves (datanode节点)
将原来的localhost修改为note01
格式化 namenode
hdfs namenode -format
启动
start-dfs.sh
查看服务进程启动了么? jps
外部访问,确认防火墙关闭
创建文件夹
hdfs dfs -mkdir /user
查看文件夹下的目录
hdfs dfs -ls /user
上传文件
hdfs dfs - - put fileName[ 本地文件名 ] PATH 【hdfs 的相对文件路径】
显示文件夹的大小
hdfs dfs -du [-s][-h]URI[URI ...]
删除
hdfs dfs - rm - r
复制
hdfs dfs -cp [-f][-p|-p[topax]]URI[URI...]<dest>复制文件(夹),可以覆盖,可以保留原有权限信息
伪分布式最终上传路径
自定义block的大小
hdfs dfs 回车 这里英文是自定义文件的大小
生成1w行的文件
for i in `seq 100000`;do echo "hello hello hadoop $i" >> test.txt;done
上传文件
设置偏移量为1M 1024*1024=1048576
上传时
文件被分割成三块
具体进入官网点击learn
查看
没有配置密钥
单独启动或者停止namenode/datanode或者secondarynamenode start/stop
hadoop-daemon.sh stop namenode
查看日志
cd /opt/module/hadoop-2.7.2/logs/
HDFS常用的命令
批量的创建文件夹
hdfs dfs -mkdir -p /user/input
进入网页访问,出现user,进去就是input
hdfs dfs -put wcinput/wc.input /user/input
上传文件 之前已经写好的wcinput/wc.input
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /user/input/ /user/output
执行下,访问主页出现output的目录,并且目录下有_SUCESS标记和part-r-00000
dfs dfs -cat /user/output/part-r-00000
下载到本地
hadoop fs -get /user/output/part-r-00000 ./
远程删除
hdfs dfs -rmr /user/output //-rm -r
查看目录结构
hadoop fs -lsr /
[root@testnote01 hadoop-2.7.2]# hadoop fs -lsr /
lsr: DEPRECATED: Please use 'ls -R' instead.
drwxr-xr-x - root supergroup 0 2018-11-02 07:53 /user
drwxr-xr-x - root supergroup 0 2018-11-02 07:41 /user/input
-rw-r--r-- 1 root supergroup 68 2018-11-02 07:41 /user/input/wc.input
[root@testnote01 hadoop-2.7.2]# hadoop fs -ls /
Found 1 items
drwxr-xr-x - root supergroup 0 2018-11-02 07:53 /user