Hadoop搭建笔记(05)

本文是我学习Hadoop搭建过程中的各种笔记,内容来自于各种公开的教程,起点非常低,从Linux基础开始,直至在PC上搭建Hadoop成功,是真正的从零开始。

感谢过程中帮助我的各位认识的和不认识的老师。

10、文件创建 -1

1、文件操作:

进入(某个目录)操作   cd

进入home目录:

[root@hadoop01 ~]# cd /home/

查看home目录:

[root@hadoop01 home]# ll

total 4

drwx------. 4 aidon aidon 4096 Apr 19 01:43 aidon

2.创建文件夹和目录 (指定目录和不指定目录的区别)

看当前所在目录  pwd

[root@hadoop01 home]# pwd

/home

[root@hadoop01 home]# cd ~

[root@hadoop01 ~]# pwd

/root

目录创建,单个,多个,递归创建:mkdir

mkdir test 或 mkdir  ./  test1 

mkdir test   mkdir不加东西,在现在目录下创建新的目录

[root@hadoop01 home]# mkdir test

[root@hadoop01 home]# ll

total 8

drwx------. 4 aidon aidon 4096 Apr 19 01:43 aidon

drwxr-xr-x. 2 root  root  4096 Apr 19 04:17 test

mkdir  ./test1  指在当前目录创建test1

[root@hadoop01 home]# mkdir ./test1

[root@hadoop01 home]# ll

total 12

drwx------. 4 aidon aidon 4096 Apr 19 01:43 aidon

drwxr-xr-x. 2 root  root  4096 Apr 19 04:17 test

drwxr-xr-x. 2 root  root  4096 Apr 19 04:32 test1

mkdir –p ./test2/aidon/ test3

同时创建多个,./在当前目录下创建test2,aidon,test3    mkdir -p ./test2/aidon/test3

必须加 p 递归创建, ,否则报错

[root@hadoop01 home]# mkdir -p ./test2/aidon/test3

[root@hadoop01 home]# ll ./

total 16

drwx------. 4 aidon aidon 4096 Apr 19 01:43 aidon

drwxr-xr-x. 2 root  root  4096 Apr 19 04:17 test

drwxr-xr-x. 2 root  root  4096 Apr 19 04:32 test1

drwxr-xr-x. 3 root  root  4096 Apr 19 04:36 test2

[root@hadoop01 home]# ll ./test2/

total 4

drwxr-xr-x. 3 root root 4096 Apr 19 04:36 aidon

[root@hadoop01 home]# ll ./test2/aidon/

total 4

drwxr-xr-x. 2 root root 4096 Apr 19 04:36 test3

test2下创建aidon,在aidon下创建test3 

 

在当前目录下创建 test4 ,test5.  (在一个目录下创建多个,区别于递归创建)

[root@hadoop01 home]# mkdir ./test4 ./test5

[root@hadoop01 home]# ll

total 24

drwx------. 4 aidon aidon 4096 Apr 19 01:43 aidon

drwxr-xr-x. 2 root  root  4096 Apr 19 04:17 test

drwxr-xr-x. 2 root  root  4096 Apr 19 04:32 test1

drwxr-xr-x. 3 root  root  4096 Apr 19 04:36 test2

drwxr-xr-x. 2 root  root  4096 Apr 19 04:47 test4

drwxr-xr-x. 2 root  root  4096 Apr 19 04:47 test5

mkdir /tmp/test01     //创建空文件夹【创建/在tmp下/创建01】

mkdir-p/data1/hadoop/hdfs/name       //递归创建文件夹

创建空文件    touch /tmp/test01/file.txt

[root@hadoop01 home]# cd ./aidon/

[root@hadoop01 aidon]# ll

total 0

[root@hadoop01 aidon]# touch ./abc

[root@hadoop01 aidon]# ll

total 0

-rw-r--r--. 1 root root 0 Apr 19 05:00 abc

创建文件:vi ./def  

i键进入编辑模式,输入78900000,按(冒号):wq  ,保存退出

[root@hadoop01 aidon]# vi ./def

[root@hadoop01 aidon]# ll

total 4

-rw-r--r--. 1 root root 0 Apr 19 05:00 abc

-rw-r--r--. 1 root root 9 Apr 19 05:02 def     root用户下,def里面有9个字节

vi file.log    //创建空文件夹并进如编辑模式

创建file.txt并输人空到改文件中   echo>file.txt  

[root@hadoop01 aidon]# echo '1234567890' >> ./gh

[root@hadoop01 aidon]# ll

total 8

-rw-r--r--. 1 root root  0 Apr 19 05:00 abc

-rw-r--r--. 1 root root  9 Apr 19 05:02 def

-rw-r--r--. 1 root root 11 Apr 19 05:06 gh

[root@hadoop01 aidon]# cat ./gh

1234567890

打印字符串”1234567890”,加到gh里面 :echo’1234567890’ >> ./gh

看当前文件的内容: cat ./gh  出来的就是:1234567890

3.列出文件和目录列表:

ls – a – h –l  -a表示列出所有的】

ll – h(ls –l)

[root@hadoop01 aidon]# ll ./

total 8

-rw-r--r--. 1 root root  0 Apr 19 05:00 abc

-rw-r--r--. 1 root root  9 Apr 19 05:02 def

-rw-r--r--. 1 root root 11 Apr 19 05:06 gh

[root@hadoop01 aidon]# ll /home/

total 24

drwx------. 4 aidon aidon 4096 Apr 19 05:06 aidon

drwxr-xr-x. 2 root  root  4096 Apr 19 04:17 test

drwxr-xr-x. 2 root  root  4096 Apr 19 04:32 test1

drwxr-xr-x. 3 root  root  4096 Apr 19 04:36 test2

drwxr-xr-x. 2 root  root  4096 Apr 19 04:47 test4

drwxr-xr-x. 2 root  root  4096 Apr 19 04:47 test5

[root@hadoop01 aidon]# ll -h /home/

total 24K

drwx------. 4 aidon aidon 4.0K Apr 19 05:06 aidon

drwxr-xr-x. 2 root  root  4.0K Apr 19 04:17 test

drwxr-xr-x. 2 root  root  4.0K Apr 19 04:32 test1

drwxr-xr-x. 3 root  root  4.0K Apr 19 04:36 test2

drwxr-xr-x. 2 root  root  4.0K Apr 19 04:47 test4

drwxr-xr-x. 2 root  root  4.0K Apr 19 04:47 test5

[root@hadoop01 aidon]# ls /home/

aidon  test  test1  test2  test4  test5

[root@hadoop01 aidon]# ls -a /home/

.  ..  aidon  test  test1  test2  test4  test5

[root@hadoop01 aidon]# ls -l -a /home/

total 32

drwxr-xr-x.  8 root  root  4096 Apr 19 04:47 .

dr-xr-xr-x. 26 root  root  4096 Apr 18 21:55 ..

drwx------.  4 aidon aidon 4096 Apr 19 05:06 aidon

drwxr-xr-x.  2 root  root  4096 Apr 19 04:17 test

drwxr-xr-x.  2 root  root  4096 Apr 19 04:32 test1

drwxr-xr-x.  3 root  root  4096 Apr 19 04:36 test2

drwxr-xr-x.  2 root  root  4096 Apr 19 04:47 test4

drwxr-xr-x.  2 root  root  4096 Apr 19 04:47 test5

1.3文件编辑器Vi

Vim/vi/nana  file

:q   //退出

:w   //保存

:qw   //保存退出

:q!  //强制退出

创建123这个文件    vim/123

[root@hadoop01 aidon]# vi ./123

[root@hadoop01 aidon]# ll

total 12

-rw-r--r--. 1 root root 24 Apr 19 05:21 123

-rw-r--r--. 1 root root  0 Apr 19 05:00 abc

-rw-r--r--. 1 root root  9 Apr 19 05:02 def

-rw-r--r--. 1 root root 11 Apr 19 05:06 gh

创建12这个文件    vim/12

[root@hadoop01 aidon]# vim ./12

[root@hadoop01 aidon]# ll

total 12

-rw-r--r--. 1 root root 24 Apr 19 05:21 123

-rw-r--r--. 1 root root  0 Apr 19 05:00 abc

-rw-r--r--. 1 root root  9 Apr 19 05:02 def

-rw-r--r--. 1 root root 11 Apr 19 05:06 gh

创建后,强制退出,文件没能保留,所以没有12这个文件

1.4文件内容查看:

cat – n    //查看内容时显示行号

cat/etc/redhat – release    //不显示行号

cat – n/etc/passwd      //查看内容时显示行号

查看123文件里面有什么内容:cat ./123

[root@hadoop01 aidon]# cat ./123

232423

rlersa

w

tw

r

所有的信息一次性读出来:cat /var/log/boot.log

[root@hadoop01 aidon]# cat /var/log/boot.log

Welcome to CentOS

Starting udev:                                             [  OK  ]

Mounting local filesystems:                                  [  OK  ]

…………

Starting certmonger:                                        [  OK  ]

打印出来信息的行号:-n

[root@hadoop01 aidon]# cat -n /var/log/boot.log

     1Welcome to CentOS

     2Starting udev:                                     [  OK  ]

     3Setting hostname hadoop01:                         [  OK  ]

    …………

41Starting certmonger:                               [  OK  ]

 

11、Linux中的文件操作 02-1

1.查看文件

默认查看文件后10行  tail   

[root@hadoop01 aidon]# tail /var/log/boot.log

Retrigger failed udev events                               [  OK  ]

Loading autofs4:                                           [  OK  ]

Starting automount:                                        [  OK  ]

Enabling Bluetooth devices:

Starting sshd:                                             [  OK  ]

Starting postfix:                                          [  OK  ]

Starting abrt daemon:                                      [  OK  ]

Starting crond:                                            [  OK  ]

Starting atd:                                              [  OK  ]

Starting certmonger:                                       [  OK  ]

查看文件后几(2)行:tail-n    tail -2

[root@hadoop01 aidon]# tail -2 /var/log/boot.log

Starting atd:                                              [  OK  ]

Starting certmonger:                                       [  OK  ]

tail多用来监控某个文件    tail -f ./123

[root@hadoop01 aidon]# tail -f ./123

232423

rlersa

w

tw

r

 

 

hello world

hello world88888

等着向里面输入东西,按Ctrl + C,退出来

再克隆一个hadoop01,在克隆的里面输入,同时hadoop01中就会呈现出来,即可以实现动态监控:

echo ‘hello world’ >>/home/aidon (输入‘hello world’到home的aidon里面)

echo ‘hello world88888’ >>/home/aidon 

默认查看文件前10行   head

[root@hadoop01 aidon]# head /var/log/boot.log

Welcome to CentOS

Starting udev:                                             [  OK  ]

Setting hostname hadoop01:                                 [  OK  ]

Setting up Logical Volume Management:   No volume groups found

                                                           [  OK  ]

Checking filesystems

/dev/sda3: clean, 98756/3129344 files, 1080699/12505856 blocks

/dev/sda1: clean, 38/76912 files, 44307/307200 blocks

                                                           [  OK  ]

Remounting root filesystem in read-write mode:                  [  OK  ]

查看指定头几行   -n 数字     -n表示看多少行

[root@hadoop01 aidon]# head -2 /var/log/boot.log

Welcome to CentOS

Starting udev:                                             [  OK  ]

cat

cat – n

tail –n

tail –f   动态监控文件数据

more   按百分比查看,不能回滚看

[root@hadoop01 aidon]# more /var/log/boot.log

Welcome to CentOS

Starting udev:                                             [  OK  ]

Setting hostname hadoop01:                                 [  OK  ]

…………

Bringing up loopback interface:                            [  OK  ]

Enter键,向下翻看,按q退出来

less    能往回滚看

[root@hadoop01 ~]# less /var/log/boot.log

按方向键的上下键,上、下翻看,按q退出来

vi

2.复制目录    cp – r/tmp/test01/opt

cp –r ./aidon ./test:把当前目录aidon复制到test目录;复制多个时加多个空格即可。

复制目录:

[root@hadoop01 ~]# cd /home/  切换到home目录

[root@hadoop01 aidon]# cd ../   两点退回到上层目录

[root@hadoop01 home]# ll    查看目录下的内容

total 24

drwx------. 4 aidon aidon 4096 Apr 19 05:23 aidon

drwxr-xr-x. 2 root  root  4096 Apr 19 04:17 test

drwxr-xr-x. 2 root  root  4096 Apr 19 04:32 test1

drwxr-xr-x. 3 root  root  4096 Apr 19 04:36 test2

drwxr-xr-x. 2 root  root  4096 Apr 19 04:47 test4

drwxr-xr-x. 2 root  root  4096 Apr 19 04:47 test5

注意:[root@hadoop01 home]# ll ./test/    ll ./test/ 之间必须有空格

[root@hadoop01 home]# ll ./test/

total 0

[root@hadoop01 home]# ll ./test

total 0

./test ./test/ 区别应该不大,二者结果相同

把当前aidon目录复制到当前test目录   不可以不加 r:

[root@hadoop01 home]# cp ./aidon/ ./test  

cp: omitting directory `./aidon/'   

当前的目录里面可能有东西,必须要加 r(目录下面有东西,仍然给你复制):

[root@hadoop01 home]# cp -r ./aidon/ ./test  加–r, 

[root@hadoop01 home]# ll ./test

total 4

drwx------. 4 root root 4096 Apr 19 06:45 aidon

aidon下面有东西都复制过来了:

[root@hadoop01 home]# ll ./test/aidon/

total 12

-rw-r--r--. 1 root root 53 Apr 19 06:45 123

-rw-r--r--. 1 root root  0 Apr 19 06:45 abc

-rw-r--r--. 1 root root  9 Apr 19 06:45 def

-rw-r--r--. 1 root root 11 Apr 19 06:45 gh

复制后aidon仍然保留在原地方,只不过多了一份

[root@hadoop01 home]# ll   

total 24

drwx------. 4 aidon aidon 4096 Apr 19 05:23 aidon

drwxr-xr-x. 3 root  root  4096 Apr 19 06:45 test

drwxr-xr-x. 2 root  root  4096 Apr 19 04:32 test1

drwxr-xr-x. 3 root  root  4096 Apr 19 04:36 test2

drwxr-xr-x. 2 root  root  4096 Apr 19 04:47 test4

drwxr-xr-x. 2 root  root  4096 Apr 19 04:47 test5

3.复制文件    cp/tmp/file1.txt/opt

复制单个文件:

aidon下面的123文件复制到test目录下面来    cp ./aidon/123 ./test

[root@hadoop01 home]# ll ./aidon

total 12

-rw-r--r--. 1 root root 53 Apr 19 05:49 123

-rw-r--r--. 1 root root  0 Apr 19 05:00 abc

-rw-r--r--. 1 root root  9 Apr 19 05:02 def

-rw-r--r--. 1 root root 11 Apr 19 05:06 gh

[root@hadoop01 home]# cp ./aidon/123 ./test

[root@hadoop01 home]# ll ./test

total 8

-rw-r--r--. 1 root root   54 Apr 21 17:49 123

drwx------. 4 root root 4096 Apr 21 17:44 aidon

复制多个文件、目录:

aidon目录下的abc ,def ,test5 复制到test目录:

cp -r ./aidon/abc ./aidon/def ./test5/ ./test

[root@hadoop01 home]# cp -r ./aidon/abc ./aidon/def ./test5/ ./test

[root@hadoop01 home]# ll ./test

total 16

-rw-r--r--. 1 root root   53 Apr 19 07:17 123

-rw-r--r--. 1 root root    0 Apr 19 07:25 abc

drwx------. 4 root root 4096 Apr 19 06:45 aidon

-rw-r--r--. 1 root root    9 Apr 19 07:25 def

drwxr-xr-x. 2 root root 4096 Apr 19 07:25 test5

复制多个加空格:cp -r ./aidon/abc加空格 ./aidon/def 加空格./test5/加空格 ./test

4.移动(Windows中的剪切)、剪切、重命名文件或目录

mv/opt/test01/tmp

mv/opt/file1.txt/tmp/file2.txt

rename :批量

查看当前目录下的test目录:   ll ./test

[root@hadoop01 home]# ll ./test

total 16

-rw-r--r--. 1 root root   54 Apr 21 17:49 123

-rw-r--r--. 1 root root    0 Apr 21 17:52 abc

drwx------. 4 root root 4096 Apr 21 17:44 aidon

-rw-r--r--. 1 root root    9 Apr 21 17:52 def

drwxr-xr-x. 2 root root 4096 Apr 21 17:52 test5

[root@hadoop01 home]# ll ./test1

total 0

test中的123剪切到test1   mv ./test/123 ./test1

[root@hadoop01 home]# mv ./test/123 ./test1

[root@hadoop01 home]# ll./test1

total 4

-rw-r--r--. 1 root root 53 Apr 19 07:17 123

剪切后test中的123的没了的 

[root@hadoop01 home]# ll ./test

total 12

-rw-r--r--. 1 root root    0 Apr 21 17:52 abc

drwx------. 4 root root 4096 Apr 21 17:44 aidon

-rw-r--r--. 1 root root    9 Apr 21 17:52 def

drwxr-xr-x. 2 root root 4096 Apr 21 17:52 test5

剪切目录,不加-r 也可以:

[root@hadoop01 home]# mv ./test/aidon ./test1

[root@hadoop01 home]# ll ./test1

total 8

-rw-r--r--. 1 root root   54 Apr 21 17:49 123

drwx------. 4 root root 4096 Apr 21 17:44 aidon

test1之前只有123,现在多了aidon

aidon下面还有很多东西:

[root@hadoop01 home]# ll ./test1/aidon/

total 12

-rw-r--r--. 1 root root 54 Apr 21 17:44 123

-rw-r--r--. 1 root root  0 Apr 21 17:44 abc

-rw-r--r--. 1 root root  9 Apr 21 17:44 def

-rw-r--r--. 1 root root 11 Apr 21 17:44 gh

test下面少了aidon:

[root@hadoop01 home]# ll ./test

total 8

-rw-r--r--. 1 root root    0 Apr 21 17:52 abc

-rw-r--r--. 1 root root    9 Apr 21 17:52 def

drwxr-xr-x. 2 root root 4096 Apr 21 17:52 test5

剪切多个:

test中的test和abc都剪切到test1    mv ./test/test5/ ./test/abc ./test1

[root@hadoop01 home]# mv ./test/test5/ ./test/abc ./test1

[root@hadoop01 home]# ll ./test1

total 12

-rw-r--r--. 1 root root   54 Apr 21 17:49 123

-rw-r--r--. 1 root root    0 Apr 21 17:52 abc

drwx------. 4 root root 4096 Apr 21 17:44 aidon

drwxr-xr-x. 2 root root 4096 Apr 21 17:52 test5

剪切并重命名:

test里的def剪切到test1,并重命名为dddef :   mv ./test/def /test1/dddef

[root@hadoop01 home]# mv ./test/def ./test1/dddef

[root@hadoop01 home]# ll ./test1

total 16

-rw-r--r--. 1 root root   53 Apr 19 07:17 123

-rw-r--r--. 1 root root    0 Apr 19 07:25 abc

drwx------. 4 root root 4096 Apr 19 06:45 aidon

-rw-r--r--. 1 root root    9 Apr 19 07:25 dddef

drwxr-xr-x. 2 root root 4096 Apr 19 07:25 test5

test里面少了def(test里面什么东西都没了):

[root@hadoop01 home]# ll ./test

total 0

test1里的test5,剪切到test并重命名为test0

[root@hadoop01 home]# mv ./test1/test5/ ./test/test0

[root@hadoop01 home]# ll ./test

total 4

drwxr-xr-x. 2 root root 4096 Apr 21 17:52 test0

5.重定向和追加    >   >>

>  先清空文件内容,后写入新内容

# ls –l /root > /tmp/file1.txt

>>  追加新的内容,就的内容不会消除

# # ls –l /root >> /tmp/file1.txt

test里面追加“678”:echo “678”>>(两个>>符号) ./test,出现的结果是在test的最后一行显示678

[root@hadoop01 home]# cat ./test1/123

232423

rlersa

w

tw

r

 

hello world

hello world88888

[root@hadoop01 home]# echo "678" >> ./test1/123

[root@hadoop01 home]# cat ./test1/123

232423

rlersa

w

tw

r

 

hello world

hello world88888

678

test里面覆盖“678”:echo “678”>(一个>符号) ./testcat ./test  出现的结果是只有678

[root@hadoop01 home]# echo "678" > ./test1/123

[root@hadoop01 home]# cat ./test1/123

678

6.屏幕打印 echo

echo “hello world”    //打印到屏幕

echo”hello world”/data0/my.cnf   //打印到文件

echo”hello world”>>/data0/my.cnf   //打印追加到文件

[root@hadoop01 home]# echo "hello world"

hello world

[root@hadoop01 home]# echo "aaaaa"

aaaaa

7.删除

rm   //删除文件

[root@hadoop01 home]# ll ./test1

total 12

-rw-r--r--. 1 root root    4 Apr 21 18:16 123

-rw-r--r--. 1 root root    0 Apr 21 17:52 abc

drwx------. 4 root root 4096 Apr 21 17:44 aidon

-rw-r--r--. 1 root root    9 Apr 21 17:52 dddef

删除test1下面的123文件   rm ./test1/123;在问的后面输入yes

[root@hadoop01 home]# rm ./test1/123

rm: remove regular file `./test1/123'? yes  输入yes 被删除, no 不被删除

[root@hadoop01 home]# ll ./test1

total 8

-rw-r--r--. 1 root root    0 Apr 21 17:52 abc

drwx------. 4 root root 4096 Apr 21 17:44 aidon

-rw-r--r--. 1 root root    9 Apr 21 17:52 dddef

 

[root@hadoop01 home]# rm ./test1/abc

rm: remove regular empty file `./test1/abc'? no   输入no 没有被删除

[root@hadoop01 home]# ll ./test1

total 8

-rw-r--r--. 1 root root    0 Apr 19 07:25 abc

drwx------. 4 root root 4096 Apr 19 06:45 aidon

-rw-r--r--. 1 root root    9 Apr 19 07:25 dddef

rm (麻烦,要回答yes或no)  

rf   //删除目录  【目录要加-r,要递归】

rm –f   //强制删除

直接删除test1下面的aidon ,不再回答yes或norm -rf ./test1/aidon

[root@hadoop01 home]# rm -rf ./test1/aidon/  r递归,f强制)

[root@hadoop01 home]# ll ./test

total 4

drwxr-xr-x. 2 root root 4096 Apr 21 17:52 test0

rm –rf folder   //常用命令 不可恢复


阅读更多
文章标签: Hadoop搭建
上一篇Hadoop搭建笔记(04)
下一篇Hadoop搭建笔记(06)
想对作者说点什么? 我来说一句

没有更多推荐了,返回首页

关闭
关闭
关闭