【大数据】基础知识2

小白学数据，只为记录学习进程，对每个问题有新的理解会及时更正。

一、Linix的常用基础操作命令
pwd:查看当前文件的路径
du -sh:查看文件大小，例、du -sh /etc
service network restart:重启网络服务
ls /:查看根目录下的文件，文件夹信息
ls -al：显示隐藏文件，并且以更加详细的形式显示
mkdir a:创建a目录
mkdir -p a/b/c:循环创建目录
rm -rf a:删除a文件夹
mv a b:把a文件夹名称修改成b
echo:创建一个空文件，并写入一些内容。例、echo “I miss u,my baby” > file1
cp:拷贝文件
cat:查看文件的内容，将文件内容一次性全部输出
more:查看文件内容,空格下一页,b前一页
tail:查看文件尾部
chmod:修改权限

二、如何把linux本地数据上传到HDFS
hdfs dfs -put 本地文件路径 HDFS文件路径
例：hdfs dfs -put /home/hdfs/files/test.txt /input

三、grep命令
grep使用：
grep [可选指令] “匹配Model” 文件路径
常用指令：
-i : 表示不区分大小写匹配
-v: 显示不符合匹配Model的行
-c: 统计符合model的字段出现的次数，不显示具体内容
-n: 显示符合匹配模式行所在的行号，并且显示具体行
-A n: 显示符合匹配model的行以及后面的n行
-B n: 显示符合匹配model的行以及前面的n行
-C n: 显示符合匹配model的行以及前后的n行

匹配model支持正则表达式，常用正则如下：
[A-Z] : 匹配所有大写字母
[a-z] : 匹配所有小子字母
[0-9] : 匹配所有数字
[.] : 匹配任意字符
*：匹配之前的字符任意次
?: 匹配之前的字符0或1次
<: 锚定字符开始，"<grep"匹配以grep开始的行
>: 锚定字符结尾，"grep>"匹配以grep结束的行
a{m}: 匹配a连续出现m次
a{m,} : 匹配a连续出现至少m次
a{m,n} :匹配a至少出现m次，至多出现n次