Linux 基本命令 4-26

hadoop
hdfs:存储海量数据
MapReduce:从hdfs里面取数据，进行数据分析（java）
hive:hql 语句进行数据分析（专门为python 设计的）

操作系统：windows Mac linux unix 一个能让软件运行的环境

hadoop 是运行在linux系统上的

通过shell操作（命令）总端

unix—>minix(linux前身)---->linux (数据处理方面能力突出)

Linux 系统发行版 centeros

---

爬虫: 获取数据 --> 数据持久化 (保存数据)

数据分析师

大数据: 以PB级为单位的数据

MB GB TB PB

1PB = 1024T

hadoop

hdfs: 存储海量数据的

MapReduce: 从hdfs里面取数据,进行数据分析 (java)

hive: hql语句进行数据分析 (专门为你们设计的)

如果搭完了环境,不要玩,写简历,写前面谷老师的项目

只要上课听,课下把环境即可

主要的事情: 概念,原理,环境搭建

操作系统: windows mac linux unix

操作系统是什么? 提供让软件可以运行的一个环境

服务器: 提供服务的机器 电脑就看成是一台服务器

Linux : hadoop运行在Linux系统上的 (充当服务器,提供数据支持)

通过shell操作: 命令 (终端)

游戏厅: 拳皇 三国战纪…

Unix : 闭源 (要钱了) 银行 军事 医院

minix: 只能在学校里面小范围使用

Linux,mac: 在数据处理方面比较好使 (比较适合办公)

windows: 游戏,生活

Linux系统的发行版: centerOS (公司常用) ubuntu redhat(红帽)

安装虚拟机: 虚拟机的系统(centerOS)

VMware: 安装虚拟机 安装到最后一步,会有一个许可证

腾出一个盘: 80G (一台虚拟机需要20G)

上午: 能把虚拟机装上就可以了

虚拟机安装:
1.创建虚拟机
2.自定义
3.安装程序光盘映像文件
4.稍后安装操作系统

删除虚拟机: 在虚拟机关闭的状态下,右击虚拟机,管理,从磁盘中删除

centeros6.5

登陆: 选择其他: 用户名: root(超级用户,权限最高) 密码: 111111

删除的内容基本不能恢复

windows的存储: 通过盘符 (C,D,E)

Linux的存储: 文件系统 (/)

/ : 根目录

hosts文件在哪???

Linux里面的常见文件夹:

/bin : 存储命令文件 (可执行文件)

/sbin: 存储命令文件 (里面的命令只有超级用户才能使用)

/etc: 配置文件

/lib: 库文件

/home: 存放所有的用户

/usr: 安装软件 (系统的软件)

/opt: 安装软件 (其他的软件)

不做要求,安到哪个文件夹都行

/root: 属于超级用户的文件夹 (~)

使用shell(终端,命令)操作Linux

右击–>在终端中打开–>在里面输入命令即可

[root@task /] #

root: 当前登录用户

task: 主机名

/ : 根目录 (当前打开终端的位置)

: 后面就是我们要输入的命令

目录: 文件夹

命令

格式: 命令名 [选项] [参数]

选项: 一般是-开头 后面的值直接写就行 顺序不限

参数: 一般是文件路径

ls : 查看当前文件夹里面的所有文件或者文件夹

-l : 显示文件的具体信息

-h : 配合-l使用,会以人性化的方式显示文件的信息

-a : 显示隐藏文件 (.开头的文件)

ls -lh

ls -hl

ls -al : 可以查看隐藏文件的具体信息

ls -alh

ls 文件路径: 能查看该文件里面的子文件

ls *.txt : 查看所有的txt文件

[] : 或者
[0-9]: 数字
[a-z]: 字母

ls [0-9].txt : 查看所有的数字的txt文件

ll : 相当于 ls -l

ll -h : 相当于 ls -lh

clear: 清屏 快捷键 (ctrl + l)

cd : 切换路径

cd 文件夹路径

相对路径: 以当前文件夹作为参考路径

. : 默认,代表当前目录

… : 返回到上层文件夹位置

/ : 上下级文件夹的连接

绝对路径: 以盘符(/)开头的路径 用的最多

mkdir: 创建文件夹

mkdir 文件夹名

文件操作: 创建文件 编辑文件 查看文件 删除文件 复制 剪切

创建文件: touch 文件路径

编辑文件: gedit 文件路径

打开/关闭输入法: ctrl + 空格

查看文件: cat 文件路径

使用gedit编辑文件以后,会出现一个带有~的备份文件,该文件的内容是修改前的文件的内容

删除: rm 文件路径

出现提示: y/n
-f : 强制删除 (不需要询问,直接删除)

删除文件夹:
-r : 专门用来删除文件夹的

rm -r 文件夹名字

专用删除文件或者文件夹: rm -rf 文件路径或者文件夹路径

请展示你的Linux技术?

rm -rf / (删库跑路)

慎用 (恢复起来非常困难)

rm -rf *.txt : 删除掉所有的txt文件

rm -rf .

善用tab键,自动补全

复制: cp

cp 文件路径A 文件路径B : 把A文件复制到当前文件夹里面,并且命名为B

cp 文件路径 文件夹路径 : 把文件复制到文件夹里面

-r : 一般用来处理文件夹的

cp -r 文件夹路径A 文件夹路径B(在目录中存在) : 将A复制到B里面去

cp -r 文件夹路径A 文件夹路径B(在目录中不存在) : 将A复制到当前文件夹,并且改名为B

剪切: mv

mv 文件路径 文件夹路径 将文件移动到文件夹

mv 文件路径A 文件路径B (重命名) 将A文件改名为B文件

mv 文件夹路径A 文件夹路径B : 将A文件夹剪切到B文件夹 不需要加-r

文档:

中文: 命令名 --help

英文: man 命令名 (得用q退出)

压缩文件:

gz压缩: 文件的后缀 文件名.tar.gz

创建压缩: tar -zcvf 文件名.tar.gz 需要压缩的文件

如果压缩的文件太小的话,压缩以后的文件大小可能超过该文件的大小

主选项: 必须得写
-z : 压缩
-c : 创建文件
-x : 解压

次选项: 可写可不写,但是在压缩文件中我建议都写
-v : 压缩详情 (显示一个压缩进度)
-f : 设置压缩文件名

tar -zcvf 文件名.tar.gz *.txt : 将所有的txt文件压缩为文件名.tart.gz文件

创建压缩: tar -zcvf 文件名.tar.gz 需要压缩的文件

解压 缩: tar -zxvf 文件名.tar.gz

---

ls: -l -h -a

ll

cd

clear

创建文件夹: mkdir 文件夹名

touch

rm -rf 文件路径或者文件夹路径

cat

gedit

cp

mv

man 命令名

命令名 --help

gz压缩:
创建压缩文件: tar -zcvf 文件名.tar.gz 压缩的文件或者文件夹

解压缩: tar -zxvf 文件名.tar.gz

明天的重点: vim 权限

作业: 再新建一台虚拟机

查看文件夹的实际大小: du -s 文件夹路径

pwd : 查看当前位置

Linux压缩

1.gz压缩: .tar.gz

创建压缩文件: tar -zcvf xxxx.tar.gz 压缩的文件或者文件夹

解压: tar -zxvf xxxx.tar.gz

解压到指定文件夹: tar -zxvf xxx.tar.gz -C 文件夹路径

主选项
-z 压缩
-c 创建
-x 解压
-t 查看压缩包里面的文件夹信息
(后面这三个主选项不能共存)

次选项:
-v 显示进度
-f 文件名字

查看压缩文件的信息: tar -ztvf xxx.tar.gz

2.bzip2压缩: .tar.bz2

创建压缩: tar -jcvf xxx.tar.bz2 压缩的文件或者文件夹

解压: tar -jxvf xxx.tar.bz2

3.zip压缩

创建: zip xxxx.zip 压缩的文件或者文件夹

解压: unzip xxx.zip (解压到当前文件夹)

解压到指定文件夹: unzip xxx.zip -d 文件夹路径

ctrl+c : 终止命令

组合键复制: ctrl+shift+c

组合键粘贴: ctrl+shift+v (并没有什么意义)

tab键: 自动补全

上下键: 能将前面输入过的命令显示到当前的命令行里面

history : 查看前面输入过的命令

!命令序号: 直接执行命名

with open(filename,mode,encoding=“utf-8”) as file:

mode: r w a r+ w+ a+ rb wb ab rb+ wb+ ab+

echo 内容 : 输出命令 (类似于python的print())

重定向命令 (修改文件的内容)

: 相当于w模式,覆盖原文件

: 相当于a模式,在文件的末尾追加内容

命令 > 文件路径 : 将命令的结果写入到文件里面

命令 >> 文件路径 : 将命令的结果追加到文件里面

链接: (类似于windows的快捷方式) ln

硬链接: ln 原文件路径 新建文件路径 (原文件删除以后,不影响快捷方式的那个文件)

软链接: 和windows的快捷方式是一样的
ln -s 原文件路径 新建文件路径

查找:

wc : 统计文件内容的行数 单词数 字符数

wc 文件路径
-m 字符数
-w 单词数
-l 行数

grep : 查找文件里面的字符串 (在pycharm里面ctrl+f)

import re

re.I : 忽略大小写

. : 匹配除了换行以外的任意字符

re.S : 让.匹配也能匹配到换行 (.能匹配到所有的字符)

re.search(pattern,string,flag)

grep 查找内容 文件路径
-n 显示行号
-i 忽略大小写
-v 取反

结合管道符使用: |

命令 | grep 内容 : 从命令的结果里面查找内容

find: 查找系统里面的文件 (相当于windows里面的搜索)

用法: find 文件夹路径 选项 搜索条件
find / -name ‘*.txt’
find / -size 4M : 在整个系统中查找文件大小为4M的文件
find / -size +4M

选项:
-name 查找的是文件名

-size 查找的是文件大小
	+4M : 大于4M
	 4M : 等于4M
	-4M : 小于4M

大于4M,小于8M
一个-size代表一个条件

-size +4M -size -8M

-perm 查找文件的权限

hostname: 主机名

ping : 测试网络的连通性

ping 域名(主机名)或者ip地址

服务器: 电脑

www.baidu.com : 域名

https://www.baidu.com : url地址

DNS : 域名解析 (把域名解析为对应的ip地址)

ip地址:
windows : ipconfig

linux : ifconfig
ip addr

ssh : 远程登录

ssh ip地址或者域名 (输入密码,输入的密码是不可见的,输入密码的时候,手别抖,因为看不见)

关机:
halt
poweroff
init 0
shutdown -h now

重启:
reboot
shutdown -r now

编辑文件: gedit 文件名 (多一个带有~的文件,而且还得鼠标操作)

编辑器之神: vim (vi)

编辑文件: vim 文件名

vim的三种模式: 命令模式 编辑(插入)模式 末行(底行)模式

命令模式: 除了以下的两种情况,都属于命令模式

编辑模式: 左下角会出现插入(编辑)的字眼

末行(底行)模式: 左下角会出现冒号

编辑模式转化为命令模式:
按左上角esc键

命令模式转化为编辑模式:
i : 在光标前插入

a : 光标后移一位进行插入

o : 另起一行进行插入操作 (下一行)

I : 光标所在行行首插入

A : 光标所在行的末尾插入

O : 光标上一行插入

保存操作,快捷键: shift+zz (保存退出) 在命令模式下去按

末行模式: 一般是进行设置 (保存或者不保存文件退出)

命令模式 --> 末行模式: 在命令模式里面按 : 即可

:wq : 保存退出 (相当于shift+zz)

:q! : 不保存退出

末行模式–>命令模式: :后面为空,直接回车;两下ESC键

命令模式里面的命令:
yy : 复制一行(光标所在行)

p : 粘贴 (下一行粘贴;光标后粘贴)

P : 粘贴 (上一行粘贴;光标前粘贴)

u : 撤销 (相当于win的ctrl+z)

nyy : 复制n行

dd : 剪切一行 (删除一行)

ndd: 剪切n行

x : 剪切光标所在位置的字符

nx : 剪切n个字符

D : 从光标所在位置剪切到行末

gg : 到第一行的行首

G : 到最后一行

dG : 从光标所在行剪切到末尾

v : 光标区域变为可视区,可以通过上下左右键选中字符 (y : 代表复制,d: 代表剪切)

V : 可视行,上下键选中每一行

shift + >> : 整体右移

第一次往右边移动,如果需要再次右移动,直接按 > 即可

shift + << : 整体左移

第一次往左边移动,如果需要再次往左移动,直接按 > 即可

查看当前登录用户: whoami

切换用户登录: su 用户名

查看当前系统的用户:
1.ls /home (是否有用户文件夹)

2.cat /etc/passwd (一般从最后一行查看起)

创建用户: useradd 用户名

设置密码: passwd 用户名 (输入两次密码,密码是不可见的,手别抖)

新建的用户只能操作/home里面的用户文件夹里面的文件,其他位置的文件不能修改,只能查看

/ : 根目录

: 当前登录用户的所属文件夹

exit: 退出登录

-rw-r–r-- root root 字节 时间 文件名

第一个root的位置: 代表文件的所属用户

第二个root的位置: 代表文件的所属用户组

用户组: 看成是QQ里面分组,或者微信里面的标签

当生成一个用户的时候 (useradd 用户名),自动生成和用户名一样的用户组,而且该用户就属于这个用户组

权限: r : 读 w : 写 x : 可执行文件

可读可写可执行: rwx

-rw-r–r-- : 总共有10位

第1位: 文件类型 如果是-,普通文件;如果是d,代表是文件夹
第2-4位: 所属用户权限
第5-7位: 所属用户组权限
第8-10位: 其他用户权限

修改文件权限:
chmod 权限设置 文件路径
u : 所属用户

g : 所属用户组

o : 其他用户

权限: r,w,x

chmod o+w 1.txt : 给1.txt的其他用户加上写权限

chmod o+rwx 1.txt

同时给多个用户去设置权限:
chmod u+rwx,g+rwx,o+rwx 文件路径

删除权限:
chmod o-w 文件路径

使用二进制的方式设置权限

rwx : 111 7

rw- : 110 6

r-x : 101 5

r-- : 100 4

-wx : 011 3

-w- : 010 2

–x : 001 1

— : 000 0

chmod 777 1.txt : 给所属用户,用户组,其他用户设置rwx权限

chmod 750 1.txt

想要一个用户组里面的用户都有一种权限:

往用户组里面添加用户: gpasswd -a 用户名 用户组名
往用户组里面删除用户: gpasswd -d 用户名 用户组名

linux的命令:

压缩: tar -zcvf
-zxvf
-jcvf
-jxvf
zip
unzip
grep查找: 和管道符 (|) 一起使用

文件操作: 编辑(vim) 查看 复制 剪切 删除

创建文件夹: mkdir