hadoop
hdfs:存储海量数据
MapReduce:从hdfs里面取数据,进行数据分析(java)
hive:hql 语句进行数据分析(专门为python 设计的)
操作系统:windows Mac linux unix 一个能让软件运行的环境
hadoop 是运行在linux系统上的
通过shell操作(命令)总端
unix—>minix(linux前身)---->linux (数据处理方面能力突出)
Linux 系统发行版 centeros
爬虫: 获取数据 --> 数据持久化 (保存数据)
数据分析师
大数据: 以PB级为单位的数据
MB GB TB PB
1PB = 1024T
hadoop
hdfs: 存储海量数据的
MapReduce: 从hdfs里面取数据,进行数据分析 (java)
hive: hql语句进行数据分析 (专门为你们设计的)
如果搭完了环境,不要玩,写简历,写前面谷老师的项目
只要上课听,课下把环境即可
主要的事情: 概念,原理,环境搭建
操作系统: windows mac linux unix
操作系统是什么? 提供让软件可以运行的一个环境
服务器: 提供服务的机器 电脑就看成是一台服务器
Linux : hadoop运行在Linux系统上的 (充当服务器,提供数据支持)
通过shell操作: 命令 (终端)
游戏厅: 拳皇 三国战纪…
Unix : 闭源 (要钱了) 银行 军事 医院
minix: 只能在学校里面小范围使用
Linux,mac: 在数据处理方面比较好使 (比较适合办公)
windows: 游戏,生活
Linux系统的发行版: centerOS (公司常用) ubuntu redhat(红帽)
安装虚拟机: 虚拟机的系统(centerOS)
VMware: 安装虚拟机 安装到最后一步,会有一个许可证
腾出一个盘: 80G (一台虚拟机需要20G)
上午: 能把虚拟机装上就可以了
虚拟机安装:
1.创建虚拟机
2.自定义
3.安装程序光盘映像文件
4.稍后安装操作系统
删除虚拟机: 在虚拟机关闭的状态下,右击虚拟机,管理,从磁盘中删除
centeros6.5
登陆: 选择其他: 用户名: root(超级用户,权限最高) 密码: 111111
删除的内容基本不能恢复
windows的存储: 通过盘符 (C,D,E)
Linux的存储: 文件系统 (/)
/ : 根目录
hosts文件在哪???
Linux里面的常见文件夹:
/bin : 存储命令文件 (可执行文件)
/sbin: 存储命令文件 (里面的命令只有超级用户才能使用)
/etc: 配置文件
/lib: 库文件
/home: 存放所有的用户
/usr: 安装软件 (系统的软件)
/opt: 安装软件 (其他的软件)
不做要求,安到哪个文件夹都行
/root: 属于超级用户的文件夹 (~)
使用shell(终端,命令)操作Linux
右击–>在终端中打开–>在里面输入命令即可
[root@task /] #
root: 当前登录用户
task: 主机名
/ : 根目录 (当前打开终端的位置)
: 后面就是我们要输入的命令
目录: 文件夹
命令
格式: 命令名 [选项] [参数]
选项: 一般是-开头 后面的值直接写就行 顺序不限
参数: 一般是文件路径
ls : 查看当前文件夹里面的所有文件或者文件夹
-l : 显示文件的具体信息
-h : 配合-l使用,会以人性化的方式显示文件的信息
-a : 显示隐藏文件 (.开头的文件)
ls -lh
ls -hl
ls -al : 可以查看隐藏文件的具体信息
ls -alh
ls 文件路径: 能查看该文件里面的子文件
ls *.txt : 查看所有的txt文件
[] : 或者
[0-9]: 数字
[a-z]: 字母
ls [0-9].txt : 查看所有的数字的txt文件
ll : 相当于 ls -l
ll -h : 相当于 ls -lh
clear: 清屏 快捷键 (ctrl + l)
cd : 切换路径
cd 文件夹路径
相对路径: 以当前文件夹作为参考路径
. : 默认,代表当前目录
… : 返回到上层文件夹位置
/ : 上下级文件夹的连接
绝对路径: 以盘符(/)开头的路径 用的最多
mkdir: 创建文件夹
mkdir 文件夹名
文件操作: 创建文件 编辑文件 查看文件 删除文件 复制 剪切
创建文件: touch 文件路径
编辑文件: gedit 文件路径
打开/关闭输入法: ctrl + 空格
查看文件: cat 文件路径
使用gedit编辑文件以后,会出现一个带有~的备份文件,该文件的内容是修改前的文件的内容
删除: rm 文件路径
出现提示: y/n
-f : 强制删除 (不需要询问,直接删除)
删除文件夹:
-r : 专门用来删除文件夹的
rm -r 文件夹名字
专用删除文件或者文件夹: rm -rf 文件路径或者文件夹路径
请展示你的Linux技术?
rm -rf / (删库跑路)
慎用 (恢复起来非常困难)
rm -rf *.txt : 删除掉所有的txt文件
rm -rf .
善用tab键,自动补全
复制: cp
cp 文件路径A 文件路径B : 把A文件复制到当前文件夹里面,并且命名为B
cp 文件路径 文件夹路径 : 把文件复制到文件夹里面
-r : 一般用来处理文件夹的
cp -r 文件夹路径A 文件夹路径B(在目录中存在) : 将A复制到B里面去
cp -r 文件夹路径A 文件夹路径B(在目录中不存在) : 将A复制到当前文件夹,并且改名为B
剪切: mv
mv 文件路径 文件夹路径 将文件移动到文件夹
mv 文件路径A 文件路径B (重命名) 将A文件改名为B文件
mv 文件夹路径A 文件夹路径B : 将A文件夹剪切到B文件夹 不需要加-r
文档:
中文: 命令名 --help
英文: man 命令名 (得用q退出)
压缩文件:
gz压缩: 文件的后缀 文件名.tar.gz
创建压缩: tar -zcvf 文件名.tar.gz 需要压缩的文件
如果压缩的文件太小的话,压缩以后的文件大小可能超过该文件的大小
主选项: 必须得写
-z : 压缩
-c : 创建文件
-x : 解压
次选项: 可写可不写,但是在压缩文件中我建议都写
-v : 压缩详情 (显示一个压缩进度)
-f : 设置压缩文件名
tar -zcvf 文件名.tar.gz *.txt : 将所有的txt文件压缩为文件名.tart.gz文件
创建压缩: tar -zcvf 文件名.tar.gz 需要压缩的文件
解压 缩: tar -zxvf 文件名.tar.gz
ls: -l -h -a
ll
cd
clear
创建文件夹: mkdir 文件夹名
touch
rm -rf 文件路径或者文件夹路径
cat
gedit
cp
mv
man 命令名
命令名 --help
gz压缩:
创建压缩文件: tar -zcvf 文件名.tar.gz 压缩的文件或者文件夹
解压缩: tar -zxvf 文件名.tar.gz
明天的重点: vim 权限
作业: 再新建一台虚拟机
查看文件夹的实际大小: du -s 文件夹路径
pwd : 查看当前位置
Linux压缩
1.gz压缩: .tar.gz
创建压缩文件: tar -zcvf xxxx.tar.gz 压缩的文件或者文件夹
解压: tar -zxvf xxxx.tar.gz
解压到指定文件夹: tar -zxvf xxx.tar.gz -C 文件夹路径
主选项
-z 压缩
-c 创建
-x 解压
-t 查看压缩包里面的文件夹信息
(后面这三个主选项不能共存)
次选项:
-v 显示进度
-f 文件名字
查看压缩文件的信息: tar -ztvf xxx.tar.gz
2.bzip2压缩: .tar.bz2
创建压缩: tar -jcvf xxx.tar.bz2 压缩的文件或者文件夹
解压: tar -jxvf xxx.tar.bz2
3.zip压缩
创建: zip xxxx.zip 压缩的文件或者文件夹
解压: unzip xxx.zip (解压到当前文件夹)
解压到指定文件夹: unzip xxx.zip -d 文件夹路径
ctrl+c : 终止命令
组合键复制: ctrl+shift+c
组合键粘贴: ctrl+shift+v (并没有什么意义)
tab键: 自动补全
上下键: 能将前面输入过的命令显示到当前的命令行里面
history : 查看前面输入过的命令
!命令序号: 直接执行命名
with open(filename,mode,encoding=“utf-8”) as file:
mode: r w a r+ w+ a+ rb wb ab rb+ wb+ ab+
echo 内容 : 输出命令 (类似于python的print())
重定向命令 (修改文件的内容)
: 相当于w模式,覆盖原文件
: 相当于a模式,在文件的末尾追加内容
命令 > 文件路径 : 将命令的结果写入到文件里面
命令 >> 文件路径 : 将命令的结果追加到文件里面
链接: (类似于windows的快捷方式) ln
硬链接: ln 原文件路径 新建文件路径 (原文件删除以后,不影响快捷方式的那个文件)
软链接: 和windows的快捷方式是一样的
ln -s 原文件路径 新建文件路径
查找:
wc : 统计文件内容的行数 单词数 字符数
wc 文件路径
-m 字符数
-w 单词数
-l 行数
grep : 查找文件里面的字符串 (在pycharm里面ctrl+f)
import re
re.I : 忽略大小写
. : 匹配除了换行以外的任意字符
re.S : 让.匹配也能匹配到换行 (.能匹配到所有的字符)
re.search(pattern,string,flag)
grep 查找内容 文件路径
-n 显示行号
-i 忽略大小写
-v 取反
结合管道符使用: |
命令 | grep 内容 : 从命令的结果里面查找内容
find: 查找系统里面的文件 (相当于windows里面的搜索)
用法: find 文件夹路径 选项 搜索条件
find / -name ‘*.txt’
find / -size 4M : 在整个系统中查找文件大小为4M的文件
find / -size +4M
选项:
-name 查找的是文件名
-size 查找的是文件大小
+4M : 大于4M
4M : 等于4M
-4M : 小于4M
大于4M,小于8M
一个-size代表一个条件
-size +4M -size -8M
-perm 查找文件的权限
hostname: 主机名
ping : 测试网络的连通性
ping 域名(主机名)或者ip地址
服务器: 电脑
www.baidu.com : 域名
https://www.baidu.com : url地址
DNS : 域名解析 (把域名解析为对应的ip地址)
ip地址:
windows : ipconfig
linux : ifconfig
ip addr
ssh : 远程登录
ssh ip地址或者域名 (输入密码,输入的密码是不可见的,输入密码的时候,手别抖,因为看不见)
关机:
halt
poweroff
init 0
shutdown -h now
重启:
reboot
shutdown -r now
编辑文件: gedit 文件名 (多一个带有~的文件,而且还得鼠标操作)
编辑器之神: vim (vi)
编辑文件: vim 文件名
vim的三种模式: 命令模式 编辑(插入)模式 末行(底行)模式
命令模式: 除了以下的两种情况,都属于命令模式
编辑模式: 左下角会出现插入(编辑)的字眼
末行(底行)模式: 左下角会出现冒号
编辑模式转化为命令模式:
按左上角esc键
命令模式转化为编辑模式:
i : 在光标前插入
a : 光标后移一位进行插入
o : 另起一行进行插入操作 (下一行)
I : 光标所在行行首插入
A : 光标所在行的末尾插入
O : 光标上一行插入
保存操作,快捷键: shift+zz (保存退出) 在命令模式下去按
末行模式: 一般是进行设置 (保存或者不保存文件退出)
命令模式 --> 末行模式: 在命令模式里面按 : 即可
:wq : 保存退出 (相当于shift+zz)
:q! : 不保存退出
末行模式–>命令模式: :后面为空,直接回车;两下ESC键
命令模式里面的命令:
yy : 复制一行(光标所在行)
p : 粘贴 (下一行粘贴;光标后粘贴)
P : 粘贴 (上一行粘贴;光标前粘贴)
u : 撤销 (相当于win的ctrl+z)
nyy : 复制n行
dd : 剪切一行 (删除一行)
ndd: 剪切n行
x : 剪切光标所在位置的字符
nx : 剪切n个字符
D : 从光标所在位置剪切到行末
gg : 到第一行的行首
G : 到最后一行
dG : 从光标所在行剪切到末尾
v : 光标区域变为可视区,可以通过上下左右键选中字符 (y : 代表复制,d: 代表剪切)
V : 可视行,上下键选中每一行
shift + >> : 整体右移
第一次往右边移动,如果需要再次右移动,直接按 > 即可
shift + << : 整体左移
第一次往左边移动,如果需要再次往左移动,直接按 > 即可
查看当前登录用户: whoami
切换用户登录: su 用户名
查看当前系统的用户:
1.ls /home (是否有用户文件夹)
2.cat /etc/passwd (一般从最后一行查看起)
创建用户: useradd 用户名
设置密码: passwd 用户名 (输入两次密码,密码是不可见的,手别抖)
新建的用户只能操作/home里面的用户文件夹里面的文件,其他位置的文件不能修改,只能查看
-
/ : 根目录
- : 当前登录用户的所属文件夹
exit: 退出登录
-rw-r–r-- root root 字节 时间 文件名
第一个root的位置: 代表文件的所属用户
第二个root的位置: 代表文件的所属用户组
用户组: 看成是QQ里面分组,或者微信里面的标签
当生成一个用户的时候 (useradd 用户名),自动生成和用户名一样的用户组,而且该用户就属于这个用户组
权限: r : 读 w : 写 x : 可执行文件
可读可写可执行: rwx
-rw-r–r-- : 总共有10位
第1位: 文件类型 如果是-,普通文件;如果是d,代表是文件夹
第2-4位: 所属用户权限
第5-7位: 所属用户组权限
第8-10位: 其他用户权限
修改文件权限:
chmod 权限设置 文件路径
u : 所属用户
g : 所属用户组
o : 其他用户
权限: r,w,x
chmod o+w 1.txt : 给1.txt的其他用户加上写权限
chmod o+rwx 1.txt
同时给多个用户去设置权限:
chmod u+rwx,g+rwx,o+rwx 文件路径
删除权限:
chmod o-w 文件路径
使用二进制的方式设置权限
rwx : 111 7
rw- : 110 6
r-x : 101 5
r-- : 100 4
-wx : 011 3
-w- : 010 2
–x : 001 1
— : 000 0
chmod 777 1.txt : 给所属用户,用户组,其他用户设置rwx权限
chmod 750 1.txt
想要一个用户组里面的用户都有一种权限:
往用户组里面添加用户: gpasswd -a 用户名 用户组名
往用户组里面删除用户: gpasswd -d 用户名 用户组名
linux的命令:
压缩: tar -zcvf
-zxvf
-jcvf
-jxvf
zip
unzip
grep查找: 和管道符 (|) 一起使用
文件操作: 编辑(vim) 查看 复制 剪切 删除
创建文件夹: mkdir