第一天
什么是大数据
数据量的大小已经超过了传统数据库所能处理的能力的数据。
大数据的特点
- 数据海量化
- 数据的多样化(视频、音频、图片、文本)
- 快速化,数据的增长速度快
- 高价值
大数据能做哪些事
- 能够对海量数据进行存储(超大量的数据、单个大文件)
- 基于海量数据的快速查询(精准查询)
- 基于海量数据快速计算(相对于传统的计算方式)
- 基于海量数据的实时计算(数据正在生成、立刻马上收集,立刻马上计算,立刻马上展示)
- 在海量数据基础之上进行挖掘
大数据的岗位
大数据需要学习的技术
第二天
学习大数据需要用到的软件的安装部署,具体内容参考实施讲义。
第三天
Linux配置IP(静态/ 动态)
动态IP的配置
查看服务器IP ip addr
此时没有IP
修改系统网卡配置ens33 将NOBOOT从NO改成YES,保存退出,
重启网卡进行查看
静态IP的配置
1、首先确定网关IP
2、修改网卡配置 vi /etc/sysconfig/network-scripts/ifcfg-ens33
将BOOTPROTO="dhcp" 改成 static
3、添加以下内容
IPADDR=192.168.10.130
NETMASK=255.255.255.0
GATEWAY=192.168.10.2
DNS1=8.8.8.8
第四天
/etc: 系统配置,启动程序
/home:普通用户的家,目录默认数据存放目录
/mnt:临时挂载储存设备的挂载点,u盘插入光驱无法使用,需要挂载然后使用**
/opt:额外的应用软件包**
/root:Linux超级权限用户root的家目录
/tmp:临时文件目录,这个目录被当作回收站使用**
常用命令
文件夹的增删改查
添加 : mkdir 文件夹名称
修改: mv 原始文件名 目标文件名
查看: ls ll
删除: rm -rf 文件夹名
文件的增删改查
添加 :touch 文件名称(空文本)
echo 数据 > 文件名称(不能追加)
echo 数据 >>文件名称(可以追加)
修改: mv 原始文件名称 目标文件名称
查看: cat
删除:rm -rf 文件名
进入某一目录:cd
进入上一级目录:cd .. cd ../
查看当前光标所在的目录:pwd
第五天
查看文件(文本文件)
查看文件头部: head 文件名 head -n 文件名
查看文件尾部: tail 文件名 tail -n 文件名
分屏查看 more 文件名
过滤:grep 关键字 文件名称
查看命令: ls
-a: 显示所有文件(包含隐藏文件)
-l :显示详细信息
-h:文件的单位会进行计算,合理化展示。
查询某一命令的使用方法: 命令 --help
第六天
文本编辑器
命令模式 vi vim +文件名
末行模式 :
编辑模式 :i 进入日末行模式
编辑文件
保存退出:wq
不保存退出(强制退出):q!
以单词为单位向后移动光标: w
以单词为单位向前移动光标: b
光标移动到行首:0 或 ^
光标移动到行尾:$
光标移动到文件第一行:gg
光标移动到文件最后一行:G
光标移动到文件特定行:行号gg 行号G
可视区域下一页:Ctrl+f
可视区域上一页:Ctrl+b
可视区域第一行: H
可视区域中间行: M
可视区域末尾行: L
撤销前面的操作:u
回复撤销:Ctrl+r
复制一行 :yy nyy(复制n行)
粘贴 : p
删除 : dd ndd(删除N行)
第七天
在文件中查找数据 /关键字(末行模式)
当多个匹配的数据存在 n查找下一个 N 查找上一个
替换: :%s/需要被替换的关键字/替换的关键字/g c(可选)
进入编辑模式的6中种情况 i a o I A O
查找命令: find /路径 -name ‘文件名称’
打包命令 :tar cvf 包名称.tar 需要被打包的文件夹 或 文件
解压包命令 :tar xvf 包名称.tar
打包Gzip压缩包 :tar zcvf 包名称.tar.gz 需要被打包的文件夹 或 文件
解压Gzip压缩包 :tar zxvf 包名称.tar.gz
打包bzip2压缩包 :tar jcvf 包名称.tar.bz2 需要被打包的文件夹 或 文件
解压bzip2压缩包 :tar jxvf 包名称.tar.bz2
rpm -qa : 查询出系统已经安装的所有的软件包
rpm -qa | grep bzip2 :查询出系统已经安装的包含“bzip2”关键字的所有软件包
yum search bzip2 :在资源库(yum源)中是否能找到bzip2软件包
yum install -y bzip2 :在资源库(yum源)中安装bzip2软件包
history : 查看历史使用了哪些命令