Today is a new day!
1 scala是大数据的主流编程语言
Scala是一种强大的JVM语言，混合了函数式和面向对象编程范式
2 大数据的本质为:分布式计算
3 大数据中常见的数据类型为 非结构化和半结构化数据
3.1 结构化数据
定义：业界指关系模型数据，即以关系数据库表形式管理的数据
简析：虽然专业角度上看，结构化就是关系模型的说法并不准确，但针对目前业内现状，还是定义为关系模型最为妥善，因为它准确的代表了我们传统上最熟悉的企业业务数据。
3.2 半结构化数据
定义：非关系模型的、有基本固定结构模式的数据，例如日志文件、XML文档、JSON文档、Email等。
3.3 非结构化数据
定义：没有固定模式的数据，如WORD、PDF、PPT、EXL，各种格式的图片、视频等。
简析：区分半结构化与非结构化的意义在于，对两者的处理方法是不同的，非结构化数据大多采用内容管理方法，而半结构化数据基本没有有效的管理方法。
4 虚拟机配置
4.1 编辑网卡文件
vi /etc/sysconfig/network-scripts/ifcfg-eth0
DEVICE=eth0
HWADDR=00:0C:29:A0:D3:65
TYPE=Ethernet
UUID=b639c1a1-18aa-4194-8465-2dccda3e9abc
ONBOOT=yes
NM_CONTROLLED=yes
BOOTPROTO=static
IPADDR=192.168.62.101
NETMASK=255.255.255.0
GATEWAY=192.168.62.2
tip1 : 删除线是可以删除的
tip2: 可以添加DNS
DNS1=8.8.8.8
tip3:GATEWAY=192.168.62.2 这个地址为 vmware虚拟机
4.2 配置 主机名称
vim /etc/sysconfig/network-scripts/ifcfg-eth0
更改hostname
4.3 删除绑定文件
/etc/udev/rules.d/70-persistent-net.rules
方法1:删除该文件
方法2:把该文件的第一行进行注释,第二行末尾添加(修改)为eth0,
输入命令 start u_dev(或者startudev记不太清了)
tip:如果是删除文件一定要重启,如果是修改文件一定要重启 network 服务
5 虚拟机NAT原理
6 操作系统组成
内核:分配管理
库:没有入口的软件,没有main方法,只能被其他调用
应用软件:至少有一个入口的软件
7 用户接口Shell
7.1 shell
shell 用户与计算机的交互接口,分为
GUI: 图像化接口 x-window(包括Gnome,KDE等)
CLI: 字符接口 bash ,bsh等
7.2 命令
命令是用户的执行入口
命令的格式: 命令 选项(-开头) 参数(可以是命令的作用对象)
命令中这三部分是用"空格"进行分开的,Linux命令是对空格比较敏感的
选项中
短选项： - 多个选项可以组合：-a -b = -ab
长选项： –
| 内部命令 | 外部命令 | |
|---|---|---|
| 概念 | shell内置的命令 | 非shell内置的命令 |
| 存在位置 | 内存 | 本地硬盘 |
| 使用的帮助命令 | help | man (yum -y install man man-pages进行安装,man中使用q退出) |
内置命令在系统启动时就调入内存，是常驻内存的，所以执行效率高。
而外部命令是系统的软件功能，用户需要时才从硬盘中读入内存
外部命令也称为文件系统命令，是bash shell之外的程序，它并不是shell 的一部分。外部命令一般位于/bin、/usr/bin、/sbin或/usr/sbin中。
当执行外部命令时，Linux系统会创建出一个子进程（这种操作被称为衍生）。
为了演示，我们分析ps -f 的结果。
上图结果所示：当执行ps时会创建出一个子进程9122（ps命令的PID是9122），其父PID 是9084。
作为父进程的bash shell的PID是9084。
当进程必须执行衍生时，Linux系统需要消耗资料来设置新子进程的环境。
通过上面演示，得出结论：执行外部命令有额外的代价。
内部,外部命令的执行流程(从左向右)
有些历史命令使用过后，会存在hash表，当你再输入该命令它的调用会是这样一个过程。
hash—>内置命令—>PATH
hash -r: 清除缓存
7.3 常用命令
enable 和type命令: 查看命令是内部命令还是外部命令
tips: enable 命令中如果是内部的命令,不会有显示
enable -a 可以显示所有的内部命令
which命令 和whereis命令:查看命令的位置
8 目录和路径
linux系统中一切皆文件
8.1 目录
•Filesystem Hierarchy Standard（文件系统层次化标准）:跟文件系统:/
–/boot: 系统启动相关的文件，如内核、initrd，以及grub(bootloader)
–/dev: 设备文件
–/etc：配置文件
–/home：用户的家目录，每一个用户的家目录通常默认为/home/USERNAME
–/root：管理员的家目录；
–/lib：库文件 ：没有执行入口的应用程序
–/media：挂载点目录，移动设备
–/mnt：挂载点目录，额外的临时文件系统
–/opt：可选目录，第三方程序的安装目录
–/proc：伪文件系统，内核映射文件
–/sys：伪文件系统，跟硬件设备相关的属性映射文件
–/tmp：临时文件, /var/tmp
–/var：可变化的文件
–/bin: 可执行文件, 用户命令
–/sbin：管理命令
tips:tree 命令显示目录结构
8.2 路径
从起点到终点中间所用经过的目录
绝对路径和相对路径
9 echo命令
echo $PATH:显示当前环境变量
echo $LANG: 显示当前语言环境
echo $$:显示当前的bash进程号
10 df du 命令
df -h: 显示挂载的分区
du -h: 显示文件的所占磁盘的大小
11 stat命令
查看文件的元数据
1、访问时间，读一次这个文件的内容，这个时间就会更新。比如对这个文件使用more命令。ls、stat命令都不会修改文件的访问时间。
2、修改时间，对文件内容修改一次，这个时间就会更新。比如：vi后保存文件。ls -l列出的时间就是这个时间。
3、状态改变时间。通过chmod命令更改一次文件属性，这个时间就会更新。查看文件的详细的状态、准确的修改时间等，可以通过stat命令文件名。
12 touch 命令
touch 存在文件 刷新 文件的元数据描述的时间
touch 不存在的文件 创建一个文件
13 查看文件
cat :普通查看,不影响交互模式
more: 分页查看,一次性的
less:分页查看,支持向上向下操作,空格 向下,b向上
head -数字 , tail -数字 查看文件的开头或者结尾的几行
tips: head -6 文件 | tail -1 查看文件的第6行
14 linux 分区启动过程
a 进入BIOS
b 读取MBR
c Boot Loader 找到内核,把控制权给内核
内核文件都是以一种自解压的压缩格式存储以节省空间，它与一个初始化的内存映像和存储设备映射表都存储于 /boot 目录之下。
d 加载 systemd 进程(所有进程的父进程)
在过程中,首先挂载sda1分区,(boot分区)代替将来的/分区,在内核完毕后 ,挂载/分区,把sda1挂载到/boot中
参考文档:
结构,非结构化,半结构化数据
https://blog.csdn.net/qq_25353433/article/details/81451310
理解内置外置命令
https://blog.csdn.net/hidengxin/article/details/84708090
虚拟机NAT原理图
https://www.linuxidc.com/Linux/2017-09/147080.htm
stat命令
https://www.cnblogs.com/xuxiuxiu/p/6292825.html
linux 分区启动过程
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
