数据挖掘——计算机相关基础/linux一些杂乱笔记

这篇笔记比较杂乱，但记录了我学习时的过程，关于linux清晰的命令结构网上有很多，这篇文章就权当记录
学习，做笔记，做练习，提出具体而细致的问题，解决
1.什么是Linux
是一个开源系统，对比windows，都是一种操作系统
在linux中一切都是文件

2.linux常见操作系统
红帽rhel7
Cent os

5.应用
linux作为操作系统，其实跟windows,安卓，ios是相同的表现形式，安卓和IOS底层都是LINUX，大多用于网站，企业的服务器终端，相当于一台巨型计算机的操作系统，小到电饭煲，KTV都能用LINUX系统（嵌入），并植入不同的软件罢了

4.重要的基础
Linux与硬件匹配
安装软件
掌握linux基础，一定要学会
通配符和转义符
Shell流程控制

5.什么叫软件相关依赖关系？
6.翻译器用bash
常见格式：命令名称，参数，对象（常见问题是参数设置太过复杂）
查看帮助命令，右键，open in terminal
基础LINUX命令
7.命令后台执行在命令行后面加个&
8.系统工作命令
Echo输出,date日期，reboot重启，poweroff关机，wget下载网络文件，ps查看进程状态，top监视进程活动系统负载，pidof查询服务进程的PID值，kill killall终止某个指定PID服务进程。
9.系统状态检查命令
Ifconfig获取网卡配置与网络状态等信息，uname查看系统内核与系统版本等信息，uptime查看系统负载信息，free系统内存使用量信息，who查看登入主机用户终端的信息，last查看所有系统的登录记录，history显示历史执行过的命令，sosreport命令用于收集系统配置及架构信息并输出诊断文档
10.工作目录切换指令
Pwd显示用户当前所处工作目录，cd切换工作路径，ls显示目录中文件信息，
11.文本文件编辑
Cat查看纯文本文件，more查看长文本，head看纯文本前N行，tail看后N行，tr替换文本中的字符，wc命令用于统计指定文本的行数、字数、字节数，格式为“wc [参数] 文本”，cut按列提取文字符，diff命令用于比较多个文本文件的差异，格式为“diff [参数] 文件”，
12.文件目录管理命令
touch命令用于创建空白文件或设置文件的时间，mkdir命令用于创建空白的目录-p参数可以创建层叠关系目录，cp命令用于复制文件或目录，格式为“cp （选项参数）源文件 目标文件”,mv将剪切文件或重命名，rm删除文件或者目录，dd命令用于按照指定大小和个数的数据块来复制文件或转换文件，格式为“dd [参数]”,file查看文件类型
13.压缩
tar加选项，执行不同命令；grep在文本中进行关键词搜索；find按照指定条件来查找文件

管道符、重定向与环境变量
1.输入重定向和输出重定向：
是什么：input输入重定向就是把文件导入命令，output重定向就是把数据导入文件
输入重定向命令：
命令<文件：将文件作为命令的标准输入
命令<<分界符：从标准输入中读入，直到遇见分解符停止
命令<文件1&文件2：将文件1作为命令的标准输入并将标准输出到文件2
输出重定向命令
命令 > 文件 将标准输出重定向到一个文件中（清空原有文件的数据）
命令 2> 文件 将错误输出重定向到一个文件中（清空原有文件的数据）
命令 >> 文件 将标准输出重定向到一个文件中（追加到原有内容的后面）
命令 2>> 文件 将错误输出重定向到一个文件中（追加到原有内容的后面）
命令 >> 文件 2>>1 或命令 >>> 文件 将标准输出与错误输出共同写入到文件中（追加到原有内容的后面）
2.管道命令符
其执行格式为“命令A | 命令B”。管道命令符的作用也可以用一句话来概括“把前一个命令原本要输出到屏幕的标准正常数据当作是后一个命令的标准输入”
3.通配符
（*）代表多个，（？）代表1个，括号中可以加0-9数值或者abc字母，0-9代表多少个字符，abc代表匹配其中一个
4.环境变量
变量名称 作用
HOME 用户的主目录（即家目录）
SHELL 用户在使用的Shell解释器名称
HISTSIZE 输出的历史命令记录条数
HISTFILESIZE 保存的历史命令记录条数
MAIL 邮件保存路径
LANG 系统语言、语系名称
RANDOM 生成一个随机数字
PS1 Bash解释器的提示符
PATH 定义解释器搜索用户执行命令的路径
EDITOR 用户默认的文本编辑器

存储结构与磁盘划分,磁盘阵列技术
1.fhs是什么，是一种文件系统层次化标准，采用树形结构存放文件，我们存储时需要遵守的道德格式规则？（固定目录放固定东西，有专门的列表）
2.Udev又是什么，设备管理器，/dev目录下是设备文件。Udev会管理的名字，按特定的命名方式。
3.ext3,ext4,xfs又是什么东西，硬件存储设备中执行的文件建立、写入、读取、修改、转存与控制等操作都是依靠文件系统来完成的，文件系统的作用是合理规划硬盘，linux支持数十种文件系统，上面几个是常见的文件系统
ext3，是一款日志文件系统，执行文件建立、写入、读取、修改、转存与控制，能在宕机时避免文件系统资料丢失，并且自动修复数据的不一致与错误，能把磁盘的每个写入动作预先记录下来，出现异常后，尝试修复。
ext4，是ext3的改进版，支持存储容量更大，能够批量分配block块，提高读写效率
XFS，高性能日志文件系统，R7的默认文件管理系统，18EB存储量，也是快速修复功能。
4.如何划分磁盘
每个磁盘由大量扇区组成，一个扇区512字节，第一个扇区最重要，保存主导记录446字节和分区信息64字节，结束符2字节，一个分区信息16字节，所以可以写4个分区（主分区，其实是3个主分区+1个扩展分区）|
(1)用“fdisk 设备名”命令，输入n添加新分区，PE选择主分区还是扩展分区，默认定义起始，+2G定义结束分区（定义分区大小），然后输入w储存。
(2)分区完，格式化才能使linux写入数据，命令mkfs.xfs /dev/sdb1
(3)挂载：创建一个用于挂载设备的挂载点目录，用mount进行关联，可用df -h查询挂在状态。
好比，我要卖饺子，先得布置房间（分区），叫人做饺子（格式化，文件系统），开个窗口卖（挂载，创建一个文件来操作）
5.什么是挂载：当用户需要使用硬盘设备或分区中的数据时，需要先将其与一个已存在的目录文件进行关联，而这个关联动作就是“挂载”，然后就能在目录中看到硬件设备中的数据了。mount用于挂载文件系统，“mount 设备名称 挂载目录”，umount用于取消挂载。
6.如何添加硬盘设备：加入一块新的硬盘，进行分区、格式化、挂载，保存配置文件
7.什么是交换分区，怎么添加——————SWAP分区是指在硬盘中划分一定空间。作用是把内存条不常用的数据放进去，解决物理内存不足的问题。(不用挂载，因为不用我们操作）
8.磁盘容量配额，root规定其他用户使用的硬盘空间和最大文件个数，用quota命令，几个命令我并没有看的很明白，以后再看
9.软硬方式链接：创建快捷方式的方法，硬链接与原始文件是同一个文件，知识名字不同，不能连接目录文件，原始文件被删除也可以访问；软连接（符号链接），仅仅包含链接文件的路径名。ln [参数] 目标
10.什么是RAID，用来满足企业级生产环境对存储资源的高级管理需求。
RAID:独立冗余磁盘阵列，多个硬盘设备组合成的阵列，并把数据切割成多个区段后分别存放在不同的硬盘上，用分散读写技术提升整体性能，同时把多个重要数据的副本同步到不同的硬盘上，起到了数据冗余备份的效果。（多买几个笔记本，分开记笔记）
RAID 0:将硬盘串联在一起，提高吞吐量，但不具备数据备份和错误修复能力。
RAID 1：将数据同时写入多快硬盘，硬盘利用率下降了许多
RAID 5：把数据奇偶校验信息保存到其他硬盘设备，并不储存真实数据信息
RAID 10：1和0的结合，至少需要四块硬盘
11.如何部署磁盘阵列
（1）添加硬盘设备
（2）mdadm [模式] [RAID设备名称] [选项] [成员设备名称]：mdadm -Cv /dev/md0 -a yes -n 4 -l 10 /dev/sdb /dev/sdc /dev/sdd /dev/sde
（3）把磁盘阵列格式化为ext4格式：mkfs.ext4 /dev/md0
（4）创建挂载点，进行挂载操作。
（5）挂载信息写入配置文件，使其永久生效
12.损坏磁盘阵列修复
（1）用mdadm命令将坏的设备移除 mdadm /dev/md0 -f /dev/sdb
（2）再添加新设备上去mdadm /dev/md0 -a /dev/sdb
13.备份盘
mdadm -Cv /dev/md0 -n 3 -l 5 -x 1 /dev/sdb /dev/sdc /dev/sdd /dev/sde
-x 1代表是备份盘
14.什么是LVM逻辑卷管理器
是一种硬盘设备资源管理技术，允许用户对硬盘资源进行动态调整：在硬盘分区和文件系统之间添加了一个逻辑层，提供一个抽象卷组，可以把多个硬盘进行卷组合并。物理卷就是物理硬盘处于LVM的最底层。
15.如何部署逻辑卷
需要逐个配置物理卷、卷组、逻辑卷
（1）让物理卷支持LVM技术 pvcreate /dev/sdb /dev/sdc
（2）硬盘卷组合并加入到storage卷组中 vgvreate storage /dev/sdb /dev/sdc
（3）根据需求把合并后的卷组切割出约为150MB的逻辑卷设备 lvcreate -n vo -l 37 storage(每个基本单元默认为4MB，用-l 37可以生成一个大小为150mb的逻辑卷)
（4）把逻辑卷设备格式化为EXT4文件系统挂载。 mkfs.ext4 /dev/storage/vo
写入配置文件，永久生效
16.扩容逻辑卷
(1)扩展前一定要卸载设备和挂载点的关联：umount /linuxprobe
(2)把逻辑卷vo扩展至290mb：lvextend -L 290M /dev/storage/vo
(3)检查硬盘完整性，重置硬盘容量： e2fsck -f /dev/storage/vo
(4)重新挂载硬盘设备并查看挂在状态
17.缩小逻辑卷
（1）卸载
（2）缩小:resize2fs /dev/storage/vo 120M
（3）挂载
18.逻辑卷快照，只有一次性还原工具，用-s参数生成：lvcreate -L 120M -s -n SNAP /dev/storage/vo,还原时，卸载逻辑卷设备与目录的挂载，然后用lvconvert --merge /dev/storage/SNAP
19.删除逻辑卷：提前备份好重要的数据信息，依次删除逻辑卷、卷组、物理卷设备。
（1）取消挂载，删除配置文件中的参数
（2）删除逻辑卷设备：lvremove /dev/storage/vo，删除卷组 vgremove storage，删除物理卷设备pvremove /dev/sdb /dev/sdc
IPtables与Firewalld防火墙
防火墙
1.防火墙
（1）基本原理是：依据策略对穿越防火墙自身的流量进行过滤
（2）基于流量的源目地址、端口号、协议、应用等信息来定制规则过滤，然后交给netfilter/nftables进行网络过滤
（3）用于处理或过滤流量的策略称为规则，多条规则组成一个规则链，规则链依据“数据包处理位置”进行分类。
（4）收到信息后，保安（防火墙）会进行几个动作：ACCEPT、REJECT、LOG、DROP
2.Iptables

3.firewalld

一些问题
1.akw命令还要多熟悉，akw后面还可以加控制语句和动作语句？
2.单引号和双引号有区别吗
3.如何配置yum仓库
（1）进入/etc/yum.repos.d/
（2）用VIM编辑器创建一个名为rhel7.repo的配置文件（文件名随意，后缀必须），写入参数
（3）按配置参数的路径，挂载光盘，把光盘挂在信息写入/etc/fstab中
（4）用“yum install httpd -y”命令检查yum软件仓库是否可用
（5）输入yum install httpd
4.suid和sgid怎么实现的？
5.ACL拿来干什么，给除所属者，所属组，其他人之外的当个用户提供权限
6.Yum为什么需要挂载？是为了插入光盘的时候有操作的地方，其他有本地仓库配置和网络配置依赖
7.Yum的作用：能够从指定的服务器自动下载RPM包并且安装，可以自动处理依赖性关系，并且一次安装所有依赖的软体包，无须繁琐地一次次下载、安装 yum [options] [command] [package …] yum install [package]

8.wget是不是在网上下东西：在从站点上下载
9.如何测试能不能上网：ping IP能通过，ping 域名不能通过，是DNS设置得不对。
10.如何安装一个软件：
（1）下载相应RPM软件包：wget,或者通过浏览器下载
（2）用YUM或者RPM安装，yum命令：yum -y install [package]（提前要弄好yum的配置文件），RPM：rpm -ivh [软件包名] 卸载时remove
11.关于防火墙：端口是什么东西，IP地址是什么东西，网段又是什么东西，ssh和HTTPS协议
12.联网时，手动设置IP连不上（子网设置格式是正确的，网关也是），但用DHCP就能连上
13.sudo不能执行那些命令？
14.我在安装Pycharm的过程中遇到了一些问题，关于自身版本和环境版本和设置（所有软件的安装如果存在问题，都是这两方面的问题），我更新了java,找了个旧版本，java更新过程中虚拟机不能访问甲骨文，从物理机中转，卡住，寻找共享方法，在cdrom中解压安装tools出现只读，挂载到其他文件也不行（挂载应该只是换个地方访问只读）所以复制到桌面，就弄好了共享，然后安装java，最大的问题在于搞清楚问题出在哪里，还有切换目录很麻烦。

一些笔记
1.感觉shell脚本后面加变量和py的argv解包差不多
2.Shell中“与”&&表示前面的执行成功才执行后面的程序，或|| 表示前面程序失败，执行后面
3.计划任务服务程序当然也是文本，周期性，规律性的工作交给系统
4.Crontab，周期规律自动化命令，分、时、日、月、星期 命令，命令要用绝对路径的方式来写，可以用whereis查询具体位置。at是一次性命令
5.我的httpd安装没有成功，因为我用的yum系统收费，并且应该我是连不上网的
6.什么是环境变量，环境变量记录在/etc/profile里面，是用来寻找路径的，我添加了JAVA的路径，有JAVA_HOME,PATH,CLASSPATH，最后声称export,查看是否设置成功用echo $JAVA_HOME
7.环境变量应该有个先后问题，如果我安装了两个版本的python,当我输入python时，系统最先执行的是先搜索到的那个。输入“. 文件”让文件立即生效