【大数据之Linux】

JMFFFFF

已于 2023-03-17 15:07:06 修改

阅读量66

点赞数

文章标签： linux 大数据运维

于 2022-12-20 18:28:31 首次发布

本文链接：https://blog.csdn.net/qq_43246115/article/details/128327887

版权

学习笔记来源于尚硅谷，如有侵权请联系删除

【大数据之Linux】

centos及Vmware配置

下载地址：链接: https://www.centos.org/download/

网络设置说明：1桥接网络：主机作为桥，虚拟机和主机对外表现同一个ip。2网络地址转换NAT：在主机内部划分ip，外部是无法看到虚拟机ip，类似主机虚拟一个局域网。
启动虚拟机需要看cpu支持虚拟化技术VT-x，在任务管理器—性能—虚拟化
Linux架构管理基于文件夹目录
下图是手动分区，swap区作为交换区，类似于windows里的虚拟内存技术，防止内存不足。

文件系统

bin目录：二进制命令文件夹。lib：系统命令库文件夹。boot：引导启动的核心文件。dev：设备。etc：配置文件。home：用户文件夹。root：超级管理员文件夹。opt：可选目录（第三方软件）。proc：进程目录。run：当前系统运行的实时信息。sys：系统硬件信息。var：可变目录，存放日志。
常用快捷键：
*yy 复制当前光标后*行，y$:复制当前光标到当前行末尾，y^复制当前行开始到光标位置；
*p粘贴 *次； *dd删除*行；u撤销之前操作。
shift+$移动到当前行末，shift+^移动到当前行首
L 可以直接跳到当前页末，G跳转到全文末尾。
:set nu显式行号，:set nonu 关闭行号
:wq! 可以将只读文件强制修改保存。

网络配置和系统管理

配置网络命令 vim /etc/sysconfig/network-scripts/ifcfg-ens33
IPADDR=
GATEWAY=
DNS1=
重启网络命令 service network restart
配置主机名 vim /etc/hostname 需要重启生效；
直接生效：hostnamectl set-hostname ***
配置集群间的通讯录 vim /etc/hosts 在文件后添加主机和节点的ip和主机名映射关系。
远程登录：ssh 用户名@主机地址
配置windows 下主机名文件 C:\Windows\System32\drivers\etc
服务管理： systemctl start | stop | restart | status 服务名。
查看服务名：/usr/lib/systemd/system
运行级别
Linux对数据是预读和延迟写入。命令sync可以把内存数据同步到硬盘中。

常用文件命令

man获取帮助信息，help获取shell内置命令的帮助信息
pwd 获取当前工作目录的绝对路径
ls -l = ll 获取文件列表
mkdir -p 当父目录不存在的时候，可以创建父目录。
rm -rf * 可以删除整个文件夹，不会有提示
touch * 创建文件
cp * * 把一个文件复制到另一个文件夹，如果都是目标路径是文件则可以覆盖目标路径的文件（\cp * * 不会提示是否覆盖）

rm -rf /* 千万别试

mv 移动文件，可以重命名
cat 查看文件内容 more 内置文件查看器，可以翻页等操作，b向前 f 向后
echo * 可以输出文件； echo * > 文件将覆盖文件；echo * >> 将追加到文件。
head -n * 文件名：可以看文件的前n行，tail可以看文件后n行；tail -f 查看文件实时更新
ln -s 文件名软连接命：创建软连接（win下的快捷方式）

用户管理命令

useradd * 添加用户，在home文件夹下；useradd -d /home/dave david 这个可以为新用户重命名，实际文件夹是dave；userdel * 删除该用户。adduser -g 组名用户命：添加一个新用户到指定组。
passwd 新用户名：设置密码
id 用户名：可以查看用户是否存在；su 用户名：可以切换用户
修改/etc/sudoers文件，添加用户可以被赋予超级管理员权限。sudo 可以获取临时超级管理员权限（前提是该用户在sudoers文件中）
groupadd 添加用户组；usermod -g 组名用户名：修改用户的组；groupmod -n 新组名旧组名，修改组名。
如果有某个文件w权限仅代表可以修改，删除该文件需要有该文件所在的目录的w权限。
权限设置例如：chmod u=rw;chmod g-r 文件名或目录;
方式二：r=4,w=2,x=1; rwx = 4+2+1=7 rx = 4+1=5;命令：chmod mode=421 文件名目录；chmod -R 777 文件夹/ ：可以对该文件夹下全部文件赋予权限。
chown -R 属主文件名：改变文件属主；chgrp 所属组文件名：改变文件所属组。
find 搜索范围模式；模式有 -name：指定文件名； -user 属于指定用户的所有文件；-size 按文件大小查找；
locate 可以更加快速查找，执行前先执行updatedb命令更新文件夹目录。
grep 可以查找文件内容，命令 grep -n 查找内容文件名；可以结合管道符 “|” ，顺序多条命令。
压缩解压：
（1）gzip 文件：压缩为.gz文件（只能压缩文件，不保留原来文件）； gunzip 文件.gz 解压文件
（2）zip -r 可以压缩目录；unzip -d 目录 :可以指定解压后文件的存放目录。
（3）tar -选项 **.tar.gz 打包目录，可以同时指定多个文件。选项：-c 打包； -f 指定压缩有文件名； -z 打包同时压缩；-x 解包.tar文件；-C 解压到指定目录。
du -sh 和 df -h 查看磁盘上使用情况和剩余空间。lsblk 可以设备挂载点
mount / umount 挂载和卸载，命令：mount -o rw 设备名目录；配置自动挂载 /etc/fstab文件
ps aux 查看进程；ps -ef 可以看到父进程id PID ；字段名说明：VSZ 虚拟内存；RSS 物理内存； kill 进程号：关闭进程；top 实时查看进程状态
netstat -anp | grep 进程号：查看该进程网络信息；
netstat -nlp | grep 端口号：查看网络端口号占用情况
crontab 定时任务，-e ：编辑任务；进程名：crond；
rpm 软件包管理工具 -qa：查询所有安装软件；-ivh rpm包全名：安装软件；-e 软件名：卸载软件
yum 基于rpm包管理，可以从指定服务器下载安装，安装全部的相关依赖。yum -y ：途中交互全yes。 install 安装；update：更新；remove 删除包；list 显示包信息；clean 清理过期的缓存；diplist 显示所有依赖关系

克隆虚拟机

修改ip 关于network与NetworkManger冲突问题：
开机没有网络，NetworkManger处于启动状态且network处于关闭状态，当前解决办法：关闭NetworkManger并且设置开机不启动，转而使用network，并且设置开机启动。命令如下：
systemctl stop NetworkManager.service
systemctl disable NetworkManager.service
systemctl restart network
systemctl enable network.service
/sbin/chkconfig network on