Linux && Shell
从零开始的数据猿
这个作者很懒,什么都没留下…
展开
-
shell 实现目录下文件修改记录监控
文件监控可以配合rsync实现文件自动同步,例如监听某个目录,当文件变化时,使用rsync命令将变化的文件同步。(可用于代码自动发布),安装以后有两个命令可以用inotifywait 和 inotifywatch,inotifywait 是需要使用的命令。inotify 是linux内核的一个特性,在内核 2.6.13 以上都可以使用。使用nohup,其中test.sh为所执行的脚本,out.txt为输出信息的地方。这个脚本的功能是循环监听文件或目录的增删改事件,当事件发生执行设置的脚本文件。转载 2022-11-04 10:25:24 · 586 阅读 · 0 评论 -
执行yum install时,终端一直刷重复的内容
执行yum install时,终端一直刷重复的内容,看起来不像报错,可是又无休止的刷。转载 2022-11-02 15:09:51 · 585 阅读 · 1 评论 -
Vmware虚拟机系统时间同步网络时间并登录用户自动校正时间
今天在虚拟机上测试“find /root/Text -mtime +3 -name “Service.log.*” -exec rm -f {};”,总是不成功,反复看了几遍,也对照网上格式,命令没写错,结果无意中发现系统时间是上次“挂起”的时间。VM虚拟机大家都用,我在用完后,经常使用“挂起客户机”,但是这样一来,系统恢复启动很快,但是少了正常的系统自检,包括和网络同步时间。台警大授时中心(台湾):asia.pool.ntp.org。复旦:ntp.fudan.edu.cn。重新登录用户,提示的更新。转载 2022-10-24 14:04:56 · 1627 阅读 · 0 评论 -
Linux空间不足、HDFS空间不足解决方法
参考https//blog.csdn.net/weixin_38425162/article/details/117570524。2、找到目录/user/root/.sparkStaging占用了大量空间,此目录下存放的是各spark历史任务依赖文件。3、执行hdfsdfs-rm-r/user/root/.sparkStaging/*查询hdfs中各目录的占用的空间,进入占用最多的目录中(一般是日志或临时文件)4、删除的文件会被保存到/user/root/.Trash,清空垃圾桶即可。...原创 2022-07-17 21:27:40 · 1324 阅读 · 0 评论 -
Centos error: cannot remove “core“: snap “core“ is not removable: snap is used by the model
当我在Centos7.6使用snap remove core时报错,error: cannot remove "core": snap "core" is not removable: snap is used by the model 解决办法(1) use 'df' to find the mount point of "/snap/core/*"(2) stop the snap service(3) umount /snap/core/xxxx(4) start snap service原创 2022-04-21 15:44:24 · 1347 阅读 · 0 评论 -
Shell脚本命令结果保存到变量,保留换行符
在shell中,可以直接将命令的运行结果保存到变量中,然后使用echo输出的时候发现没有换行符,后来查资料发现需要加上双引号,才会保留换行符。echo $result 无换行符echo "$result" 有换行符简单的测试脚本 run.sh#!/bin/bash result=$(ls -l) echo $result echo echo "$result"参考:https://blog.csdn.net/qq_34039018/article原创 2022-04-21 12:54:20 · 2616 阅读 · 0 评论 -
CentOS7远程登录(ssh)无法使用别名(alias)的解决方法
alias, 假名,别名,bash的一个内建命令,用来给常用的较长的命令定义个简短的名称。alias命令的基本格式为alias [word[=‘command’]], []内为可选项。定义word为command的别名。若=’command’部分省略,则输出word之前的定义,未定义则报错。单独的alias列出当前环境中所有可用的别名。通常来讲,关于alias,知道这么多就行了。# alias # alias cp# alias cp='cp -i'# \ls 跳过别名执行,如果没有别名执行也转载 2022-04-20 18:11:01 · 895 阅读 · 0 评论 -
Shell变量$#,$@,$0,$1,$2,${},##,%%使用解释以及好用的shell格式化工具
使用解释$# 传递到脚本的参数个数$* 以一个单字符串显示所有向脚本传递的参数。如"$*"用「"」括起来的情况、以"$1 $2 … $n"的形式输出所有参数。$$ 脚本运行的当前进程ID号$! 后台运行的最后一个进程的ID号$@ 与$*相同,但是使用时加引号,并在引号中返回每个参数。如"$@"用「"」括起来的情况、以"$1" "$2" … "$n" 的形式输出所有参数。$- 显示Shell使用的当前选项,与set命令功能相同。$? 显示最后命令的退出状态。0表示没有错误,其他任何值表明有错原创 2022-04-20 13:35:21 · 978 阅读 · 0 评论 -
-bash: /home/lylg/bin/kf.sh: /bin/bash^M: bad interpreter: No such file or directory
分析:这是不同系统编码格式引起的:在windows系统中编辑的.sh文件可能有不可见字符,所以在Linux系统下执行会报以上异常信息。解决:修改文件格式#sh>vi filename利用如下命令查看文件格式:set ff 或 :set fileformat可以看到如下信息fileformat=dos 或 fileformat=unix利用如下命令修改文件格式:set ff=unix 或 :set fileformat=unix:wq (存盘退出)...原创 2022-04-19 17:32:17 · 265 阅读 · 0 评论 -
Connection closing...Socket close. Connection closed by foreign host. Disconnected from remote hos
SSH连接服务器出错Connection closing...Socket close. Connection closed by foreign host. Disconnected from remote host(新建会话) at 12:46:09解决办法:我的是关了梯子之后立刻就能连了,可以试一下关闭梯子或者关闭网络再打开...原创 2022-04-15 12:55:44 · 5378 阅读 · 0 评论 -
Linux下恢复误删的文件
一、安装extundeleteyum -y install epel-release #安装epel第三方源yum -y install extundelete二、开始恢复假设我需要恢复的文件或目录为/opt/module/anaconda31.查看我们主分区挂载的路径:df -lh如图, /dev/vda1是主分区路径2.找到被删除的文件:extundelete /dev/vda1 --inode 2有提示按Y即可。如图我们看到opt目录的编号为 1179651:接下来进入原创 2022-04-14 14:46:31 · 7273 阅读 · 2 评论 -
rsync: chgrp “/opt/module“ failed: Operation not permitted (1)
1,检查传输到服务器端的文件夹的权限2,创建rsyncd.conf配置文件,sudo vim /etc/rsyncd.conffake super = yes #无需rsync以root身份运行,允许接受数据原创 2022-04-14 09:18:24 · 2493 阅读 · 0 评论 -
Windows 对Centos7.6配置免密登录遇到的错误
ssh: connect to host Centos7.6 port 22: Connection refused lost connection解决办法:You can try the VPN or if you have been using it before, try to turn it off and connect it again.SSH免密登录配置成功后不生效authorized_keys不能对组有写权限,具体可参考https://blog.csdn.net/lisongjia1原创 2022-04-13 20:32:17 · 993 阅读 · 0 评论 -
Linux修改已存在的用户名
vim /etc/passwd vim /etc/shadow vim /etc/group mv /home/centos /home/laizili原创 2022-03-23 15:35:12 · 344 阅读 · 0 评论 -
Centos 使用Jupyter notebook设置
生成配置文件:jupyter notebook --generate-config我的配置文件:/home/dxg/.jupyter/jupyter_notebook_config.py配置文件常修改内容如下#修改notebook工作目录c.NotebookApp.notebook_dir = '/opt/module/anaconda-test'#修改外网IPc.NotebookApp.ip = 'hadoop102'...原创 2022-03-13 23:08:14 · 1947 阅读 · 2 评论 -
Centos yum源安装故障:warning: rpmts_HdrFromFdno: Header V3 RSA/SHA256 Signature, key ID f4a80eb5: NOKEY R
报错:解决方法在配置yum仓库时,可以将/etc/yum.repos.dC/entOS-Base.repo文件中的pgcheck=1全部换成pgcheck=0,因为默认是gpgcheck=1的(即:在安装时要检查公钥)。改好后使用 yum clean all刷新一下再次yum install {Your_Package}即可...原创 2022-02-24 14:22:16 · 1501 阅读 · 0 评论 -
解决ubuntu14.04安装mongodb安装失败
root@ubuntu112:/etc/apt/sources.list.d# sudo apt install -y mongodb-org 正在读取软件包列表... 完成 正在分析软件包的依赖关系树 正在读取状态信息... 完成 有一些软件包无法被安装。如果您用的是 unstable 发行版,这也许是 因为系统无法达到您要求的状态造成的。该版本中可能会有一些您需要的软件 包尚未被创建或是它们已被从新到(Incoming)目录移出。 下列信息可能会对解决问题有所帮助: 下列软件包有未满足的依赖关系: mo原创 2021-11-23 16:03:26 · 4830 阅读 · 0 评论 -
Java命令 在Linux下运行jar包
一、如果java定义了jar包的main class入口,则使用如下命令 $ java -jar my.jar二、如果Java没有定义jar的main class入口,则使用如下命令 $ java -cp my.jar com.example.MainClass原创 2022-02-11 10:35:23 · 1510 阅读 · 0 评论 -
Linux sed常用命令
增加增加第一行aaased -i '1i\aaa' filename删除删除第一行sed -i '1d' filename删除第n行sed -i 'nd' filename删除最后一行sed -i '$d' filename删除2到4行,sed '2,4d' filename替换sed -e 's/被替换的值/要替换的值/g's 代表替换 , g代表全部替换,不加g只替换行第一个。...原创 2021-12-21 16:54:26 · 443 阅读 · 0 评论 -
/bin/bash^M: bad interpreter: 没有那个文件或目录
vim filename然后用命令:set ff?可以看到dos或unix的字样. 如果的确是dos格式的。然后用:set ff=unix把它强制为unix格式的, 然后存盘退出。原创 2021-11-11 16:03:46 · 238 阅读 · 0 评论 -
Centos校准时间
sudo ntpdate time.nist.gov执行上面命令后查看时间date原创 2021-11-11 16:01:47 · 1888 阅读 · 0 评论 -
centos 6 yum源不可用安装报YumRepo Error: All mirror URLs are not using ftp, http[s] or file
cat /etc/redhat-release查看版本将下面代码6.5改成自己的版本[base]name=CentOS-6.5 - Base#mirrorlist=http://#mirrorlist.centos.org/?release=6.5&arch=$basearch&repo=osbaseurl=https://archive.kernel.org/centos-vault/6.5/os/$basearch/gpgcheck=1gpgkey=file:///etc/原创 2021-11-11 15:39:02 · 1023 阅读 · 0 评论 -
netstat和lsof查看端口的区别
看端口是否占用一般用两个命令netstat -tunlp|grep 22以ssh为例netstat -tunlp|grep 22 // 查看端口占用netstat -tunlp|grep ssh // 查看进程占用的端口ps -ef|grep ssh|grep -v grep|awk '{print $2}'|xargs kill -9 // 删掉ssh进程修改ssh端口vi /etc/ssh/sshd_config重启ssh服务:service sshd restar原创 2021-10-14 17:23:15 · 332 阅读 · 0 评论 -
xshell连接不上centos
注意几个问题:1:ip是否能ping通2:两边的端口确保未被占用3:关闭防火墙4:VMware编辑,选择虚拟网络编辑器,(管理员)还原默认设置,需要等待。(网上说要选择桥接)5:需要确保/etc/ssh/sshd_config和/etc/pam.d/sshd文件的正确性(网上查找,与对应的openssh版本一致)修改/etc/ssh/sshd_config中的相关配置(root权限下),修改后需要启动ssh服务service sshd restart。6: 设置/etc/ssh/中文件的权限(原创 2021-10-14 16:45:42 · 354 阅读 · 0 评论 -
CentOS 7.6 下安装和卸载 MySQL 5.7.28
从 CentOS 7 系统开始,MariaDB 成为 yum 源中默认的数据库安装包。在 CentOS 7 及以上的系统中使用 yum 安装 MySQL 包将无法使用 MySQL。本文件介绍如何移除mariadb相关,并安装 MySQL 5.7.21 。1、检查 MariaDB 是否安装yum list installed | grep mariadb2、卸载全部 MariaDB 相关yum -y remove mariadb*3、下载 MySQL 的 YUM 源进入到要下载到的路径:cd /u原创 2021-10-10 08:54:17 · 343 阅读 · 0 评论 -
Centos 7 安装python 3.8
Centos 7 编译安装python 3.8文章目录Centos 7 编译安装python 3.8一、下载前准备工作二、下载python 3.8压缩包三、解压缩安装包四、安装前准备工作五、安装python 3.8六、修改 python 2 链接七、修改yum配置文件八、配置python 3软链接九、结果十、后记十一、参考资料一、下载前准备工作Centos 7操作系统上默认安装了python 2.7.5版本,但是python 2即将成为历史,python 3才是未来的主流,转载 2021-10-03 12:27:47 · 868 阅读 · 0 评论 -
Ubuntu 修改ens33网卡名为eth0
sudo nano /etc/default/grub找到GRUB_CMDLINE_LINUX=""改为GRUB_CMDLINE_LINUX=“net.ifnames=0 biosdevname=0”然后sudo grub-mkconfig -o /boot/grub/grub.cfg参考:https://blog.csdn.net/lzandwss/article/details/79471752原创 2021-09-27 17:07:02 · 907 阅读 · 0 评论 -
Ubuntu Vi方向键[A [B [C [D问题解决
在ubuntu下, vi 在编辑模式下使用方向键时没有移动光标,而是在出现 [A [B [C [D 之类的字母乱码。编辑错误的话,就连退格键(Backspace键)都使用不了,只能用Delete来删除。方法一:编辑/etc/vim/vimrc.tiny文件root权限下打开 /etc/vim/vimrc.tiny 文件,将“compatible”改成“nocompatible”非兼容模式:set nocompatible就可以解决方向键变ABCD的问题了。接下来要解决Backspace键的问题也很简原创 2021-09-27 17:05:03 · 8043 阅读 · 0 评论 -
protocol version mismatch -- is your shell clean? (see the rsync man page for an explan)
/etc/profileprotocol version mismatch -- is your shell clean?(see the rsync man page for an explanation)rsync error: protocol incompatibility (code 2) at compat.c(178) [sender=3.1.2]经过排查,发现是因为我在/etc/profile里面添加了echo “ddd”这是由于 shell 的登录内容在非交互式 shell原创 2021-09-23 17:56:33 · 1503 阅读 · 0 评论 -
解决Ncat: Connection refused.的问题
https://www.jianshu.com/p/781341c47676原创 2021-09-23 14:53:24 · 2560 阅读 · 0 评论 -
错误:no acceptable C compiler found in $PATH
解决办法:安装GCC软件套件sudo yum install gcc原创 2021-09-23 14:52:25 · 939 阅读 · 0 评论 -
比vim更好用的Linux编辑器
gedit例子:sudo gedit 1.txt原创 2021-08-29 12:44:41 · 699 阅读 · 0 评论 -
Ubuntu14.04连接Xshell(从0到1)
准备VMare 刚刚装好ubuntu,进入ubuntu,ctrl +alt +t进入终端如果没有root,开启root sudo passwd root用root身份登录,修改 vi /etc/ssh/sshd_config,把其中的permitRootLogin 修改成:PermitRootLogin yes查看ip地址命令ifconfig如果报错未安装net-tools,使用命令apt install net-tools如果上步报错:解决办法查看apt进程:ps -e原创 2021-08-29 11:19:51 · 787 阅读 · 1 评论 -
Ubuntu下设置root用户密码
$sudo passwd root然后修改密码即可原创 2021-08-29 09:44:12 · 270 阅读 · 0 评论 -
Ubuntu网卡启动错误 stop: Job failed while stopping start: Job is already running: networking
root@ubuntu102:/etc/network# root@ubuntu102:/etc/network# sudo /etc/init.d/networking restartstop: Job failed while stoppingstart: Job is already running: networkingroot@ubuntu102:/etc/network# sudo NetworkManager restartNetworkManager (pid 782)root原创 2021-08-29 09:43:30 · 1623 阅读 · 0 评论 -
WSL重启方法
//WSL-Ubuntu18.04 LTS 重启方法//以管理员权限运行cmd>>net stop LxssManager //停止>>net start LxssManager //启动参考:https://blog.csdn.net/weixin_45019478/article/details/106259309原创 2021-08-27 22:49:44 · 5845 阅读 · 0 评论 -
Linux在切换为root用户后突然变成-bash-4.1#的办法
原因:是因为删除了root下的文件所导致的方法:cp /etc/skel/.bash* /root/ 【把etc/skel/.bash开头的文件复制值到root目录下即可】重新切换用户,就可以修改过来了更改主机名:hostnamectl set-hostname [YOUR NEW HOSTNAME]...原创 2021-08-27 07:50:43 · 1161 阅读 · 0 评论 -
systemctl 在服务重启时保持超时
$ systemctl stop firewalldError getting authority: Error initializing authority: Error calling StartServiceByName for org.freedesktop.PolicyKit1: Timeout was reached (g-io-error-quark, 24) Failed to stop firewalld.service: Connection timed out Failed to原创 2021-08-24 15:40:04 · 2430 阅读 · 0 评论 -
/usr/bin/id: cannot find name for user ID xxxx
[root@iz2ze9s7mvgy53tuv5bz ~]#su atgu/usr/bin/id: cannot find name for user ID 1005[I have no name!@iz2ze9s7m3tu3vev5bz root]$^C原因是/etc/passwd权限不能读,同理,/etc/group也可能存在这个问题解决方案添加读权限chmod +r /etc/passwdchmod +r /etc/group...原创 2021-08-24 13:15:42 · 1256 阅读 · 0 评论 -
linux编辑文本(vim)时跳转到最后一行和第一行及相关指令
vi操作1.跳到文本的最后一行:按“G”,即“shift+g”2.跳到最后一行的最后一个字符 : 先重复1的操作即按“G”,之后按“$”键,即“shift+4”。3.跳到第一行的第一个字符:先按两次“g”,4.跳转到当前行的第一个字符:在当前行按“0”。5.vi加密。进入vi,输入":" + “X” 之后就提示你输入两次密码。6.文件重新载入 :e!7.单行复制 将光标移到复制行 按 'yy’进行复制8.多行复制 将光标移到复制首行 按 'nyy’进行复制 n=1.2.3.4。。。。。原创 2021-08-11 19:59:54 · 3715 阅读 · 1 评论