linux
寻找手艺人
做好每一件小事,就是一件了不起的大事
展开
-
检查依赖数据到达后定时触发任务
#!/bin/bashHOST_NAME='xxxxxxxx'PORT=3306USER_NAME=rootPASSWORD='xxxxx'DBNAME='edg'# 任务队列变量数组export declare -a task_queus=()#===========================校验YARN任务队列中是否存在正在运行或就绪的任务========================================function IsExistsYarnTask(){原创 2021-02-19 19:57:34 · 143 阅读 · 0 评论 -
shell 定时监控并处理脚本
1. 问题描述yarn 中mapreduce任务一直在NEW_SAVING状态hold不动,导致后续任务不能正常秩序。2.脚本内容现写如下脚本,达到定时监控并处理oo.sh#!/bin/bashif [[ ! -s /usr/local/job_env/shell/NEW_SAVING.txt ]]; then echo -e `yarn application -list -appStates NEW_SAVING |grep application_ |grep -v yarn-ats原创 2020-12-18 16:52:11 · 365 阅读 · 1 评论 -
centos7.8 安装tcpdump抓包工具并使用
1. 离线安装下载安装包 https://pkgs.org/search/?q=libpcap#安装包libpcap-1.5.3-12.el7.x86_64.rpmlibpcap-devel-1.5.3-12.el7.x86_64.rpmtcpdump-4.9.2-4.el7_7.1.x86_64.rpm#顺序安装rpm -ivh libpcap-1.5.3-12.el7.x86_64.rpmrpm -ivh libpcap-devel-1.5.3-12.el7.x86_64.rpmrp原创 2020-08-28 13:13:18 · 3018 阅读 · 0 评论 -
linux中umask案例方式详细说透
1.什么是umaskumask的定义:umask 是指使用者在创建文件或目录时的权限默认值2.为什么要存在umask当我们登录系统之后创建一个文件是会有一个默认权限的,那么这个权限是怎么来的呢?这就是umask干的事情。umask用于设置用户创建文件或者目录的默认权限,umask设置的是权限的“补码”,而我们常用chmod设置的是文件权限码。一般在/etc/profile,HOME/.bashprofile或者HOME/.profile中设置umask值。读完后,还是不知道umask是什么鬼~~~原创 2020-08-11 17:08:43 · 659 阅读 · 0 评论 -
linux 解压修改jar包内容并重新打包jar
1.帮助文档[root@node1 java]# jarUsage: jar {ctxui}[vfmn0PMe] [jar-file] [manifest-file] [entry-point] [-C dir] files ...Options: -c create new archive -t list table of contents for archive -x extract named (or all) files from archive -u原创 2020-08-11 14:27:23 · 2546 阅读 · 0 评论 -
centos 7防火墙firewalld.service
centos7中使用systemctl工具来管理服务程序(包括了service和chkconfig)关闭firewall:systemctl stop firewalld.service #停止firewallsystemctl disable firewalld.service #禁止firewall开机启动firewall-cmd --state #查看默认防火墙状态(关闭后显示notrunning,开启后显示running)#启动一个服务:systemctl start firewall原创 2020-06-18 11:05:30 · 963 阅读 · 0 评论 -
Linux对打开文件数量的限制
在高并发量多线程开发运维的时候我们常常会遇到类似“Socket/File: Can’t open so many files”,“无法打开更多进程”,或是coredump过大等问题,这些都可以设置资源限制来解决句柄数限制类别:系统总限制单进程限制。使用命令 ulimit -n 可以看到系统对于单个进程的限制,即open files。执行命令 ulimit -a 如下:[root@no...原创 2019-04-28 15:58:25 · 1133 阅读 · 0 评论 -
linux硬链接与软链接
linux硬链接与软链接(看懂了才是自己的)Linux 系统中有软链接和硬链接两种特殊的“文件”。软链接可以看作是Windows中的快捷方式,可以让你快速链接到目标档案或目录。硬链接则透过文件系统的inode来产生新档名,而不是产生新档案。创建方法都很简单:#软链接(符号链接) ln -s source target #硬链接 (实体链接)ln source t...转载 2019-04-18 16:06:25 · 127 阅读 · 0 评论 -
shell实现查询数据库发送邮件报警
功能描述查询数据库表中记录数,看是否有昨日增量数据,没有说明任务计算失败,则发送邮件进行通知~完整脚本文件sendmaildb.sh#!/bin/bash#参数个数校验if [ $# -lt 1 ]then echo "参数错误~ 参数:输入执行日期YYYYMMDD"; exit;fi#创建日志文件LOG_FILE_NAME="/op...原创 2019-04-17 15:35:58 · 810 阅读 · 0 评论 -
Linux下批量Kill多个进程
今天发现系统内存占用很严重,系统126g内存,显示只空闲1gfree -g使用top指令查看,发现进程编号pid为4655的占用内存很严重ps aux|grep 4655发现进程号4655对应的是一个spark进程任务(DataSQC)>>>>>结合实际情况,最可能原因是由于spark任务执行完成后,没有调用stop()函数,导致该内存资源一直被占用着...原创 2019-02-26 11:28:48 · 10343 阅读 · 0 评论 -
linux安装expect
1、前言Expect是在TCL(Tool Command Language 工具脚本语言,是Linux内的一种语言包)基础上创建起来的,它还提供了一些TCL所没有的命令,它可以用来做一些linux下无法做到交互的一些命令操作,在远程管 理方面发挥很大的作用。spawn命令激活一个Unix程序来进行交互式的运行。 send命令向进程发送字符串。expect 命令等待进程的某些字符串。 ex...原创 2019-01-09 10:01:30 · 3002 阅读 · 0 评论 -
linux 删除jar包中指定类型文件并重新打包
1、上传文件jar文件sparkApp.jar2、jar帮助文档3、解压当前jar文件mkdir tmp #创建临时文件夹jar -xvf sparkApp.jar -C ./tmp # 解压到tmp文件夹下4、删除原来的jar包文件rm -rf sparkApp.jar #删除原有jar文件5、删除当前目录下指定的文件DataSQC*如删除目录下DataSQC前缀所有...原创 2019-01-11 09:07:15 · 4891 阅读 · 0 评论 -
Linux 磁盘分区 挂载磁盘 卸载磁盘
场景案例1(1块新磁盘配置一个分区)linux服务器已挂载一块新的数据盘,需要将该盘设为主分区,文件系统设置 为ext4格式,挂载在"/mnt/sdc"目录下,并设置开机启动自动挂载。1、执行以下命令,查看新增数据盘fdisk -l回显类似如下信息,表示当前的云服务器有两块磁盘 /dev/vda是系统盘 /dev/sda 新增数据盘[root@ecs-b656 test]# fdi...原创 2018-12-25 15:45:02 · 1719 阅读 · 1 评论 -
linux 下vim的使用(学习必看!!重要)
vi与vimvi编辑器是所有Unix及Linux系统下标准的编辑器,他就相当于windows系统中的记事本一样,它的强大不逊色于任何最新的文本编辑器。他是我们使用Linux系统不能缺少的工具。由于对Unix及Linux系统的任何版本,vi编辑器是完全相同的,学会它后,您将在Linux的世界里畅行无阻。vim 具有程序编辑的能力,可以以字体颜色辨别语法的正确性,方便程序设计;因为程序简单,编辑...转载 2018-08-08 16:46:56 · 8341 阅读 · 1 评论 -
Linux常用命令大全(非常全!!!)
最近都在和Linux打交道,感觉还不错。我觉得Linux相比windows比较麻烦的就是很多东西都要用命令来控制,当然,这也是很多人喜欢linux的原因,比较短小但却功能强大。我将我了解到的命令列举一下,仅供大家参考:系统信息arch 显示机器的处理器架构(1) uname -m 显示机器的处理器架构(2) uname -r 显示正在使用的内核版本 dmidecode -q...转载 2018-08-08 16:44:32 · 122 阅读 · 0 评论 -
Centos7开放端口
查看开放的端口firewall-cmd --list-ports 开放8086端口firewall-cmd --zone=public --add-port=80/tcp --permanent 命令含义:–zone #作用域–add-port=80/tcp #添加端口,格式为:端口/通讯协议–permanent #永久生效,没有此...转载 2018-06-12 17:02:11 · 146 阅读 · 0 评论