Mrerlou的博客

top命令是Linux下常用的性能分析工具，能够实时显示系统中各个进程的资源占用状况，类似于Windows的任务管理器。top是一个动态显示过程，即可以通过用户按键来不断刷新当前状态。如果在前台执行该命令，它将独占前台，直到用户终止该程序为止。比较准确的说，top命令提供了实时的对系统处理器的状态监视。它将显示系统中CPU最“敏感”的任务列表。该命令可以按CPU使用、内存使用和执行时间对任务进行排序；而且该命令的很多特性都可以通过交互式命令或者在个人定制文件中进行设定。

在Linux中，可以使用paste命令将多个文件的内容按列合并在一起。paste命令可以将每个文件的一行内容按顺序合并，并用指定的分隔符分隔每个列。以下是paste其中，file1file2等是要合并的文件名，你可以指定多个文件。paste命令会将这些文件按列合并在一起，并输出到标准输出。下面是一些常用的paste-d：指定列之间的分隔符，默认是制表符。-s：串联合并，将每个文件的内容合并成一行，而不是按列合并。–serial：与 -s 等效。

现在有个问题，如果设定了任务每2分钟执行一次，但有可能执行该任务需要花费10分钟，这时系统会再执行任务。导致两个相同的任务在执行。是否存在，如果不存在，则创建，然后执行任务，任务执行完后删除锁文件。这样的确可以保证任务执行其间不会有新任务执行，但这样需要在任务文件中写代码做判断，不方便。可以看到有5个进程在运行,我们则希望执行完上一任务，再执行下一任务，如果上一任务未执行完成，则这次的任务不执行，直到下一周期再判断，如果上一任务执行完成，则可以执行下一任务。被锁定，则结束当前的任务，下一周期再判断。

最近在使用 SUSE 操作系统安装 Apache2，用来当作内网的镜像源。在使用过程中遇到一些问题，这里整理并记录一下。

公司的服务器 SSH 服务默认是 16022 端口，每次登录/跳转到别的机器都需要加 -p 参数，例如感觉很麻烦，决定修改ssh 默认的端口，这样就不用指明端口了。

然后执行 /sbin/sysctl -p 让参数生效。

配合dateext使用，紧跟在下一行出现，定义文件切割后的文件名，必须配合dateext使用。dateext 使用当期日期作为命名格式。

sssd服务是一个守护进程，该进程可以用来访问多种验证服务器，如LDAP，Kerberos等，并提供授权。SSSD是 介于本地用户和数据存储之间的进程，本地客户端首先连接SSSD，再由SSSD联系外部资源提供者(一台远程服务器)(1)避免了本地每个客户端程序对认证服务器大量连接，所有本地程序仅联系SSSD，由SSSD连接认证服务器或SSSD缓存，有效的降低了负载。(2)允许离线授权。SSSD可以缓存远程服务器的用户认证身份，这允许在远程认证服务器宕机是，继续成功授权用户访问必要的资源。

今天在使用curl命令下载文件时，遇到报错，这里整理并记录一下。

最近在安装 服务时，由于初始化步骤有误，导致 服务异常，由于对于 LDAP 服务不是很熟悉，只能卸载后，重新安装，在初始化数据。在卸载/重新安装过程中，遇到了问题，这里整理并记录一下。这里记录一下卸载步骤。2. 卸载3. 删除残留文件4. 删除ldap用户5. 删除openldap目录二、重新安装1. 安装2. 复制配置文件3. 启动4. 报错由于重装时， 此文件夹不会再下载，由此会引起OpenLDAP重装后服务无法启动。2. 重新创建证书certs里面的证书3.

前言解压 .tar 格式的压缩文件报错。报错信息[root@dx-hadoop41 ~]# tar -zxvf presto.tar gzip: stdin: not in gzip formattar: Child returned status 1tar: Error is not recoverable: exiting now解决方法tar -xvf presto.tar

前言在使用ansible 配合awk 命名时报错。原命令：ansible presto -m shell -a "ps -ef|grep -i presto |grep -v grep|awk '{print $2}' |xargs jstack |grep JNI"提取presto进程pid回失败，原因是ansible 设别awk的$ 符号有问题解决方案：将 $ 符号进行转义ansible presto -m shell -a "ps -ef|grep -i presto |grep -v

问题描述命令行创建 RAID 失败，提示错误信息：Adapter 0:Configure Adapter FailedFW error description:The current operation is not alloued because the controller has data in cache for offline or nissing virtual disks.Exit Code:0x54问题影响无法创建 RAID ，无法对磁盘进行后续的操作。问题原因控制器

前言今天发现有台服务swap分区数据显示异常，使用free -g 命令查看内存使用情况，swap 的 used 远远超过 swap total 的值, free 的值也大于 total, 如下所示:[root@dx-selk00 ~]# free -g total used free shared buffers cachedMem: 125 125 0 0

前言一般直接用tar命令打包很简单，直接使用 tar -zcvf test.tar.gz test 即可。但是在很多情况下，我们要对某一个目录打包，而这个目录下有几十个子目录和子文件，我们需要在打包的时候排除其中1、2个目录或文件。这时候我们在用tar命令打包的时候，增加参数 --exclude 就能达到目的。实践如我们打包presto服务，我们需要去掉logs目录tar -zcvf presto.tar.gz --exclude=presto/logs presto如果要排除多个目录，增加

前言在linux中利用nfs挂载硬盘时发现提示wrong fs type, bad option, bad superblock错误了，在网上搜索了一下说是没有安装 mount.nfs了，我们只要安装mount.nfs就不会有wrong fs type, bad option, bad superblock错误提示了哦。今天碰到一个nfs挂载错误的问题，错误提示如下：一、报错内容：mount: wrong fs type, bad option, bad superblock on 125.64.4

首先在 Linux 系统中打开终端，确认 U 盘路径：sudo fdisk -l格式化 U 盘，为了格式化首先需要 umount U 盘：/dev/sdb 是我的 U 盘设备。sudo umount /dev/sdb*格式化 U 盘：sudo mkfs.vfat /dev/sdb -I使用 dd 命令，格式如下：sudo dd if=xxx.iso of=U盘路径完整示例：sudo dd if=~/images/ubuntu.iso of=/dev/sdb向 sdb 磁盘写入

前言:presto服务挂掉，在重启presto 过程中，发现有报 open file 限制的警告，于是没考虑太多，直接去修改/etc/security/limits.conf修改前* soft nofile 65536* hard nofile 65536修改后* soft nofile 6553600* hard nofile 6553600保存退出，然后过了一段时间，发现节点无法登

环境信息：dx-hadoop57.dx：cpu：40c操作系统：ceontos6.7部署服务：DataNode、NodeManager、Impala服务。一、前言：之前发生过某台节点网卡报错，影响结果 presto任务失败、HDFS读取变慢、Yarn任务执行变慢。于是后续对net.if.total.errors这个指标统一加上了监控，过了一段时间后，在别的节点也收到了类似的报警。于是想到还是之前的错误，于是让OP同学帮忙重新切换了网卡，切换网卡后一段时间确实没有收到告警了。但是过段时间

前言磁盘损坏，厂商进场更换磁盘，更换完磁盘之后，系统中无法显示磁盘，针对此情况需重新做raid0,遇到报错，这里整理并记录一下。准备查看raid信息# 查看目标磁盘的device id和slot number/opt/MegaRAID/MegaCli/MegaCli64 -PDList -aALL 根据上面的信息，使用如下命令对目标磁盘从新做raid0制作raid命令/opt/MegaRAID/MegaCli/MegaCli64 -CfgLdAdd -r0 [32:8] WB

前言最近要实现使用脚本统计 Presto进程打开的文件描述符并向open-falcon推送数据。但是在实现中，遇到了问题。记录并整理一下。准备编写采集数据脚本具体的流程是：找到presto服务的PID使用lsof 查看presto服务打开的文件数统计数据然后推送到open-falcon上脚本详情如下：#!/bin/bash# 采集presto 服务打开的文件描述符推送到falcon中pid=`ps -ef|grep -i presto-server |grep -v gre

前言今天有个需求，在启动es时，需要先切换成es用户，然后在执行启动es命令。比较麻烦，打算做成脚本，实现切换用户并执行命令操作。系统:centos 6.9代码su - test -c "pwd"切换用户只执行一条命令的可以用: su - oracle -c command切换用户执行一个shell文件可以用:su - oracle -s /bin/bash shell.sh参考https://www.jb51.net/article/59255.htm...

前言rmtrash 是linux和mac下命令行版本rm的回收站，安装后对用户透明，符合正常使用rm的习惯(支持rm -fr file哦)，有了他再也不怕rm时候手颤抖了(能自动拒绝 rm -fr /哦)。安装wget --no-check-certificate https://raw.githubusercontent.com/LaiJingli/rmtrash/master/rmtrash.shmv rmtrash.sh /bin/ #移动到path目录下chmod +x /bi

正常情况下， /etc/security/limits.conf 的改动，重新登录就可以生效, 我遇到的问题最后的解决方案是重启虚拟机解决了，也参考了很多网上的文章，整理记录一下。一、修改方法1.临时方法为了优化linux性能，可能需要修改这个最大值。临时修改的话ulimit -n 204800就可以了，重启后失效。2.永久生效方法(1)、修改/etc/security/limits.conf文件 在文件末尾添加如下内容，然后重启服务器或重新登录即可生效。重启后用查看命令进行查看，如果显示数字.

报错# docker-compose version-bash: /usr/local/bin/docker-compose: Permission denied解决方案chmod +x /usr/local/bin/docker-compose

Linux 正常安装 rpm 的命令是：rpm -ivh xxx.rpm重复安装时需加属性：软件包重复安装将会失败，若仍需要安装必须加--replacepkgs 属性 软件包的某个文件已在安装其他软件包时安装过，则安装将会失败，若仍需要安装必须加 --replacefiles 属性解决依赖问题：加上 --nodeps 属性，不考虑依赖关系强制安装：加上...

背景需要使用ssh 远程别的服务器然后执行脚本，整理了遇到的错误。脚本内容#!/bin/bashfor ip in `cat /root/ip| awk '{print $1}'`do `ssh root@${ip} '/bin/bash test.sh'`done报错日志ssh.sh: line 4: hello: command not foundssh.sh: line 4: hello: command not foundssh.sh: line 4: hello:

解决方法:修改 /etc/ssh/sshd_config文件UseDNSvim /etc/ssh/sshd_configUseDNS noGSSAPIAuthenticationvim /etc/ssh/sshd_config// 默认参数为no，默认是yesGSSAPIAuthentication no重新启动ssh服务service sshd restart

安装sudo apt-get install clustershell配置组添加组文件touch /etc/clustershell/group配置文件内容hadoop: ubuntuServer[1-5]slaves: ubuntuServer[2-5]test: ubuntuServer5执行命令clush -g hadoop echo $JAVA_HOME分发文件clush -g hadoop --copy /etc/krb5.conf /etc/ --dest.

安装sudo apt install apache2 配置文件vim /etc/apache2/apache2.confvim /etc/apache2/sites-enabled/000-default.conf把默认的80 改成自己需要的端口 我的改成了8000。修改指定服务器主目录（静态web容器）vim /etc/apache2/sites-enabled/000-default.conf 把里面的DocumentRoot 后面的路径改成指定自己的目录 我的是 /usr/sh

toptop -H -p pid按 shift + p 以cpu来排序按 shift + m 以memory来排序将10进制线程pid转为16进制printf "%x\n" pidjstackjstack Pid(进程id) |grep -A 50 id（线程id）

问题现象当启动 apache 时，出现一下异常：AH00543: httpd: bad user name apache解决方法 groupadd apache #或 useradd -g apche apache然后又报错：useradd: cannot open /etc/passwd解决方案用lsattr命令查看/etc/passwd的隐藏权限lsattr /etc/passwd查看结果# lsattr /etc/passwd-----a----------

安装下载安装包presto官网：https://prestodb.io/presto-server下载连接：https://repo1.maven.org/maven2/com/facebook/presto/presto-server/0.248/presto-server-0.248.tar.gzpresto-cli客户端下载连接：https://repo1.maven.org/maven2/com/facebook/presto/presto-cli/0.248/presto-cli-0.2

shell expect一个自动化交互的软件，常用场景：在回车后需要输出一些内容批量传输文件，批量远程命令执行，修改密码，安装软件一、安装 expect程序yum -y install expect二、expect 变量1、赋值变量set 变量名 变量值set ip 192.168.10.3$ip 引用赋值变量2、位置变量[lindex $argv 0] 第1位参数[lindex $argv 1] 第2位参数执行时 必须指定两个参数3、特别注意:expect的脚本，必

linux常用命令常用软件安装1. rz，szyum install lrzsz2. ifconfig# 1. 先搜索ifconfigyum search ifconfig# 2. 具体执行安装yum install net-tools.x86_643. ncyum -y install nc常用命令设置主机名hostnamectl set-hostname [主机名]创建用户useradd -m test4(用户)进程查看进程ps -ef | grep pr

环境信息测试环境版本操作系统centos6.9问题现象Linux命令行输入命令执行后报“bash:vi:command not found”问题原因这是由于系统PATH设置错误，PATH没有设置对，系统就无法找到精确命令了。解决方案命令在当前bash可用在命令行中输入：export PATH=/usr/bin:/usr/sbin:/bin:/sbin:/usr/X11R6/bin永久生效在命令行中输入 vi /etc/profile 查看是否自己另外设置了

问题：Ubuntu系统执行shell脚本时报错报错内容linux-source：not foundnot found [[[问题原因：在Ubuntu 当中 执行脚本默认的使用的是dash，而非bash，执行能力较弱案例：例如1.sh#!/bin/shsource /etc/profile 输出：source: not found2.sh#!/bi...

Linux设置服务开机自动启动的方式有好多种，这里分别介绍一下centos操作系统开机脚本自启动和ubuntu操作系统脚本开机自启动的方式.操作系统:Centos这里通过chkconfig命令添加脚本为开机自动启动的方法。1.编写脚本start-zookeeper.sh(这里以开机启动zookeeper服务为例)，脚本内容如下：#!/bin/sh#chkconfig: 23...

前言在linux系统中，所有东西都可以看成是文件，文件又可以分为普通文件，目录文件，链接文件和设备文件。文件描述符是内核为了高效管理已被打开的文件所创建的索引，是一个非负整数用于指代被打开的文件，所有执行I/O操作的系统调用都是通过文件描述符。程序刚刚启动的时候，0是标准输入，1是标准输出，2是错误输出，如果此时打开一个新的文件，他的文件描述是3。在运行如es程序时，打开的文件太多就会提示...

前言今天开始shell的学习，shell是核心程序Kernel之外的命令解析器，是一个程序，也是一种命令语言和程序设计语言。作为一种命令语言，可以交互式解析用户输入的命令。比如输入ls命令后，shell会解析ls这个字符并向内核发出请求，内核执行这个命令之后把结果告诉shell，shell会把结果输出到屏幕。linux 默认的shell是bash。shell脚本基本元素获取shell 脚...