大数据运维之linux日常
人蠢多读书
这个作者很懒,什么都没留下…
展开
-
linux下复制软连接指向的文件
参考:https://www.cnblogs.com/macrored/p/11753862.html1.指令: cp -rL /opt/cloudera/parcels/CDH/lib/hbase /home/hadoop/2.测试cd /opt/cloudera/parcels/CDH/lib/hbase && ll发现大量软连接文件若直接cp ...原创 2019-12-11 17:21:30 · 7791 阅读 · 0 评论 -
fio命令不要在系统盘下执行
fio 命令入门到跑路(千万不能在系统所在的分区测试硬盘性能)xitaotao关注6人评论10009人阅读2018-11-20 10:32:29fio是一种I / O工具,用于基准测试和压力/硬件验证。它支持19种不同类型的I / O引擎(sync,mmap,libaio,posixaio,SG v3,splice,null,network,syslet,guasi,...转载 2019-11-29 10:42:07 · 2182 阅读 · 0 评论 -
Linux sar 查看网卡流量 网络io
1 常用指令sar -n DEV 1 5每秒钟查看1次,共查看5次#sar -n DEVIFACE 表示设备名称rxpck/s 每秒接收的包的数量txpck/s 每秒发出的包的数量rxKB/s每秒接收的数据量,单位KByte 1KB=1000byte=8000bittxKB/s每秒发出的数据量,单位KByte若服务器丢包非常严重,需要查看网卡流量是否异常。接...转载 2019-11-07 14:42:49 · 673 阅读 · 0 评论 -
多台机器实现ssh免密配置
1. 各节点用户执行(相同用户,直接ssh ip验证,否者user@ip)ssh-keygen -t rsa //生成密钥,类型是rsa2.在第一台机器执行cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keyschmod 640 ~/.ssh/authorized_keys3.把authorized_keys...原创 2017-10-11 15:17:09 · 696 阅读 · 0 评论 -
CentOS7的/tmp目录自动清理规则
转载来自:https://blog.csdn.net/leonnew/article/details/79258453?tdsourcetag=s_pcqq_aiomsgCentOS6以下系统(含)使用watchtmp + cron来实现定时清理临时文件的效果,这点在CentOS7发生了变化,在CentOS7下,系统使用systemd管理易变与临时文件,与之相关的系统服务有3个:...转载 2019-05-27 09:20:37 · 1260 阅读 · 0 评论 -
ssh 编译升级选项
转载来自:集成-祝玉伟./configure --prefix=/usr \--sysconfdir=/etc/ssh \--with-pam \--with-zlib \--with-md5-passwords \--with-kerberos5=/usr/lib64/libkrb5.so \--with-ssl-dir=/usr/local/openssl \--with...转载 2019-04-18 11:17:28 · 1546 阅读 · 0 评论 -
网络优化
转载来自:开老板net.ipv4.tcp_max_syn_backlog = 8192net.ipv4.tcp_keepalive_probes = 2net.ipv4.tcp_keepalive_intvl = 2net.ipv4.tcp_keepalive_time = 1200net.ipv4.tcp_syncookies = 1 net.ipv4.tcp_tw_reuse ...转载 2019-04-22 17:25:34 · 296 阅读 · 1 评论 -
FIO 测试磁盘读写
转载来自:https://www.cnblogs.com/lpfuture/p/6054882.html纯姐测试如下:随机混合读写(一般线上测试)fio -filename=/dev/sdb1 -direct=1 -iodepth 1 -thread -rw=randrw -rwmixread=70 -ioengine=psync -bs=16k -size=200G -numjob...转载 2019-04-08 14:02:26 · 15790 阅读 · 0 评论 -
linux监控打开文件数
在Linux平台上,无论编写客户端程序还是服务端程序,在进行高并发TCP连接处理时,最高的并发数量都要受到系统对用户单一进程同时可打开文件数量的限制(这是因为系统为每个TCP连接都要创建一个socket句柄,每个socket句柄同时也是一个文件句柄)。查看当前系统打开的文件数量lsof | wc -lwatch "lsof | wc -l"查看某一进程的打开文件数量lsof ...转载 2019-08-01 11:48:15 · 1540 阅读 · 0 评论 -
xfs文件系统操作实践
XFS不仅仅是文件系统,它也提供一系列的工具来控制其工作状态、参数等,本文就其使用过程中的经验做一总结,希望能有些帮助。有多个相关的管理工具:xfs_admin、xfs_check、xfs_db、xfs_freeze、xfs_growfs、xfs_io、xfs_mdrestore、xfs_mkfile、xfs_quota、xfs_rtcp、xfs_bmap、xfs_copy、xfs_estimat...转载 2019-09-20 14:27:23 · 5692 阅读 · 0 评论 -
df和du显示的磁盘空间使用情况不一致的原因及处理
转载来自:https://www.cnblogs.com/heyonggang/p/3644736.html在Linux下查看磁盘空间使用情况,最常使用的就是du和df了。然而两者还是有很大区别的,有时候其输出结果甚至非常悬殊。1. 如何记忆这两个命令du-Disk Usagedf-Disk Free2. df 和du 的工作原理2.1 du的工作原理du命令会对待统计...转载 2018-10-26 14:52:44 · 353 阅读 · 0 评论 -
通过『iostat -dx 1』命令监控IO性能
转载来自:https://blog.csdn.net/jackyrongvip/article/details/9218049http://huoding.com/2011/07/13/91 网站的很多性能问题最终都会归结到IO头上,所以说理解iostat命令是非常有必要的。 小技巧:你知道iostat是从哪里得到IO相关信息的吗?使用strace命令能跟踪到答案: shell>...转载 2018-10-23 14:33:27 · 1705 阅读 · 0 评论 -
linux rpm包网址
公司内部人士提供http://rpm.pbone.net/ http://pkgs.org/ 这俩网站联合使用,基本能找到linux需要的大部分的rpm的安装包原创 2018-07-26 17:20:06 · 923 阅读 · 0 评论 -
yum源问题汇总
转载来自:http://www.qianshoublog.com/post/10651.html Error Downloading Packages:yum编译执行命令如下:yum install ntpdate wget autoconf automakelibtool gcc-c++ zlib-devel libjpeg-devel sqlite-devel libcurl-devel pc...转载 2018-03-29 15:24:42 · 564 阅读 · 0 评论 -
逻辑卷根目录扩容
转载来自:http://www.bubuko.com/infodetail-1682563.htmlEsxi上Linux虚拟机硬盘(LVM)扩容文档标签:esxi; linux; 硬盘扩容前言本文档主要是介绍如何在ESXi上扩容安装了Linux系统的虚拟机操作环境操作系统:Esxi 6.0.0虚拟机操作系统:Linux version 3.10.0-327.3.1.el7.x86_64 (buil...转载 2018-03-06 10:55:34 · 1501 阅读 · 0 评论 -
Linux cpu区别
(一)概念① 物理CPU实际Server中插槽上的CPU个数物理cpu数量,可以数不重复的 physical id 有几个② 逻辑CPU /proc/cpuinfo 用来存储cpu硬件信息的信息内容分别列出了processor 0 –processor n 的规格。这里需要注意,n是逻辑cpu数一般情况,我们认为一颗cpu可以有多核,加上intel的超线程技术(HT), 可以在逻辑上再分一倍数量...转载 2018-03-22 16:16:57 · 259 阅读 · 0 评论 -
umask详解
umask使用方法 A 什么是umask? 当我们登录系统之后创建一个文件总是有一个默认权限的,那么这个权限是怎么来的呢?这就是umask干的事情。umask设置了用户创建文件的默认 权限,它与chmod的效果刚好相反,umask设置的是权限“补码”,而chmod设置的是文件权限码。一般在/etc/profile、$ [HOME]/.bash_profile或$[HO转载 2017-12-11 09:38:04 · 391 阅读 · 0 评论 -
find: ‘/run/user/1000/gvfs’: Permission denied解决办法
转载来自:http://blog.csdn.net/codemacket/article/details/77864770linux使用命令 find / -name *** 查找文件的时候会遇到以下报错find: ‘/run/user/1000/gvfs’: Permission denied 明明用的是root用户,为什么权限不足呢?官方说转载 2017-10-20 10:51:48 · 3596 阅读 · 0 评论 -
Linux中让进程(或正在运行的程序)到后台运行
转载来自:http://www.cnblogs.com/york-hust/archive/2012/05/30/2525842.htmlLinux中如何让进程(或正在运行的程序)到后台运行?[zz]我们经常会碰到这样的问题,用 telnet/ssh 登录了远程的 Linux 服务器,运行了一些耗时较长的任务, 结果却由于网络的不稳定导致任务中途失败。如何让命令提交后不受本转载 2017-10-19 16:25:09 · 2636 阅读 · 1 评论 -
使用RAID与LVM磁盘阵列技术
转载来自:http://www.linuxprobe.com/chapter-07.html(有些地方稍作修改了,因为照他的没实现)转载 2017-09-11 17:20:30 · 697 阅读 · 0 评论 -
存储结构和磁盘划分(基于RedHat7)
转载来自:http://www.linuxprobe.com/chapter-06.html(良心之作)章节简述:Linux系统中颇具特色的文件存储结构常常搞的新手头晕,本章节将从Linux系统中的文件存储结构引入,讲述FHS文件系统标准协定、Udev硬件命名规则以及硬盘分区的规划方法。为了使得同学们更好的理解文件系统的作用,章节中刘遄老师将细致的分析Linux系统中最转载 2017-09-11 10:43:39 · 1028 阅读 · 0 评论 -
Iptables与Firewalld防火墙
转载来自:http://www.linuxprobe.com/chapter-08.html章节简述:保证数据的安全性是继可用性之后最为重要的一项工作,防火墙技术作为公网与内网之间的保护屏障,起着至关重要的作用。面对同学们普遍不了解在红帽RHEL7系统中新旧两款防火墙的差异,刘遄老师决定先带领读者正确的认识在红帽RHEL7系统中firewalld防火墙服务与iptables防火转载 2017-09-13 10:28:48 · 7519 阅读 · 1 评论 -
centos7service命令不可用
转载来自:http://blog.csdn.net/u014175572/article/details/53375049?utm_source=itdadao&utm_medium=referral错误提示:bash: service: command not found...centos系统中,如果/sbin目录下没有service这个命令,就会出现-bash:转载 2017-09-13 15:22:30 · 3895 阅读 · 0 评论 -
linux高级命令
1. cp复制文件到多个目录echo dir1 dir2 ... dirN | xargs -n 1 cp -v dir(要复制的文件的路径)上面的命令中,目录的路径(dir1、dir2、dir3...dirN)被管道作为输入到 xargs 命令中,含义是:.-n 1 - 告诉 xargs 命令每个命令行最多使用一个参数,并发送到 cp 命令中。.cp – 用于复制文件。.-...转载 2017-10-24 16:25:30 · 360 阅读 · 0 评论 -
nmon安装及定时脚本编写
转载来自:https://blog.csdn.net/magerguo/article/details/64905886CentOS6 下脚本监控nmon1.下载nmon:http://nmon.sourceforge.net/pmwiki.php?n=Site.Downloadnmonanalyser http://www.ibm.com/developerworks/wikis...转载 2018-11-08 16:01:55 · 1213 阅读 · 0 评论 -
linux 查看是否开启了超线程
linux查看是否开启超线程原文http://blog.csdn.net/odailidong/article/details/79283523我们知道intel的cpu拥有超线程技术,可以为一个逻辑核心开启两个处理线程。通过查看物理CPU数,每个CPU的逻辑核数,CPU线程数可以得知是否开启了超线程。物理CPU数[root@localhost daxian...转载 2019-04-01 17:18:17 · 2391 阅读 · 0 评论 -
linux 锁用户
转载来自:http://www.runoob.com/linux/linux-comm-usermod.html1 指令usermod -L2 usermod含义-c<备注> 修改用户帐号的备注文字。 -d登入目录> 修改用户登入时的目录。 -e<有效期限> 修改帐号的有效期限。 -f<缓冲天数> 修改在密码过期后多少天即...转载 2019-03-08 11:50:28 · 530 阅读 · 0 评论 -
hadoop nn配置G1垃圾回收器
转载来自lkGC参数的调整,使用了G1GC,完成的GC字符和需要根据情况来这顶的配置如下:总的配置:-XX:+UseG1GC -XX:MaxGCPauseMillis=200 -XX:+UnlockExperimentalVMOptions -XX:+ParallelRefProcEnabled -XX:-ResizePLAB -XX:+PerfDisableSharedMem -...转载 2019-03-06 17:42:16 · 1715 阅读 · 3 评论 -
rpm -e --nodeps批量删除包
转载来自bugrpm -e --nodeps `rpm -qa | grep mysql`实例入下转载 2019-03-01 15:39:43 · 6073 阅读 · 1 评论 -
iftop
转载来自:https://www.jianshu.com/p/375f9324350fiftop介绍iftop是一款实时流量监控工具,监控TCP/IP连接等,缺点就是无报表功能。必须以root身份才能运行。实例默认是监控第一块网卡的流量iftop监控eth1iftop -i eth1直接显示IP, 不进行DNS反解析iftop -n直接显示连接埠编号, 不显...转载 2019-02-15 16:35:51 · 244 阅读 · 0 评论 -
linux查找当前开始30天之前的文件并删除
转载来自bug:find /mnt/sd11 -type f -mtime +30 -exec rm {} \;find /mnt/sd11/mysql_bak -type f -name "*.gz" -mtime +30 -exec rm {} \;转载 2019-01-21 16:06:08 · 15670 阅读 · 3 评论 -
如何查看主机上所有用户的最后登入时间
转载来自:kz,wc1 使用lastlog查看转载 2019-01-18 10:59:24 · 2624 阅读 · 0 评论 -
vim搜索有特殊字符的字符串
转载来自:http://bbs.chinaunix.net/thread-4167320-1-1.html1.搜索特殊字符要加转义字符"\"eg:搜索 17/Jan/2019 10:20:53vim文件,然后/,然后输入如下:17\/Jan\/2019\ 10:20:53或者17\/Jan\/2019\s 10:20:53 ...转载 2019-01-17 11:30:40 · 16612 阅读 · 0 评论 -
杀死僵尸进程
(1)僵尸进程如果子进程先结束而父进程后结束,即子进程结束后,父进程还在继续运行但是并未调用wait/waitpid那子进程就会成为僵尸进程。(2)杀死僵尸进程ps -e -o ppid,stat | grep Z | cut -d " " -f2 | xargs kill -9 ...转载 2018-12-13 18:05:49 · 387 阅读 · 0 评论 -
linux free命令中buffer和cache的区别
二次转载,对方并没有提供原链接,很抱歉,只有对方的链接:http://blog.csdn.net/grantlee1988/article/details/7691183[root@linuxso.com ~]#free -m total used free shared buffers cachedMem: 503 368转载 2017-08-09 16:27:23 · 414 阅读 · 2 评论