Data & Analysis

2016年会火的技术之一， Mesos。 花了一些时间， 将Mesos相关的知识整理了一下， 以做备忘。 水平有限， 如有疏漏或谬误之处， 还望指出。Mesos是什么Mesos是一个集群管理平台。 可以理解为是一种分布式系统的kernel， 负责集群资源的分配， 这里的资源指的是CPU资源， 内存资源， 存储资源， 网络资源等。 在Mesos可以运行Spark， Storm， Hadoop， Marathon等多种Framework（框架）。Mesos的架构主要有Masters（主节点）..

在类Unix系统中可以使用top查看系统资源、进程、内存占用等信息。查看网络状态可以使用netstat、nmap等工具。若要查看实时的网络流量，监控TCP/IP连接等，则可以使用iftop。一、iftop是什么？iftop是类似于top的实时流量监控工具。官方网站：iftop: display bandwidth usage on an interface二、iftop有什么用？iftop可以用来监控网卡的实时流量（可以指定网段）、反向解析IP、显示端口信息等，详细的将会在后面的使用参数

今天在做实验的时候尝试修改了vm.dirty_ratio等参数，都没有能够引发OOM_KILLER，但是参数vm.min_free_bytes的修改引发了系统的宕机或者引发了系统的OOM_KILLER现象。如下是实验的环境：内存256MB如下修改的具体参数1）echo 500000 > /proc/sys/vm/min_free_bytes具体含义：保留500M的内存空间，但是由于系统的内存才256MB，导致系统出现kernel panic，系统崩溃了2）echo ...

之前有次DBA 新来了个小朋友，申请了30台VM 进行部署，没多久和我说机器无法登录了，排查后发现机器无脑重启，盲猜一定改了一些内核参数(公司DBA的一个坏习惯，老是喜欢百度一下直接改，却从不关心为啥这么改)，DBA 支支吾吾说改了vm.min_free_kbytes, 数字大到可怕，原来他以为单位是字节，但其实是kb，我说你知道这个参数的意义以及后果么，小朋友支支吾吾，只能感叹一知半解多可怕也多害人，最后只能救援模式慢慢改回来了。vm.min_free_kbytes即强制Linux 系统最低保留多

调整内核参数:vm.min_free_kbytes内核参数：内存相关内存管理从三个层次管理内存，分别是node, zone ,page;64位的x86物理机内存从高地址到低地址分为: Normal DMA32 DMA.随着地址降低。[root@localhost01 /home/ahao.mah]#cat /proc/zoneinfo |grep "Node"Node 0, zone DMANode 0, zone DMA32Node 0, zone Normal...

MBR分区表：（MBR含义：主引导记录）　　所支持的最大卷：2T（T;terabytes,1TB=1024GB）　　对分区的设限：最多4个主分区或3个主分区加一个扩展分区。　　GPT分区表：（GPT含义：GUID分区表）　　支持最大卷：18EB，（E：exabytes,1EB=1024TB）　　每个磁盘最多支持128个分区　　使用parted建立大小超过2T的分区　　1，parted/dev/sdb　　可以输入p打印磁盘信息，查看分区的情况，找到起始和结束位置。　　2，mklab...

一．RAID定义RAID(Redundant Array of Independent Disk 独立冗余磁盘阵列)技术是加州大学伯克利分校1987年提出，最初是为了组合小的廉价磁盘来代替大的昂贵磁盘，同时希望磁盘失效时不会使对数据的访问受损 失而开发出一定水平的数据保护技术。RAID就是一种由多块廉价磁盘构成的冗余阵列，在操作系统下是作为一个独立的大型存储设备出现。RAID可以充分发 挥出多块硬盘的优势，可以提升硬盘速度，增大容量，提供容错功能够确保数据安全性，易于管理的优点，在任何一块硬盘出现问题的情

使用parted分区的步骤1. fdisk -l 查看一下当前的存储设备，这里可以看到新加入的磁盘，比如/dev/sdb2. parted /dev/sdb 进入分区命令行模式，可以随时用help来查看命令用法3. mklabel gpt 将MBR格式的磁盘格式化为GPT格式4. mkpart primary 0 -1 将整个磁盘化为一个分区,一般命名为/dev/sdb15. print 打印分区结果6. quit 退出分区命令行模式7. mkfs.xfs /dev/sdb1 格...

$ yum makecache # 把服务器的包信息下载到本地电脑缓存起来，makecache建立一个缓存 # 以后用install时就在缓存中搜索，提高了速度。 # 配合yum -C search xxx使用，不用联网检索就能查找软件信息 $ yum clean all # 清理缓存...

今天发现一台机器/var > 70% ,查了下是/var/cache/yum目录。使用yum clean all 清除，很方便，绕开了没有root权限的问题。该命令介绍如下，作用：清除YUM缓存。yum 会把下载的软件包和header存储在cache中，而不自动删除。如果觉得占用磁盘空间，可以使用yum clean指令进行清除，更精确 的用法是yum clean headers清除header，yum clean packages清除下载的rpm包，yum clean all一全部清除。

RHEL以及他的衍生发行版如CentOS、Scientific Linux为了稳定，官方的rpm repository提供的rpm包往往是很滞后的，当然了，这样做这是无可厚非的，毕竟这是服务器版本，安全稳定是重点，官方的rpm repository提供的rpm包也不够丰富，很多时候需要自己编译那太辛苦了，而EPEL恰恰可以解决这两方面的问题。什么是EPEL?EPEL的全称叫 Extra Packages for Enterprise Linux。EPEL是由 Fedora 社区打造，为 RHEL 及衍生.

内存是由块管理，即众所周知的 页面。一个页面有 4096 字节。1MB 内存等于 256 个页面。1GB 内存等于 256000 个页面等等。CPU 有内嵌的 内存管理单元，这些单元中包含这些页面列表，每个页面都使用 页表条目参考。让系统管理大量内存有两种方法： 增加硬件内存管理单元中页表数 增大页面大小 第一个方法很昂贵，因为现代处理器中的硬件内存管理单元只支持数百或者书签页表条目。另外适用于管理数千页面（MB 内存）硬件和内存管理算法可能无法很好管理数百万（甚至数十亿）页面。这会

大页内存大页内存(HugePages)，有时也叫“大内存页”、“内存大页”、“标准大页”。操作系统以内存页为单位管理内存，内存页的大小对系统性能有影响。内存页设得太小，内存页会很多，管理内存页的数组会比较大，耗内存，同时TLB(Translation Lookaside Buffer，页表寄存缓冲器，可理解为页表缓冲)大小是固定的，导致TLB MISS增加。在不同的应用场合，内存页的大小的最优值是不同的。所以一般的系统都支持多种内存页的取值。大页内存的优势“大内存页”有助于 Linux 系统进行

目前正值新学期开学季，不少同学过年时拿了不少的压岁钱，所以打算在新一学期来临之时，为自己选购一台全新的主机。为此，我们针对学生党用户群体中众多的硬件选购问题特别推出了《开学购机宝典》栏目，将会分期为大家介绍主板、显卡、键鼠、存储、CPU、机箱电源、散热器以及显示器的相关知识。本期我们的主题是主机中最基础的硬件之一——SSD。近几年固态硬盘更是发展迅速，随着固态硬盘生产工艺以及用户对读写速度的追求，越来越多的中高端SSD开始选择PCI-E接口来进行SSD与主板的对接。在本篇文章中笔者将详细介绍SATA

CISC & RISCCPU架构有很多种，常用的主要有X86，ARM（还有其他不常用的MIPS，IA64），它们之间的差距都很大。但是如果从最基本的逻辑角度来分类的话，它们可以被分为两大类，CISC（Complex Instruction Set Computer）与 RISC(Reduced Instruction Set Computer)Intel和ARM处理器的区别是Intel使用CISC(复杂指令集计算机) ARM使用RISC(精简指令集计算机)主要的四种CPUx86

指令# 将当前文件夹下60分钟内修改过的文件 复制到/home/usr/test/ 文件夹find . -mmin -60 -type f | xargs -i cp {} /home/usr/test/1 2代码释义find . -mmin - 60 -type f 表示找到当前文件夹下60分钟内修改过的普通文件 -type f 指定了文件类型为普通文件，否则会将当前文件夹也列入结果 通过管道将find的结果输出给后续命令，并通过xargs -i 将该结果 放至 { } 中..

使用场景：应用程序，如tomcat，每天都会生成新的日志文件，时间一长，占用大量的磁盘，需要定期清理这些文件。代码如下：find /tomcat/logs/*.log -ctime +3 -exec mv {} /tmp也可以使用xargs传参数find /tomcat/logs/*.log -ctime +3 | xargs mv {} /tmp说明：将指定目录下超过3天未修改的日志文件移动到tmp中。如果要直接删除，将命令改为如下即可：find /tomcat/l..

不知不觉，centos已经到7.6了，在服务器操作系统中，centos是用的比较多的，占很大的比例。由于7.x版本和6.x版本有区别，最近安装了7.6的VNC，特记之。VNC需要系统安装的有桌面，如果是生产环境服务器，安装时使用的最小化安装，那么进行下面操作按章GNOME 桌面。 # 列出的组列表里有GNOME Desktop。 yum grouplist #安装之 yum groupinstall -y "GNOME Desktop" # 安.

在实际项目开发中最常使用的文件传输的方式有ftp和sftp两种，但是这两个传输方式各有什么特点呢?本文接下来将讨论SFTP、FTP的区别。一、FTP协议FTP是TCP/IP协议组中的协议之一，TP协议由两个部分组成：FTP服务器(用来存储文件) FTP客户端(用户可以使用FTP客户端通过FTP协议访问位于FTP服务器上的资源)默认情况下FTP协议使用TCP端口中的20和21这两个端口。21端口用于传输控制信息，而是否使用20作为传输数据的端口与FTP使用的传输模式有关，如果采用被动模式则

　　我们知道 Linux里面一切皆文件 ，那么我们能否查看一个文件是何时创建的呢？答案是否定的。那我们可以知道些文件关于时间的什么信息呢？那就不得不说文件状态的三个时间了，它们分别是 -atime, -ctime 和 -mtime。　　先让我们来看一个Linux下的文件信息：　　我们可以从中看到，关于时间的信息有三个：最近访问时间 access time （-atime）、最近更改时间 modify time （-mtime） 和 最近状态改动时间 change time（-cti...

设置全局代理,方法如下:修改 /etc/profile 文件,添加下面内容:http_proxy=http://username:password@yourproxy:8080/ftp_proxy=http://username:password@yourproxy:8080/export http_proxyexport ftp_proxy如果没有密码限制,则以上内容可以修改为以下内容:http_proxy=http://yourproxy:8080/ftp_proxy=http://yo

问题在对某应用代码文件进行版本备份过程中，tar命令报错：/bin/tar: app/util: file changed as we read it导致命令返回值非0，备份脚本失败退出。分析出现报错的是一个代码目录，目录下只有一些python脚本，以及对应的pyc中间式文件。分析过程中发现以下情况：报错的是目录而非文件 打包命令已经排除了pyc文件：--exclude '*.pyc' 目录修改时间确实是打包命令报错的时候 py脚本文件的修改时间是在打包命令执行前 py

在使用tar命令进行压缩打包的时候我们常常会遇到下面的错误。虽然它不会影响我们最后的压缩打包，但是间接说明了我们的命令是有问题的。接下来我们来看看解决的方法。报错内容：[root@haha ~]#tar -czf /root/ss3.tat.gz /root/ss2tar: Removing leading `/' from member names意思就是让我们将路径的 ‘/’ 去除掉。问题原因： 因为我们使用的是绝对路径，而不是相对路径。而tar 命令默认是采用相对路径来..

如果你想动态的了解一下系统资源的使用状况，以及查看当前系统中到底是哪个环节最占用系统资源，就可以使用vmstat 命令。vmstat命令，是 Virtual Meomory Statistics（虚拟内存统计）的缩写，可用来监控 CPU 使用、进程状态、内存使用、虚拟内存使用、硬盘输入/输出状态等信息。此命令的基本格式有如下 2 种：[root@localhost ~]# vmstat [-a] [刷新延时 刷新次数][root@localhost ~]# vmstat [选项]-a ...

每次安装Linux的时候，都会要求配置交换分区，那么这个分区是干嘛的呢？不设置这个分区有什么后果？如果一定要设置，设置多大比较合适？本篇将试图回答这些问题并尽量覆盖所有swap相关的知识。下面的所有例子都在ubuntu-server-x86_64 16.04下执行通过什么是swap?swap space是磁盘上的一块区域，可以是一个分区，也可以是一个文件，或者是他们的组合。简单点说，当系统物理内存吃紧时，Linux会将内存中不常访问的数据保存到swap上，这样系统就有更多的物理内存为各个进程服务

netstat命令用于显示与IP、TCP、UDP和ICMP协议相关的统计数据，一般用于检验本机各端口的网络连接情况。netstat是在内核中访问网络及相关信息的程序，它能提供TCP连接，TCP和UDP监听，进程内存管理的相关报告。netstat常用命令参数 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 .

补充说明fuser命令 用于报告进程使用的文件和网络套接字。fuser命令列出了本地进程的进程号，那些本地进程使用file，参数指定的本地或远程文件。对于阻塞特别设备，此命令列出了使用该设备上任何文件的进程。每个进程号后面都跟随一个字母，该字母指示进程如何使用文件。c：指示进程的工作目录。e：指示该文件为进程的可执行文件(即进程由该文件拉起)。f：指示该文件被进程打开，默认情况下f字符不显示。F：指示该文件被进程打开进行写入，默认情况下F字符不显示。r：指示该目录为进程的根目录。m：指示

-bash: fuser: command not foundyum install psmisc

~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~磁盘分区~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~1.创建分区[root@localhost ~]# fdisk -l 查看磁盘的分区情况[root@localhost ~]# fdisk /dev/sdbCommand (m for help): m 获得帮助，查看具体.

假如Keepalived有10个VIP，怎么查看每个VIP的流量呢？这里就可以使用sar命令查看网卡流量了。前提是你Keepalived监听网卡时。设置网卡时子接口。也就是说你网卡绑定子接口上。这样eth0:0,eth0:1，每个网卡流量都可以看了在工作中，我们经常需要查看服务器的实时网卡流量。通常，我们会通过这几种方式查看Linux服务器的实时网卡流量。1. sar -n DEV 1 2sar命令包含在sysstat工具包中，提供系统的众多统计数据。其在不同的系统上命令有些..

Linux下显示系统进程的命令ps，最常用的有ps -ef 和ps aux。这两个到底有什么区别呢？讨论这个问题，要追溯到Unix系统中的两种风格System Ｖ风格 BSD 风格ps -ef ps aux1.CPU占用最多的前10个进程：ps auxw|head -1;ps auxw|sort -rn -k3|head -102.内存消耗最多的前10个进程ps auxw|head -1;ps auxw|sort -rn -k4|head...

按照这个网站：http://os.51cto.com/art/201001/176511.htm和实验指导书配置好nfs后，为了测试nfs，我就把/ 挂载到了/mnt上，结果umount不掉，一直显示device is busy。百度了一下，有两类方法：（来源：http://www.jb51.net/os/RedHat/1051.html）1、使用fuser命令fuser -m -v /mnt 可以查看到当前占用/mnt目录的进程号，然后用kill杀死它。也可以使用fuser -m -k /

这是最常用的一种方式，这种方式要求被卸载分区是空闲的。如：# umount /dev/sdb1# umount /media/disk第一条命令把设备sdb上的第一个分区从系统上卸载。而第二条命令的作用则是卸载被挂载到/media/disk上的分区。注意，只有在分区未被程序使用的情况下才能成功用此法卸载，否则会报错，如：umount: /dev/sdb1: device is busylazy umountlazy umount正是针对上面错误中的busy而提出的，即可以卸载“b

当你在一个纯命令行模式的linux/unix主机上安装一些软件是，常用的是console mode。但是对于大多数屌丝来讲，还是喜欢facetoface的GUI mode。所以在网络上搜罗了一些信息，本文章除了基础铺垫外，主要想分享的是如何将显示输出到其他Xwindows机器上显示GUI安装过程。such as:export DISPLAY=192.168.11.11:0在Linux/Unix类操作系统上, DISPLAY用来设置将图形显示到何处. 直接登陆图形界面或者登陆...

1.命令介绍：在Linux/Unix类操作系统上, DISPLAY用来设置将图形显示到何处. 直接登陆图形界面或者登陆命令行界面后使用startx启动图形界面, DISPLAY环境变量将自动设置为:0:0, 此时可以打开终端, 输出图形程序的名称(比如xclock)来启动程序, 图形将显示在本地窗口上。2.查看DISPLAY在终端上输入printenv查看当前环境变量, 输出结果中有如下内容: DISPLAY=:0.0使用xdpyinfo可以查看到当前显示的更详细的信息. 3...

lvreduce命令用于减少LVM逻辑卷占用的空间大小。使用lvreduce命令收缩逻辑卷的空间大小有可能会删除逻辑卷上已有的数据，所以在操作前必须进行确认。语法lvreduce(选项)(参数)选项-L：指定逻辑卷的大小，单位为“kKmMgGtT”字节；-l：指定逻辑卷的大小（LE数）。参数逻辑卷：指定要操作的逻辑卷对应的设备文件。实例使用lvredu...

一. 环境准备1.1. 系统版本和内核信息[root]# cat /etc/redhat-releaseCentOS Linux release 7.3.1611 (Core)[root]# uname -aLinux localhost.localdomain 3.10.0-514.el7.x86_64 #1 SMP Tue Nov 22 16:42:41 UTC 2016 ...

exec /usr/bin/ssh-agent $SHELLssh-add

linux查看根目录下所有文件夹大小的方法如下： 1、进入根目录：cd / 2、使用命令 ： du -sh * 查看根目录下每个文件夹的大小 3、进入占用空间比较大的文件夹，然后再使用2中命令查找大文件。 du-ah--max-depth=1 这个是我想要的结果 a表示显示目录下所有的文件和文件夹（不含子目录），h表示以人类能看懂的方...

最大的区别有几点：(a)守护进程已经完全脱离终端控制台了，而后台程序并未完全脱离终端，在终端未关闭前还是会往终端输出结果(b)守护进程在关闭终端控制台时不会受影响，而后台程序会随用户退出而停止，需要在以nohup command & 格式运行才能避免影响(c)守护进程的会话组和当前目录，文件描述符都是独立的。后台运行只是终端进行了一次fork，让程序在后台执行，这些都没改变。如何...