linux
文章平均质量分 66
ensong_xu
从事HPC&大数据平台运维及优化工作
展开
-
Can't remove open logical volume
1.lvremove -f2.将服务stop后尝试lvremove /dev/cinder-volumes/...;3.卸载挂载:umount /dev/cinder-volumes/....;原创 2013-04-30 22:44:29 · 2630 阅读 · 0 评论 -
shell 换行问题
您可能知道,基于DOS/Windows 的文本文件在每一行末尾有一个CR(回车)和 LF(换行),而 UNIX 文本只有一个换行。有时可能需要将某些 UNIX 文本移至 Windows 系统,该脚本将为您执行必需的格式转换。 $sed -e 's/$/\r/' myunix.txt > mydos.txt 在该脚本中,'$' 规则表达式将与行的末尾匹配,转载 2013-10-24 17:10:29 · 1549 阅读 · 0 评论 -
linux下动态调整交换分区大小
第一种方法:新建分区,将新建的分区增加到交换分区1、fdisk /dev/sda2、n 新建一个分区,新建分区要求硬盘上还有空闲空间可用。注意:分出一个区做为交换分区,分区类型应为primary,extend不能做为交换分区。在创建分区的时候会提示我们输入创建的分区的大小,这样也方便我们根据需求为交换分区增加指定大小。提示的第一个值我们直接默认就可以,这样也可以避免对磁盘空间原创 2013-11-01 15:41:57 · 2720 阅读 · 0 评论 -
NVIDIA驱动安装记录
nvidia 驱动安装1、安装相关依赖软件包:apt-get install gccapt-get install freeglut3 freeglut3-dev libxi-dev libxmu-devapt-get install kernel-* ##安装内核2、如果之前有安装过相关驱动,请先卸载:apt-get --purge remove nvi原创 2013-11-22 15:17:42 · 5428 阅读 · 0 评论 -
分析linux下内存使用情况
linux系统到底使用了多少内存?我们应该如何去查看?怎样查看到的数据才是最准确的?下面围绕这几个问题详细说明一下:1、查看linux系统内存使用情况的方法有很多:a、freeroot@dn-135:/var/log# free total used free shared buffers cachedMem:原创 2013-11-22 16:29:45 · 3168 阅读 · 0 评论 -
inux 监测IO状态
使用iostat这个工具可以很好的监测linux下磁盘的IO情况。命令如下iostat -x 4 10 ##每隔4秒统计一次IO信息,供统计10次,加上-x参数可以打印出详细的信息。rrqm/s: 每秒进行 merge 的读操作数目。即 delta(rmerge)/swrqm/s: 每秒进行 merge原创 2013-11-12 15:24:42 · 777 阅读 · 0 评论 -
查看服务器硬件信息
查看机器型号# dmidecode | grep "Product Name" 查看CPU信息(型号)# cat /proc/cpuinfo | grep name | cut -f2 -d: | uniq -c 8 Intel(R) Xeon(R) CPU E5410 @ 2.33GHz(看到有8个逻辑CPU, 也知道了CPU型号原创 2014-01-21 09:48:40 · 1140 阅读 · 0 评论 -
Lustre并行文件系统建设
Lustre并行文件系统建设Author By esxu 2015/08/19项目背景介绍本次项目目的在于构建一个具有高性能、支持高并发读写、文件共享的存储系统。Lustre在HPC领域被广泛使用,本次项目建设也是在调研了其他诸多文件系统之后,最终选择Lustre文件系统作为软件部分,由于Lustre文件系统本身无数据安全机制,必须构建于稳定的磁盘阵列之上,通过硬件的稳定性来解决数据的安全性。硬件层原创 2015-09-07 17:51:06 · 10086 阅读 · 3 评论 -
rpm包构建方法
经常需要把一些脚本打包到rpm包中去,安装rpm后能把脚本复制到指定位置。这个东西写完就忘了,在这里记一下在rhel5里SPECS和SOURCES目录在/usr/src/redhat/下,rhel6里需要自己创建。yum -y install rpm-buildmkdir -p /root/rpmbuild/{SPECS,SOURCES}把源码包放到SOURC原创 2015-10-09 14:51:16 · 695 阅读 · 0 评论 -
mysql常用命令
转自http://www.elain.org/?p=228 Mysql三种不同的启动方法: service mysqld start/stop/restart //启动、关闭与重启mysql /usr/local/mysql/bin/mysql.server start //启动mysql /usr/local/mysql/bin/mysqld转载 2015-10-10 14:23:38 · 455 阅读 · 0 评论 -
实现NFS HA共享目录
构建高可用共享存储需求描述有需求,才会有新产物。对于做平台,关键就是如何提高稳定、安全、高效的集群供用户使用。本次调整,实现了平台的软件安装路径和用户家目录统一管理,保障用户7*24小时用户登录平台。 平台使用Openldap进行用户统一管理,自取代nis使用至今,未出现过中断问题,相对来说还是比较稳定靠谱的。使用openldap统一进行用户管理,就需要平台中所有节点有统一共享的/home目录。原创 2015-11-06 17:44:11 · 3202 阅读 · 0 评论 -
内存碎片是否拖慢了你的程序?
现象描述:近日,公司HPC平台用户频繁反应任务无法正常运行或运行一般会停止无输出,或读取或写入数据时某些数据块耗时比正常速度高几百甚至上千倍。 针对此现象,对集群反复排查了多次,未发现任何异常,日志中也无明显报错信息,从监控系统中观察出现问题节点的CPU、内存、网络、存储等相关资源使用情况,均无太高负载,占用率都非常低。所以分析应该不是存储或硬件资源瓶颈导致的。后来将服务器系统重启后再提交任务,发原创 2015-12-16 10:44:09 · 2975 阅读 · 0 评论 -
Lustre文件锁问题
问题现象:进程读取文件Hang,单进程读取正常,多个进程同时读取出现Hang,多个进程若在同一台服务器上提交,也可正常运行。问题分析:从现象来看,分析可能产生的原因。1、linux下同时打开文件数达到最大值?2、mount挂载时缺少相关参数导致?第一个问题比较好排查,ulimit -a即可查看当前配置的open files大小,再通过lsof / |原创 2015-12-17 14:23:17 · 2319 阅读 · 1 评论 -
Ubuntu 编译内核升级内核版本
一、下载源代码和编译软件的准备 下载内核源代码:http://www.kernel.org/ 注意,点击2.6.25内核的F版,即完整版。 如果你懒得去网站点联接,运行下列命令:$cd ~$ wget http://www.kernel.org/pub/linux/kernel/v2.6/linux-2.6.25.10.tar.bz2安装有关编译程序。安装make ,g转载 2013-10-16 14:53:44 · 1888 阅读 · 0 评论 -
rhel 配置vnc
1.配置yum网络安装源,执行远程复制文件命令:scp192.168.80.77:/etc/yum.repos.d/rhel-source.repo/etc/yum.repos.d/rhel-source.repo 2.复制完成后执行: yum list 3.安装vncserver服务器端 yum install vnc-servertigervnc.x原创 2013-10-11 10:25:01 · 988 阅读 · 0 评论 -
CentOS6.x 制作ubuntu12.04源
使用ubuntu已经习惯了用apt-get 来安装软件了,使用网络源有时网速太慢,让人很头疼,加之网络源常有更新,可能会导致安装软件的版本不一致,导致无法在现有稳定环境中运行,之前已经做过在ubuntu上制作本地源,本问主要介绍在centos下制作ubuntu12.04本地源,主要参考一个老外写的脚步,执行这个脚本,剩下的就是等待了,按照公司的网络来说估计要下一个星期左右。下面是脚本内容,其中包括原创 2013-05-01 17:17:48 · 1032 阅读 · 0 评论 -
SUSE如何修改主机名
suse修改主机名,还真有点学问,今晚折腾了好一会才搞定!首先suse的主机名配置文件在/etc/HOSTNAME里,这与ubuntu和centos是不同的,修改完不用重启,直接:hostname -F /etc/HOSRNAME 就ok了!但是如果你的IP是动态获取的,就不一样了,我的问题也出在这里,如果是DHCP的IP,你重启机器后肯定发现主机名又还原成之前的了,根本没原创 2013-05-08 22:25:57 · 2042 阅读 · 0 评论 -
ubuntu下使用crontab
想要让cron执行你指定的任务,首先就要编辑crontab文件。crontab是一个文本文件,用来存放你要运行的命令。你可以以下命令:crontab -e来打开你的用户所属的crontab文件。第一次用这个命令,会让你选择文本编辑器,我选的是vim。 打开后的crontab文件类似这种样子:# m h dom mon dow command */2 * * * * date原创 2013-05-22 15:08:03 · 738 阅读 · 0 评论 -
date命令使用
名称 : date使用权限 : 所有使用者使用方式 :date [-u] [-d datestr] [-s datestr] [--utc] [--universal] [--date=datestr] [--set=datestr] [--help] [--version] [+FORMAT] [MMDDhhmm[[CC]YY][.ss]]说明 :date 可以用来显示或设定原创 2013-05-22 15:12:38 · 843 阅读 · 0 评论 -
yum VNC后,启动时出错/usr/bin/Xvnc: symbol lookup error解决方法
如果是centos6.4以下的版本执行命令:yum install -y tigervnc* 后,执行启动会发现提示如下错误: WARNING: The first attempt to start Xvnc failed, possibly because the fontcatalog is not properly configured. Attempting to原创 2013-05-10 22:51:21 · 2943 阅读 · 0 评论 -
linux环境下远程连接windows
需求决定一切!再一次证明了这句话! 作为一个运维,只有有了需求,才有动力去想办法解决!很多时候为了方便运维的工作,提高运维效率,我们不得不借助一些工具甚至是自己写一些小工具来使用!不过,目前还停留在用的层次上! 平时都是在windows下远程linux系统,SSH,VNC已经用惯了,突然让你在linux下远程windows桌面,还真没试过!于是谷歌了一些,原来linux下还原创 2013-05-11 23:42:03 · 921 阅读 · 0 评论 -
grub rescue问题修复
上周不小心将服务器非法关机,后来在开机后发现直接进入grub rescue界面了,启动菜单丢了,谷歌了一下,找了个比较靠谱的资料:步骤如下: 1. 先使用ls命令,找到Ubuntu的安装在哪个分区:grub rescue>ls会罗列所有的磁盘分区信息,比方说:(hd0),(hd0,msdos3),(hd0,msdos2),(hd0,msdos1)2.原创 2013-05-11 23:46:26 · 939 阅读 · 1 评论 -
Dell R710 iDRAC6 远程控制卡设置
公司90%服务器都是DELL,目前绝大多数为R710,不过现在采购的都是R720了,R710已经停产了。720与710的BIOS界面有所差别,720的BISO类似于Web界面操作了,可以用鼠标操作。不过我从来不用,习惯了用键盘来设置BIOS,呵呵! 机器多了,管理起来就不是那么简单的事了,就单单装系统就不是一件轻松的事,不过好在大部分服务器都是linux服务器,装起来就比较轻松了!但是机器原创 2013-05-12 00:35:34 · 26881 阅读 · 0 评论 -
Cobbler自动化部署linux操作系统
今天成功远程安装了15台刀片服务器,完全采用cobbler自动化安装,一个多小时搞定,主要每台服务器还需要配置raid,耽误了不少时间。磁盘阵列这东西还真得一个个进阵列管理界面一个一个折腾,目前还没发现什么方便快捷的工具,好在可以使用远程控制台,方便多了!远离机房,珍爱生命! 我的cobbler服务器也是前段时间才部署完成,130多G的ubuntu12.04源也下载下来了,今天试用了下原创 2013-05-13 22:33:04 · 9619 阅读 · 1 评论 -
centos同步网络源
为了节省安装软件包时间,决定同步一个centos6.4的网络源,同时也可以为其他事业部门的同事使用。网上很少有完整的教程,这里记录下我的过程.1、rsync这里是通过rsync工具来同步,rsync是一个功能非常强大的工具,其命令也有很多功能特色选项,我们下面就对它的选项一一进行分析说明:Rsync的命令格式可以为以下六种: rsync [OPTION]... SRC DEST原创 2013-05-27 17:08:52 · 1411 阅读 · 0 评论 -
centos中使用python遇到的几个问题
用python搞了一个从excel中读取cobbler节点信息并加入cobbler中的脚本,运行的过程中出了不少问题,这里记录下来,方便日后查找! 一、yum install python,我通过这个命令安装python,默认安装的是2.6的版本,但是当我把python 2.6安装完成后,发现cobbler的WEB管理页面无法打开了,查看apahce的错误日志: [Sun Jul原创 2013-07-08 23:49:49 · 2605 阅读 · 0 评论 -
linux下磁盘批量化自动分区挂载脚本实现
需求大于一切,公司数据中心采购50台DELL服务器部署Hadoop集群,每台机器配了6块3T硬盘,linux下fdisk工具只能格式化小于2T的硬盘,大于2T的需使用parted工具来格式化。 无论使用哪种格式化工具,对于50*6这个数字,如果手工一块一块去创建分区并挂载至目录下,工作量是可想而知的,这里总结了一个自动化脚本,使用起来非常方便,本来这个脚本是准备在集群主节点上分发到原创 2013-06-23 19:38:52 · 8239 阅读 · 0 评论 -
基于 iwarp下的lustre性能测试
近期在做集群网络的升级方案,涉及到网络设备有交换机、线缆、网卡。过程中测试了不少网络厂商的设备,这里主要记录下在测试Chelsio网卡时的一些问题。测试内容:网卡带宽网卡延迟(TCP/iwarp)lustre on iwarp网卡带宽和延迟这里不做过多介绍,这个测试起来比较简单,直接跑下iperf和ib_write测试工具即可;这里主要记录下如何在lustre上启用iwarp。测试环境直接上图原创 2016-04-12 11:43:42 · 5919 阅读 · 0 评论