Linux
文章平均质量分 84
Winhole
一个爱学习的新手
软件测试
展开
-
git提交自动带上 Signed-off-by信息
为了确保在使用签名的同时保留你的提交消息,你需要修改钩子脚本,以便它不会丢失原始的提交信息。原创 2024-09-05 18:30:27 · 475 阅读 · 0 评论 -
zabbix-增加cpu-mem-net监控
统计每个机器的资源zabbix-增加cpu-mem-net监控Loadcpu负载;一核CPU对应我们一条公路,一个进程对应一辆汽车。在一条公路上,只有一辆汽车行驶,load=1没有出现拥堵的情况如果有两量汽车行驶在一条公路上行驶,会出现拥堵的情况,需要排队,这是load=2cpu核数=12,当系统load=12时,系统cpu刚刚好在该机器cpu能处理的范围内syst...原创 2020-03-21 16:18:51 · 590 阅读 · 0 评论 -
开源虚拟化集群管理平台ProxmoxVE-安装介绍以及PCI直通和嵌套虚拟化说明
支持多个虚拟机PCI直通✔支持嵌套虚拟化(基于KVM)✔支持虚拟机模板,支持快照、克隆虚拟机✔说明:当前测试环境为PVE7.0版本官网:Proxmox - Powerful open-source server solutions安装系统启动项设定(通过IPMI iso文件)进行安装proxmox ve系统选择正确的磁盘,进行安装系统选择时区注意!这里的hostname需要正确填写,如果是部署多台pve集群,这个名字一定不要一样...原创 2021-08-23 18:07:07 · 3848 阅读 · 0 评论 -
hadoop-yarn资源分配介绍-以及推荐常用优化参数
根据网上的学习,结合工作进行的一个整理。 如果有什么不正确的欢迎大家一起交流学习~Yarn前言作为Hadoop 2.x 的一部分,YARN采用MapReduce中的资源管理功能并对其进行打包,以便新引擎可以使用它们。 这也简化了MapReduce,使其能够做到最好,处理数据。 使用YARN,您现在可以在Hadoop中运行多个应用程序,所有应用程序都共享一个公共资源管理。那资源是有限的,YARN如何识别资源并按需分配大小呢?应用程序的运行过程在学习Container之前,大家应先了解YARN.原创 2020-06-05 19:28:43 · 1943 阅读 · 0 评论 -
简单记录FIO和Vdbench的测试脚本
本篇文将简单记录一下FIO,Vdbench的测试脚本FIO:参数要求:单进程,粒度4k,directio,随机写,文件大小200m,队列深度20,测试时长10sfio -ioengine=libaio -bs=4k -direct=1 -rw=randwrite -size=200m -filename=/data/fiofile -name=4k-write -iodepth=20 -runtime=10 -numjobs=1vdbench 文件系统测试测试参数要求:2个客..原创 2020-05-25 21:51:47 · 3204 阅读 · 0 评论 -
linux 性能测试磁盘状态监测:iostat监控学习,包含/proc/diskstats、/proc/stat简单了解
背景测试到性能、压力时,经常需要查看磁盘、网络、内存、cpu的性能值这里简单介绍下各个指标的含义一般磁盘比较关注的就是磁盘的iops,读写速度以及%util(看磁盘是否忙碌)CPU一般比较关注,idle 空闲,有时候也查看wait (如果wait特别大往往是io这边已经达到了瓶颈)iostatiostat uses the files below to create ...原创 2020-03-30 11:12:20 · 4017 阅读 · 3 评论 -
docker里安装hadoop并把容器打包为镜像
环境准备centos7.x机器为例系统:Centos 7,内核版本3.10宿主机准备工作安装docker 安装需要的软件包,yum-util 提供yum-config-manager功能,另外两个是devicemapper驱动依赖的 yum install -y yum-utils device-mapper-persistent-data lvm2...原创 2020-02-28 22:40:36 · 650 阅读 · 0 评论 -
执行mysqldump 出现errno24错误:Too many open files
事件需要对数据库xxxdb进行备份执行 mysqldump --databases xxxdb > xxxdb.mysql报错mysqldump: Got error: 1016: “Can’t open file: ‘./xxxdb/userio_day6_12_hour.frm’ (errno: 24)” when using LOCK TABLES检查perror 24 :...原创 2020-01-07 11:35:48 · 1627 阅读 · 0 评论 -
Yarn-RM-HA配置文件添加
下面说明是基于之前基本环境(yarn)已经基本完成搭建后继续学习高可用性功能以Active / Standby ResourceManager对的形式添加冗余,以消除此单点故障。ZooKeepr能够为我们保证最终只有一个ResourceManager能够创建成功。创建成功的那个ResourceManager就切换为Active状态,没有成功的那些ResourceManag...原创 2019-10-14 17:53:21 · 1187 阅读 · 0 评论 -
hadoop-kerbero等相关搭建可能遇到的问题和排查
./datapool/loongoop/tmp/hadoop-yarn/staging/yarntest/.staging/job_1537338393901_0001/job.jar does not exist问题:18/09/19 14:27:38 INFO mapreduce.Job: Task Id : attempt_1537338393901_0001_r_000000_2, St...原创 2019-09-11 10:57:16 · 4390 阅读 · 1 评论 -
centos7.x安装 LDAP 记录
centos7.x安装 LDAP / /systemctl start slapd安装前系统设置1、防火墙设置centos7.0+ 默认防火墙为firewalld#停止firewall# systemctl stop firewalld.service#禁止firewall开机启动# systemctl disable firewalld.service查看默...原创 2019-03-13 17:52:29 · 511 阅读 · 0 评论 -
记录千兆网卡变百兆速率事件(linux)以及查询、恢复方式
事件: 某日跑着数据,突然发现千兆网卡变成了百兆速率(网卡低速),导致各种超时异常。查询:使用atop查看网卡的速率变成了 100Mbps !!没有atop的可以使用ethtool +网卡名 查看使用ethtool命令。ethtool是Linux下用于查询及设置网卡参数的命令。举例:ethtool enp...原创 2018-04-14 10:01:47 · 15321 阅读 · 0 评论 -
mysql InnoDB: Unable to lock ./ibdata1, error: 11
mysql InnoDB: Unable to lock ./ibdata1, error: 11原文链接:http://blog.csdn.net/ppdouble/article/details/7721301问题复现:(未知)可能是未停止数据库,进行修改my.cnf datadir路径导致?可能是多台占用数据?(本来datadir是a数据库使用的,然后未关闭,让b数据库使...转载 2017-08-01 14:27:56 · 9106 阅读 · 0 评论 -
数据库的问题:InnoDB: Unable to lock ./ibdata1, error: 37
问题原因:可能由于数据库内容,挂载在了nfs;然后nfs或者mysql重启导致[root@mysql ~]# InnoDB: Unable to lock ./ibdata1, error: 37100810 13:48:30 InnoDB: Retrying to lock the first data fileInnoDB: Unable to lock ./ibdata1,原创 2017-07-28 10:20:52 · 4510 阅读 · 0 评论 -
samba简单免密搭建方式
samba简单免密搭建方式centos :vim /etc/samba/smb.conf写入如下内容:(或者把之前的smb.conf mv 成smb.conf.bk)[global]# Global settingsworkgroup = WORKGROUPserver string = Samba Server Version %v#security=原创 2017-07-18 17:06:40 · 1456 阅读 · 0 评论 -
NFSv4 挂载--简单介绍
NFSv4 挂载--简单介绍问题:挂载nfs4时,报错:reason given by server :No such file or directory知识:NFSv4将所有共享使用一个虚拟文件系统展示给客户端。伪文件系统根目录(/)使用fsid=0标示,只有一个共享可以是fsid=0。客户端需要使用“nfs server ip:/”挂载伪文件系统,伪文...原创 2017-07-18 16:57:53 · 11194 阅读 · 0 评论 -
shell写循环ssh登陆多机执行命令
#!/bin/shlocalhost="192.168.56.122 192.168.56.121"rm -rf dd.logecho '统计显示' >> dd.logfor i in $localhostdo echo $i >> dd.log ; ssh $i 'ls -ilt `find /opt -name eth1`' >原创 2017-05-07 19:44:35 · 3019 阅读 · 0 评论 -
shell循环登陆多台机器进行命令执行
1.首先保证机器之间是可以 ssh免密登陆的2.编写shell脚本[root@localhost opt]# vim ssh.sh #!/bin/ship="192.168.56.122 192.168.56.121"rm -rf dd.logecho '统计显示' >> dd.logfor i in $ipdo echo $i原创 2017-05-07 19:13:02 · 3440 阅读 · 1 评论 -
spark环境搭建
节点角色node102master+workernode103workernode104worker 在此之前已经安装好了hadoop环境 首先下载安装包spark-1.6.0-bin-hadoop2.6解压到/opt/spark-1.6.0下配置spar原创 2017-05-07 19:35:09 · 317 阅读 · 0 评论 -
hive环境搭建
hive环境搭建相比较其他组件而言,很简单 1安装mysql(如果机器自带可以省略该步骤)[root@localhost hive-x.x.x]# yum install mysql mysql-server mysql-devel设置mysql配置文件/etc/my.cnf中加入default-character-set=latin1启动mysql[ro原创 2017-05-07 19:37:26 · 520 阅读 · 0 评论 -
关于yarn内存的介绍,很实用给出了很好的建议
一篇外网的文章,收藏很好HOW TO PLAN AND CONFIGUREYARN AND MAPREDUCE 2 IN HDP 2.0byRohit Bakhshi As part of HDP 2.0 Beta, YARN takes theresource management capabilities that were in MapReduce and p转载 2017-05-07 19:39:33 · 798 阅读 · 0 评论 -
hbase参数调整
简单的参数调整,适合初级学习1.hbase中hfile的默认最大值(hbase.hregion.max.filesize) 256MB --10GB??根据结果得到如下结论:值越小,平均吞吐量越大,但吞吐量越不稳定;值越大,平均吞吐量越小,吞吐量不稳定的时间相对更小。2. autoflush=false的影响 2M(hbase.client.write.buffer决原创 2017-05-07 19:40:48 · 2757 阅读 · 0 评论 -
vnc 连接linux centos 7 系统的桌面
一些 VNC 服务器的优点:远程的图形管理方式让工作变得简单方便。剪贴板可以在 CentOS 服务器主机和 VNC 客户端机器之间共享。CentOS 服务器上也可以安装图形工具,让管理能力变得更强大。只要安装了 VNC 客户端,通过任何操作系统都可以管理 CentOS 服务器了。比 ssh 图形转发和 RDP 连接更可靠。那么,让我们开始安装 VNC 服务器之旅转载 2017-05-19 14:05:18 · 2519 阅读 · 0 评论 -
Linux在64位运行32位程序(安装32位库:rpm、deb)
记录:-------------------------------------------------------------------centos7.x 安装了glibc:glibc-2.17-157.el7.i686glibc-2.17 nodeps安装,即可运行cfgm2-------------------------------------------------原创 2017-06-16 09:42:11 · 7621 阅读 · 0 评论 -
linux下的CPU、内存、IO、网络的压力测试工具与方法介绍
一、对CPU进行简单测试:1、通过bc命令计算特别函数例:计算圆周率echo "scale=5000; 4*a(1)" | bc -l -q2.我工作中一般用一个死循环进行cpu占用,这样可以比较持续,简单粗暴的进行~~while [ 1 ] do echo 1 >> /dev/null done或者 while [ 1 ];do :...原创 2017-06-05 16:52:50 · 28040 阅读 · 0 评论 -
Linux-CentOS7.x的安装步骤图文详情
Centos 7.2 安装部署1.进入BIOS setup (开机时按Del按键,根据实际情况)--无非也就F2、Del 等等自己可以搜一下自己电脑的型号。虚拟机一般都是F2吧从光盘启动,其他的也可以在Boot里把CD-ROM启动项调在最前面。2.选择安装3.语言选择-英文(根据自己情况) 4.Installation summary4-1修改dat原创 2017-05-19 17:56:20 · 687 阅读 · 0 评论 -
linux获取多机CPU,Disk,mem信息脚本
主要是通过 /proc/cpuinfo /proc/meminfo 等来查看相关信息#!/bin/bashhost="ip1 ip2 ip3"rm -rf tt.logfor i in $hostdoecho -e "\033[33m-------${i} info-------\033[0m" >> tt.logssh $i "$(${@// /\\ }原创 2017-06-14 16:31:33 · 540 阅读 · 0 评论 -
使用IPMI安装操作系统--超微服务器为例,以及ipmivier安装与使用
转载整合声明:转载地址1:http://www.mamicode.com/info-detail-395844.html转载地址2:http://www.showerlee.com/archives/728介绍:通俗来说,IPMI(智能型平台管理接口,IntelligentPlatform Management Interface)可以控制服务器电源的开机、关机、重启,远程重装服务......转载 2017-06-15 17:06:57 · 36072 阅读 · 4 评论 -
简单的python学习 ftruncate fsync +python执行linux命令
#!/usr/bin/pythonimport os,sysfrom sys import argv#执行判断用法if len(sys.argv) <> 4: print "Usage: " + sys.argv[0] + " filename clonename times" sys.exit(-1)m=0;time=int(argv[3])t=0;len=...原创 2017-07-07 15:29:00 · 939 阅读 · 0 评论 -
Linux LVM安全删除硬盘或分区-
转载:http://blog.51yip.com/linux/1779.html背景:由于误操作,把三块盘LVM在一起了。挺尴尬的,都安装了系统了。然后由于某种原因,不方便重新安装。所以就想着把多余的两个磁盘踢出来。。描述:LVM总共700G,其中sda系统盘,sdb 536G,sdc 214G,实际数据使用空间164G,想要缩减空间做删除盘的操作。-从根目录删除盘 (根...转载 2017-05-12 16:49:07 · 8541 阅读 · 0 评论