自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

Eric_Xu

一个求学BOY的博客

原创 python-apitest接口自动化测试-初探框架学习

apitest2020 apitest2020 : study api test 学习接口自动化测试,学习了简单的自动化框架 平时工作比较忙,下班抽空搞的... 使用简单的django进行搭建简单的环境辅助自己测试用 基本使用 ###1. 启动z_djangodir 的manager...

2020-05-25 22:04:11 50 0

原创 linux 性能测试磁盘状态监测:iostat监控学习,包含/proc/diskstats、/proc/stat简单了解

背景 测试到性能、压力时,经常需要查看磁盘、网络、内存、cpu的性能值 这里简单介绍下各个指标的含义 一般磁盘比较关注的就是磁盘的iops,读写速度以及%util(看磁盘是否忙碌) CPU一般比较关注,idle 空闲,有时候也查看wait (如果wait特别大往往是io这边已经达到了瓶颈)...

2020-03-30 11:12:20 387 0

原创 docker里安装hadoop并把容器打包为镜像

环境准备 centos7.x机器为例 系统:Centos 7,内核版本3.10 宿主机准备工作 安装docker 安装需要的软件包,yum-util 提供yum-config-manager功能,另外两个是devicemapper驱动依赖的 yum install -y yu...

2020-02-28 22:40:36 69 0

原创 python3+selenium 自动化测试框架初探

python3+selenium 自动化测试框架初探 首先,对于软件测试行业的人员技术发展。我的个人看法是:不能一味的追求自动化测试、性能测试、压力测试的技术,而忽略了功能测试 不过对于大公司肯定是各司其职效率上肯定会有很大提升。 功能测试虽然是入门门槛低,但是其中涉及到的用例设计是需要很长一个...

2019-03-17 10:06:29 1848 0

原创 hadoop-yarn资源分配介绍-以及推荐常用优化参数

根据网上的学习,结合工作进行的一个整理。 如果有什么不正确的欢迎大家一起交流学习~ Yarn前言 作为Hadoop 2.x 的一部分,YARN采用MapReduce中的资源管理功能并对其进行打包,以便新引擎可以使用它们。 这也简化了MapReduce,使其能够做到最好,处理数据。 使用YARN...

2020-06-05 19:28:43 53 0

原创 Hadoop,Hbase测试工具介绍

Hadoop,Hbase测试工具介绍 Hadoop自带的测试工具 hadoop-mapreduce-examples-x.x.x.jar hadoop-mapreduce-client-jobclient-x.x.-tests.jar pi: A map/reduce program that ...

2020-06-05 19:23:27 53 0

原创 简单记录FIO和Vdbench的测试脚本

本篇文将简单记录一下FIO,Vdbench的测试脚本 FIO: 参数要求:单进程,粒度4k,directio,随机写,文件大小200m,队列深度20,测试时长10s fio -ioengine=libaio -bs=4k -direct=1 -rw=randwrite -size=200...

2020-05-25 21:51:47 138 0

原创 zabbix-监控磁盘的读写速率 、延时、IOPS、%util
原力计划

因为测试文件系统的读写或者应用的读写性能需要查看磁盘的读写速度和iops. zabbix 需要自发现磁盘并进行相应的处理才可以得到想要的值。 编写脚本,发现磁盘 discover_disk.py 语言:python2 当然是用其他语言也是可以的 这里贴出代码: #!/bin/env...

2020-03-21 16:22:57 289 0

原创 zabbix-增加cpu-mem-net监控

统计每个机器的资源 zabbix-增加cpu-mem-net监控 Load cpu负载; 一核CPU对应我们一条公路,一个进程对应一辆汽车。 在一条公路上,只有一辆汽车行驶,load=1没有出现拥堵的情况 如果有两量汽车行驶在一条公路上行驶,会出现拥堵的情况,需要排队,这是load=2...

2020-03-21 16:18:51 58 0

原创 zabbix-基本使用说明

主机群组 主机群组:就是一批主机放到一个群组里。比如有一批数据库的应用主机可以单独放到一个主机。后续可以统一对这些主机进行数据监控,统计。 模板 模板里包含了应用集,监控项,触发器,图形,聚合图形 相当于一系列监控参数的套餐吧 把模版应用到群组 添加主机 ...

2020-03-21 16:15:22 45 0

原创 zabbix-3.0安装步骤和web初始化-linux-centos-ubuntu
原力计划

节点ip Zabbix角色 主机名 A Zabbix-server, zabbix-agent hostnameA B Zabbix-agent ...

2020-03-20 13:57:59 53 0

原创 执行mysqldump 出现errno24错误:Too many open files

事件 需要对数据库xxxdb进行备份 执行 mysqldump --databases xxxdb > xxxdb.mysql 报错 mysqldump: Got error: 1016: “Can’t open file: ‘./xxxdb/userio_day6_12_hour.frm’...

2020-01-07 11:35:48 213 0

原创 Yarn-RM-HA配置文件添加

下面说明是基于之前基本环境(yarn)已经基本完成搭建后继续学习 高可用性功能以Active / Standby ResourceManager对的形式添加冗余,以消除此单点故障。 ZooKeepr能够为我们保证最终只有一个ResourceManager能够创建成功。创建成功的那个Resour...

2019-10-14 17:53:21 131 0

原创 hadoop-kerbero等相关搭建可能遇到的问题和排查

./datapool/loongoop/tmp/hadoop-yarn/staging/yarntest/.staging/job_1537338393901_0001/job.jar does not exist 问题:18/09/19 14:27:38 INFO mapreduce.Job: ...

2019-09-11 10:57:16 1147 0

原创 centos7.x安装 LDAP 记录

centos7.x安装 LDAP / /systemctl start slapd 安装前系统设置 1、防火墙设置 centos7.0+ 默认防火墙为firewalld #停止firewall # systemctl stop firewalld.service #禁止firewa...

2019-03-13 17:52:29 312 0

原创 记录千兆网卡变百兆速率事件(linux)以及查询、恢复方式

事件: 某日跑着数据,突然发现千兆网卡变成了百兆速率(网卡低速),导致各种超时异常。 查询: 使用atop查看网卡的速率变成了 100Mbps !! 没有atop的可以使用ethtool +网卡名 查看 使用ethtool命令。 ethtool是Linux下用于查询及设置网卡参数的...

2018-04-14 10:01:47 5709 0

转载 安装MySQL5.6.27数据库-整理

转载地址:http://blog.csdn.net/typa01_kk/article/details/49058593centos MySQL-client-5.6.27-1.el6.x86_64.rpm  MySQL-devel-5.6.27-1.el6.x86_64.rpm  MySQL-s...

2017-11-21 14:19:31 440 0

原创 hadoop运行在kylin(ubuntu)上,造成ssh断开,机器中断

问题: 麒麟(/ubuntu)上运行hadoop时,造成机器ssh中断能ping通但是不可以ssh 只有重启机器才能解决问题 环境: os:kylin4.0.2、Ubuntu16.04 (内核4.4.x) procps 版本: 3.3.10-4kord3k1 ---- 日志分析:...

2017-10-20 13:49:35 576 0

转载 mysql InnoDB: Unable to lock ./ibdata1, error: 11

mysql InnoDB: Unable to lock ./ibdata1, error: 11 原文链接:http://blog.csdn.net/ppdouble/article/details/7721301 问题复现: (未知) 可能是未停止数据库,进行修改my.cnf data...

2017-08-01 14:27:56 3404 0

原创 数据库的问题:InnoDB: Unable to lock ./ibdata1, error: 37

问题原因:可能由于数据库内容,挂载在了nfs;然后nfs或者mysql重启导致 [root@mysql ~]# InnoDB: Unable to lock ./ibdata1, error: 37 100810 13:48:30 InnoDB: Retrying to lock the fir...

2017-07-28 10:20:52 1577 0

原创 samba简单免密搭建方式

samba简单免密搭建方式 centos : vim /etc/samba/smb.conf 写入如下内容:(或者把之前的smb.conf mv 成smb.conf.bk) [global] # Global settings workgroup = WORKGROUP ...

2017-07-18 17:06:40 711 0

原创 NFSv4 挂载--简单介绍

NFSv4 挂载--简单介绍 问题: 挂载nfs4时,报错:reason given by server :No such file or directory 知识: NFSv4将所有共享使用一个虚拟文件系统展示给客户端。伪文件系统根目录(/)使用fsid=0标示,只有...

2017-07-18 16:57:53 5950 0

原创 windows上安装iozone测试工具

下载地址:http://www.iozone.org/ Download Source:  [Latest tarball] [Latest files] [Stable tarball] [Stable files]  [Linux SRPM ]  [Linux i386 R...

2017-07-18 15:04:16 1237 0

原创 简单的python学习 ftruncate fsync +python执行linux命令

#!/usr/bin/python import os,sys from sys import argv #执行判断用法 if len(sys.argv) <> 4: print "Usage: " + sys.argv[0] + " filena...

2017-07-07 15:29:00 777 0

原创 Linux在64位运行32位程序(安装32位库:rpm、deb)

记录: ------------------------------------------------------------------- centos7.x 安装了glibc:glibc-2.17-157.el7.i686 glibc-2.17 nodeps安装,即可运行cfgm2 ...

2017-06-16 09:42:11 6339 0

转载 使用IPMI安装操作系统--超微服务器为例,以及ipmivier安装与使用

转载整合声明: 转载地址1:http://www.mamicode.com/info-detail-395844.html 转载地址2:http://www.showerlee.com/archives/728 介绍: 通俗来说,IPMI(智能型平台管理接口,IntelligentPlat...

2017-06-15 17:06:57 22006 0

原创 linux获取多机CPU,Disk,mem信息脚本

主要是通过 /proc/cpuinfo  /proc/meminfo 等来查看相关信息 #!/bin/bash host="ip1 ip2 ip3" rm -rf tt.log for i in $host do echo -e "\033[33m-------$...

2017-06-14 16:31:33 325 0

原创 linux下的CPU、内存、IO、网络的压力测试工具与方法介绍

一、对CPU进行简单测试: 1、通过bc命令计算特别函数 例:计算圆周率 echo "scale=5000; 4*a(1)" | bc -l -q 2.我工作中一般用一个死循环进行cpu占用,这样可以比较持续,简单粗暴的进行~~ while [ 1 ] do e...

2017-06-05 16:52:50 22546 0

原创 Linux-CentOS7.x的安装步骤图文详情

Centos 7.2 安装部署 1.进入BIOS setup (开机时按Del按键,根据实际情况) --无非也就F2、Del 等等自己可以搜一下自己电脑的型号。虚拟机一般都是F2吧 从光盘启动,其他的也可以在Boot里把CD-ROM启动项调在最前面。 2.选择安装 3.语言选择-英文(根据自己...

2017-05-19 17:56:20 518 0

转载 vnc 连接linux centos 7 系统的桌面

一些 VNC 服务器的优点: 远程的图形管理方式让工作变得简单方便。 剪贴板可以在 CentOS 服务器主机和 VNC 客户端机器之间共享。 CentOS 服务器上也可以安装图形工具,让管理能力变得更强大。 只要安装了 VNC 客户端,通过任何操作系统都可以管理 CentOS 服务器了。 比 ...

2017-05-19 14:05:18 2096 0

转载 Linux LVM安全删除硬盘或分区-

转载:http://blog.51yip.com/linux/1779.html 背景: 由于误操作,把三块盘LVM在一起了。挺尴尬的,都安装了系统了。然后由于某种原因,不方便重新安装。所以就想着把多余的两个磁盘踢出来。。 描述: LVM总共700G,其中sda系统盘,sdb 536G...

2017-05-12 16:49:07 5642 0

原创 shell写循环ssh登陆多机执行命令

#!/bin/sh localhost="192.168.56.122 192.168.56.121" rm -rf dd.log echo '统计显示' >> dd.log for i in $localhost do         ec...

2017-05-07 19:44:35 1282 0

原创 hbase参数调整

简单的参数调整,适合初级学习 1.hbase中hfile的默认最大值(hbase.hregion.max.filesize) 256MB  --10GB?? 根据结果得到如下结论:值越小,平均吞吐量越大,但吞吐量越不稳定;值越大,平均吞吐量越小,吞吐量不稳定的时间相对更小。 ...

2017-05-07 19:40:48 1908 0

转载 关于yarn内存的介绍,很实用给出了很好的建议

一篇外网的文章,收藏很好 HOW TO PLAN AND CONFIGUREYARN AND MAPREDUCE 2 IN HDP 2.0 by Rohit Bakhshi   As part of HDP 2.0 Beta, YARN takes theresource m...

2017-05-07 19:39:33 343 0

原创 hive环境搭建

hive环境搭建相比较其他组件而言,很简单   1安装mysql (如果机器自带可以省略该步骤) [root@localhost hive-x.x.x]# yum install mysql  mysql-server mysql-devel 设置mysql配置文件/etc/...

2017-05-07 19:37:26 362 0

原创 spark环境搭建

节点 角色 node102 master+worker node103 worker node104 worker  在此之前已经安装好了hadoop环境   首先下载安装包spar...

2017-05-07 19:35:09 206 0

转载 yarn-内存相关基本参数设置(转)

【YARN中内存资源的调度和隔离】 基于以上考虑,YARN允许用户配置每个节点上可用的物理内存资源, 注意,这里是“可用的”,因为一个节点上的内存会被若干个服务共享, 比如一部分给YARN,一部分给HDFS,一部分给HBase等,YARN配置的只是自己可以使用的,配置参数如下: ...

2017-05-07 19:33:47 207 0

原创 shell循环登陆多台机器进行命令执行

1.首先保证机器之间是可以 ssh免密登陆的 2.编写shell脚本 [root@localhost opt]# vim ssh.sh  #!/bin/sh ip="192.168.56.122 192.168.56.121" rm -rf dd.lo...

2017-05-07 19:13:02 1753 0

提示
确定要删除当前文章?
取消 删除