- 博客(47)
- 收藏
- 关注
RSS订阅原创 k8s自定义调度器
k8s可使用自定义使用调度器。内置调度器算法可在预选算法查看，优选算法查看。优选算法分数范围在0-10分。常用的优选算法介绍：least_requested分值计算方式 (cpu((capacity-sum(requested))*10/capacity) + memory((capacity-sum(requested))*10/capacity))/2其cpu和menmory分值各占...
2019-08-21 09:39:17
4113
2
原创 k8s相关
k8s dashboard yaml 下载# wget https://raw.githubusercontent.com/kubernetes/dashboard/v1.8.1/src/deploy/recommended/kubernetes-dashboard.yaml # 下载https版本# wget https://raw.githubusercontent.com/ku...
2018-05-25 11:38:12
1297
原创 collectd+python监控磁盘io信息
python代码import subprocessimport collectdimport timeNAME = 'io_info'VERBOSE = Truedef get_stats(): value = [] io_value = [[]] subprocess.Popen("iostat -d -m -x 1 2 | grep -E 'dm-2' | tail
2017-05-17 15:04:17
2819
原创 jmxtrans+influxdb+granafa监控hbase
目前监控hadoop集群的主要工具有ganglia，nagios，zabbix等。其中ganglia最方便，hadoop中有自带jmx接口，启用了就行，但使用默认的监控方式，监控服务器磁盘会吃不消，并产生大量数据，故需要进行过滤（支持正则表达式），能过滤大量无用信息，但效果没有想象的好，个人觉得主要原因在于ganglia默认界面太丑，重复图片过多，一个监控项有四个图，占位置，且默认使用rrd数据库，
2017-03-18 21:46:17
7487
1
原创 hbase 安全管理（kerberos）配置完成启动方式
如若启动方式采用如下形式：# start-hbase.sh发现master和region都起来了，但master中日志中一直打印如下日志：2017-03-13 17:00:39,368 INFO [d721:60000.activeMasterManager] master.ServerManager: Waiting for region servers count to settle; cur
2017-03-14 11:46:41
4269
原创 在hadoop2.X集群中安装压缩工具snappy（主要用于hbase）
在hadoop集群中snappy是一种比较好的压缩工具，相对gzip压缩速度和解压速度有很大的优势，而且相对节省cpu资源，但压缩率不及gzip。在此不讨论孰优孰劣，各有各的用途。 在此，hadoop集群采用的版本是hadoop-2.6.0-cdh5.9.0，系统是centos7.2。安装前提：java 7(使用java 8会报一个错误)java安装并配置PATH# rpm -ivh jdk-7u
2017-02-25 00:38:01
7074
7
原创 在hbase shell中过滤器的简单使用
在hbase shell中查询数据，可以在hbase shell中直接使用过滤器：# hbase shell> scan 'testByCrq', FILTER=>"ValueFilter(=,'substring:111')"如上命令所示，查询的是表名为testByCrq，过滤方式是通过value过滤，匹配出value含111的数据。 因在hbase shell中一些操作比较麻烦（比如删除字符
2017-02-22 13:54:29
22945
1
原创 对mysql的information_schema库的一些认知
information_schema数据库中表的信息如下所示：mysql > show tables;+---------------------------------------+| Tables_in_information_schema |+---------------------------------------+| CHARACTER_SETS
2017-02-13 19:02:01
4434
原创 linux一条命令使设备变砖
本以为在centos7上执行了这么一条命令rm -rf / --no-preserve-root只会将centos系统给格掉，结果，系统没法进入bios了，估计得换主板了吧。。。 原因在此文有所介绍：http://www.wpboxs.com/command-to-destory-computer.html 以下摘录部分内容：该用户的主板是现在主流的uefi，而 archlinux 的初始化in
2017-02-08 11:02:43
3686
原创 数据库的监控工具天兔（lepus）安装备案
前言关闭防火墙和selinux。 lepus安装ip地址：192.168.1.171.安装apache下载解压httpd：# tar xf httpd-2.2.31.tar.gz 进入httpd-2.2.311.2.编译安装编译命令如下：# ./configure --prefix=/usr/local/apache2 --enable-rewri
2017-01-13 15:33:46
1486
原创 修复hadoop集群时间与系统时间不一致问题
重启了hadoop集群主机之后，hadoop集群log中的时间一直不是系统时间，不知是装系统时的遗留问题（安装系统时区没有更改过）还是怎么。通过浏览http://hadoop:60010/jmx可看到user.timezone（时区）的value值是/America/New_York，并不是我们当前系统的时区。目前我的解决方法是添加hadoop、yarn和hbase的env的配置文件内容，分别如下：
2017-01-12 13:55:06
9813
原创 如何避免无效报警？
最近一段时间比较忙，没能对nagios的报警机制进一步了解，也产生了些无效报警，比如，因mv操作产生了大量process而引起的报警应当禁止掉（可用cp+rm操作代替，但rm能避免就尽量避免）。还有相同报警内容有两个报警项，比如rabbitmq集群队列消费的报警，在多台机器上队列消费的数据应该是相同的，没必要在两台机器上都弄相同的报警项。 无效的报警的确浪费人的精力或对报警信息视而不见！等空下来好
2017-01-08 22:30:23
720
原创 keepalived单个服务绑定vip实验（服务级别高可用）
标题是个伪命题，该实验的结果如图所示： 感觉keepalived可以支持服务（ip:port）级别的高可用。keepalived可以支持多个vip并可根据脚本来转换单个vip至不同服务器上，感觉有这个功能就能做到服务级别的高可用，单个服务绑定单个vip。之前一直认为keepalived是服务器级别的高可用，转移了一个vip就得全部转移。vrrp_script和vrrp_instance相互绑定
2016-12-25 10:44:53
5561
原创 VBox虚拟机内系统转移（安装方式VBoxManage）
通过命令行安装的全部系统转移方式相对简单，方法：将vbox虚拟机及～目录下的.config/VirtualBox复制至你想复制至的服务器内，目录设置和原先一样即可。通过命令启动nohup VBoxHeadless -startvm 虚拟机名 &。
2016-11-28 20:34:16
3317
原创 ganglia更改数据存储目录
首先停止ganglia服务，更改相关配置文件并将ganglia收集的数据复制至你想放置的目录：# cat /etc/ganglia/gmetad.confrrd_rootdir "/home/ganglia/rrds"# cp rrd文件目录 /home/ganglia/rrds启动相关服务，可见数据已经向/home/ganglia/rrds的目录下文件读入，但web界面没有任何数据图像，故更改
2016-11-23 09:58:19
1203
原创 python小程序：查找nginx日志文件的ip点击率并排序
def nginxIpCounter(nginxFile): ipCounter = { } with open(nginxFile) as f: for line in f: ip = line.split(" ",1)[0] if 6<=len(ip) <= 15: ipCounter
2016-11-10 13:40:13
782
原创 对ruby服务设置自动重启，出错并解决（记录）
日前，安装一个静态文档模板slate，改程序是使用通过ruby写的，slate项目github地址：https://github.com/lord/slate 。安装过程，所需依赖版本，在此网址均有描述，在此不再复述。 本来安装完并没有考虑让其自动重启，但因其挂掉频率过高，故考虑之。 在/etc/systemd/system目录下编辑文件：# cat slate-server.service[
2016-11-09 13:46:56
3928
翻译 docker 实例设置自动重启
因docker某实例经常无缘无故断开(docker run 没有加–restart=always)，需要手动重启，不方便，故需要设置docker自动重启。 建立一个docker实例：# docker run -i -t --name=centos_test centos /bin/bash[root@37efbe6ce02f /]# exitexit因已经exit，故此实例停止了。 下面对该
2016-11-07 19:14:25
10509
原创 日常运维遇到的部分问题集（解决方案来源自网络）
系统自带工具yum，rpm命令卡死，（无错误提示）解决参考（ref）：http://www.aikaiyuan.com/10643.html （重点：rpm包的数据库遭到损坏，执行 rm -f /var/lib/rpm/__db.00* 和 rpm –rebuilddb 命令即可。）
2016-11-03 09:42:30
6922
原创 jConsole及visual VM通过JMX远程监控hbase的regionserver
修改hbase的配置文件conf/hbase-env.sh,将以下内容注释取消：# export HBASE_JMX_BASE="-Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.authenticate=false"# export HBASE_MASTER_OPTS="$HBASE_MASTER_OP
2016-10-17 22:06:21
3645
原创 部分个人收藏文章（hbase）
hbasefly http://hbasefly.com/2016/08/09/hbase-cms-gc/ HBase最佳实践－CMS GC调优
2016-10-14 12:48:20
388
原创 R连接hbase错误（Can't get the location）
最近R通过thrift连接hbase经常报出如下错误，该问题一般是连接超时引起的，可通过修改配置文件解决。2016-10-09 14:33:58,573 WARN [thrift-worker-13] thrift.ThriftServerRunner$HBaseHandler: Can't get the locationorg.apache.hadoop.hbase.client.Retri
2016-10-13 12:00:52
6721
原创 部分个人收藏文章（数据库）
https://www.zhihu.com/question/30934556#answer-44094419 什么情况下，需要使用分布式数据库？
2016-10-09 09:35:03
459
原创 部分个人收藏文章（python）
https://www.zhihu.com/question/38192299#answer-45668212 你见过哪些令你瞠目结舌的爬虫技巧？ https://zhuanlan.zhihu.com/p/22275595?refer=python-cn 教你阅读Python开源项目代码
2016-10-09 08:54:52
389
原创 hbase数据无法导入问题（org.apache.hadoop.hbase.NotServingRegionException: Region is not online）
今天通过java进行数据导入，导入数据很慢，慢到可以忽略不计，故查看日志,出现如下类似错误：org.apache.hadoop.hbase.NotServingRegionException: Region is not online可先通过hbase hbck进行检查是否正常，一般会提示不一致（INCONSISTENT），一般方法为通过命令：hbase hbck -fix修复。修复成功状态为OK。
2016-09-26 16:49:24
10394
2
原创 在linux中对vbox的cpu使用率监控
目前，每天中午cpu的负载都会突然增加，通过htop命令查看到此时的vbox的cpu占用率一致蛮高的，便计划对vbox的cpu使用率进行计划性监控，最开始的想法很简单就是通过调用top命令来进行cpu使用率的监控，但监控了好几天，发现值一直为0，而htop中值是一直有变化的，正常的结果也不应该为0，可惜，我没法对htop进行重定向，便计划通过/proc/<pid>/stat文件中的数据进行监控。可是
2016-09-13 11:55:46
1150
原创 对ssh操作远程主机的部分认知
通过互信后，可使用ssh命令直接操作远程主句，如：# ls123 cpu_info nagios-plugins-2.1.1# ssh root@192.168.78.130 "ls"anaconda-ks.cfgnagios-4.1.1.tar.gznagios-plugins-2.1.1如上，通过命令ssh root@
2016-09-11 14:01:34
243
原创 mysqldumpslow使用及部分参数释义
mysqldumpslow是mysql自带的分析slow.log文件的工具。 通过分析slow.log文件对慢查询优化很有帮助。 mysqldumpslow常用的使用方式如下：# mysqldumpslow -s c slow.log如上一条命令，应该是mysqldumpslow最简单的一种形式，其中-s参数是以什么方式排序的意思，c指代的是以总数从大到小的方式排序。 -s的常用子参数有：
2016-09-10 17:03:41
2054
原创 linux常用命令集锦
cdcd命令一般用于路径的跳转，路径也有绝对路径和相对路径之分，如：/home/mysql/data就是绝对路径，绝对路径就是从根目录开始写，到你想想要的目录为止。查看当前的绝对路径可通过pwd命令查看。/home/mysql/data../mysql/data如上包括一个绝对路径，一个相对路径，“./mysql“表示当前mysql目录，“../mysql“则表示/home目录。 cd命令还有一
2016-09-03 00:27:24
240
原创 R语言连接hbase问题疑解
应数据部门需要，R要调用hbase。因已安装了thrift框架并启动了服务，所以便直接安装了rhbase包，安装完毕后，调用rhbase：# R>library(rhbase)>hb.init() <pointer: 0x16494a0> attr(,"class") [1] "hb.client.connection">hb.list.tables() 未定义
2016-08-29 19:15:26
2627
原创 ruby管理工具rvm
安装rvm根据官网显示，只需执行以下两条命令即可安装：# gpg --keyserver hkp://keys.gnupg.net --recv-keys 409B6B1796C275462A1703113804BB82D39DC0E3# \curl -sSL https://get.rvm.io | bash -s stable执行完以上两条命令后会有如下提示： * First you nee
2016-08-24 19:39:34
656
原创 nohup使用密码在后台运行
在不使用密码的情况下使用nohup，只需按如下形式即可：# nohup 命令 &在无需密码的情况下，按照如上类似命令，即可在后台运行。如果有密码的话，则需要进行一定的修改，使用方式如下：# nohup 命令回车后，会让你输入密码，密码输入完成回车后，点击ctrl+z，在输入如下命令即可：# bg至此，完成。
2016-08-18 17:03:55
2930
原创 linux相关应当尽量避免的命令，操作及设置
rm －rf命令直接使用rm -rf 而不考虑删除的文件，目录，路径是否正确，很容易误删文件，在centos使用rm命令是有提示，是否应当使出，但加上－r选项后，文件便强制删除，没有任何提醒，使用rm -rf，应尽量谨慎。在ssh客户端开启右键粘贴个人认为鼠标右键还是容易误点的，如果，你复制部分文本，而该文本中恰好有shutdown －h now再加上个换行，在ssh客户端操作时，不小心点了右键，那
2016-08-17 20:31:53
281
原创 hbase协处理器引发的问题解决方案
因协处理器涉及不当导致regionserver停工，没法启动，可以先在配置文件hbase-site.xml文件中将hbase.coprocessor.abortonerror设为false。让hbase继续启动，但此事你无法见协处理器卸载，若要将其卸载，需创建backup-master，创建方法为，新建配置文件：backupmasters，在此文件中键入backup -master的hostname
2016-08-16 20:01:51
3235
原创 nagios自写插件如何通过pnp4nagios绘图
安装nagios及pnp4nagios后正常情况下自带的插件均可以绘出图形，而自写的插件不做一定的处理，在pnp4nagios下是没有图形显示的。在此使用nagios自带的check_swap插件做一定的介绍：# /usr/local/nagios/libexec/check_swap -w 30% -c 20%SWAP OK - 90% free (7098 MB out of 7951 MB)
2016-08-13 23:44:00
986
原创 安装ganglia及监控haoop
ganglia的web功能需要php的支持 192.168.78.129 master 192.168.78.130 slave1在下master安装安装httpd和php# yum -y install httpd php php-ZendFramework php-gd rrdtool php-xml 安装ganglia# rpm -ivh ganglia-3.7.2-2.el7.x86_6
2016-08-10 17:33:16
492
原创 python的zip函数
＃＃＃1.示例一：>>> a = [1,2,3]>>> b = [2,3,4]>>> ab = zip(a,b)>>> print ab[(1, 2), (2, 3), (3, 4)]>>> type(a)<type 'list'>>>> type(ab)<type 'list'>2.示例二：>>> x = (1,2,3)>>> y = (2,3,4)>>> xy = zip(x
2016-08-08 20:18:32
234
原创 redis通过SLAVEOF命令进行主从配置
在此不介绍修改配置文件的方式来进行主从配置，关于此网上资料已经很多了，此篇博客只是用来充个数。 假设，你已经启动了redis服务，并不想重启redis服务进行主从配置。# redis-cli -p 8000> SLAVEOF 192.168.78.129 8000如上，192.168.78.129是主redis的host，8000为主redis的port。＃ redis-cli -p 8000
2016-08-05 23:07:10
14223
原创 influxdb时间序列数据库版本升级
influxdb0.9x和1.0x版本的数据存储引擎不一致，前者是bz或bz1，后者是tsm，如果直接升级，不更改存储引擎，1.0x版本无法读出0.9x的数据。 升级方式是停止influxdb并之后卸载influxdb0.9x，卸载完成后安装influxdb1.0x，先不要启动服务，运行以下命令：influx_tsm -backup /tmp/influxdb_backup /var/lib/in
2016-08-03 20:13:32
2839
原创 Influxdb+collectd+grafana搭建现代化监控系统
在此采用centos＋Influxdb＋collectd＋grafana搭建监控系统，特此说明下influxdb的0.9,0.10,0.11,0.12均不支持delect功能，0.8和0.13支持delect功能，故个人建议第一次装的话还是采用0.13吧。 第一步安装centos7 ，在此不描述。 第二步安装influxdb：＃ cat <<EOF | sudo tee /etc/yum.rep
2016-08-01 19:35:19
3589
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人