- 博客(20)
- 资源 (15)
- 收藏
- 关注
RSS订阅原创 zabbix_server 主机自动发现: Discovery
zabbix_server的自动发现，实现批量添加主机，并链接到模板 测试环境的节点不多，我竟然一个个的手动添加了，生产环境可不能这么干。 1.zabbix server 已经部署好，所需要加入的服务器zabbix-agent已经安装。 2.防火墙都开放端口，主要是10050、10051端口，或者关闭整个iptableszabbix-agent客户端的设置1.打开zabbix-agent.c
2017-12-29 17:57:02
491
原创 如何优雅的反射得到Bean，无视属性类型
从hbase中得到了scan结果如果不用spring hbase 模块如何自己实现解析。 这个是在使用hbase中的一个难题。下面就用 hbase中的结果作为实例，展示一下。如果有更好的方法，请回复哦，相互学习。 该解析工具类经过几次抽象迭代，得到的结果，通用性很高，特来分享下。 在github 中也有完整的使用，请查收，欢迎follow。
2017-12-27 17:14:05
526
转载 shell脚本进行sftp文件批量上传与下载
http://blog.csdn.net/u012204058/article/details/53160419使用linux 的shell脚本进行sftp文件上传与下载批量上传：#!/bin/bash#SFTP配置信息#用户名USER=root#密码PASSWORD=5EYS40T04BMF#待上传文件根目录SRCDIR=/u02/dab/sftpFiles#FTP目录DESDIR
2017-12-19 18:10:46
2712
原创 HBase G1 GC 调优，GC时间缩短为原来的20%左右。
对hbase调优，是很必要的，明显提升响应性能。下面晒下GC调优的成果，是原来CMS GC峰值的10%，历史均值的20%左右 ，调优后GC稳定在200ms左右。之前是CMS GC不过忘了记录原始的GC配置了。 Parallel GC : Throughput friendly 目前处于维护模式，赶紧放弃吧 CMS GC: low latency for heap < 32...
2017-12-19 15:22:00
13290
原创 hbase 性能测试
n_splits = 40 create ‘usertable’,’family’,{SPLITS => (1..n_splits).map {|i| “user#{1000+i*(9999-1000)/n_splits}”}}create ‘usertable_snappy’,’family’,{SPLITS => (1..n_splits).map {|i| “user#{1000+i*(99
2017-12-19 09:59:21
704
原创 Marthon docker 配置fluent示例 以及tag使用
Marthon docker 配置fluent示例，加上tag，进行后期fluent进行分类处理更方便。 "parameters": [ { "key": "log-driver", "value": "fluentd" }, { "key": "log-opt", "value": "fl
2017-12-15 16:40:40
848
原创 Building online HBase cluster of Zhihu based on Kubernetes
Building online HBase cluster of Zhihu based on Kubernetes 采用 Kubernetes 进行hbase部署，扩展性大大增强。https://www.slideshare.net/HBaseCon?utm_campaign=profiletracking&utm_medium=sssite&utm_source=ssslideview同样对s
2017-12-14 15:33:20
578
原创 Marthon docker 配置fluent示例 以及tag使用
Marthon docker 配置fluent示例，加上tag，进行后期fluent进行分类处理更方便。 “parameters”: [ { “key”: “log-driver”, “value”: “fluentd” }, { “key”: “log-opt”, “valu
2017-12-14 11:10:04
533
转载 How to Tune Your HBase Cluster 怎样对hbase进行内存调优
from: https://blogs.apache.org/hbase/entry/tuning_g1gc_for_your_hbaseTuning G1GC For Your HBase ClusterGraham Baecher is a Senior Software Engineer on HubSpot's infrastructure team and E
2017-12-14 11:03:24
1184
转载 windows远程访问ubuntu下的jupyter notebook必要配置
windows远程访问ubuntu下的jupyter notebook必要配置要点导航0.生成配置文件（一般采用默认） 1.打开ipython, 创建一个密文密码 2.修改默认配置 3.启动jupyter即可 4.在windows采用ip+端口号访问即可 回到导航 0.生成配置文件（一般采用默认）jupyter notebook –generate-config 回到导航 1.打开i
2017-12-10 16:30:56
547
原创 XGBoost 安装失败最后尝试的一种方法
xgboost 0.4 和 0.6 不兼容 导致需要升级到0.6 。尝试了各种方法安装xgboost， 最简单的 pip install -i https://pypi.tuna.tsinghua.edu.cn/simple xgboost最后没办法 直接从https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/win-64/ 下载对应的 压
2017-12-10 13:10:55
2462
原创 jupeter notebook keyboard shortcuts
The Jupyter Notebook has two different keyboard input modes. Edit mode allows you to type code/text into a cell and is indicated by a green cell border. Command mode binds the keyboard to notebook lev
2017-12-09 20:07:21
552
原创 clouder manager 配置邮件告警服务，对集群服务进行监控
clouder manager 配置邮件告警服务，对集群服务进行监控。有些服务可以采用zabbix进行监控，但是有些自带监控的就可以省去配置烦恼。 曾经考虑监控对应的服务端口的方式进行集群监控，也做过clouder manager API 进行监控的方式。此外 CM提供两种告警方式。 如图有两种方式 1.采用自带的邮件告警系统，只需要配置相应的邮件服务器，以及邮箱地址，以及SMTP服务密码，需
2017-12-07 15:17:38
2867
原创 yum rpm 说明
rpm是由红帽公司开发的软件包管理方式，使用rpm我们可以方便的进行软件的安装、查询、卸载、升级等工作。但是rpm软件包之间的依赖性问题往往会很繁琐,尤其是软件由多个rpm包组成时。Yum（全称为 Yellow dog Updater, Modified）是一个在Fedora和RedHat以及SUSE中的Shell前端软件包管理器。基於RPM包管理，能够从指定的服务器自动下载RPM包并且安装，可以自
2017-12-07 12:14:52
507
转载 Tuning Java Garbage Collection for HBase
This guest post from Intel Java performance architect Eric Kaczmarek (originally published here) explores how to tune Java garbage collection (GC) for Apache HBase focusing on 100% YCSB reads.Ap
2017-12-06 18:24:39
525
翻译 Understanding G1 Log
Understanding G1 LogTo understand the log, this section defines a number of terms using actual GC log output. The following examples show output from the log with explanations of the terms and values y
2017-12-06 18:15:09
422
原创 Hbase 热点问题3种解决方案
Hbase 热点问题3种解决方案对hbase进行观察总是有个别的regionserver的request个数远大于其他的region server的请求数量，考虑到数据应该由倾斜，查找了一些方案，无非就是row key 进行hash 。但是仍然有数据是倾斜的，考虑了一下，想了其他的方案，结合region的 balance on table level，split hot region and mov
2017-12-04 13:33:53
3063
1
转载 DevOps平台架构（Platform Architecture）
DevOps平台架构（Platform Architecture）《虚拟化平台（Platform）》新建网络Network首先创建VxNet私有网络，然后器创建SubNet子网，最后配置IP、开启GW和DHCP、设置DNS、连接Router。新建主机Instance选择主机配置；绑定公网IP（是否绑定负载均衡LB），绑定私网IP，绑定安全组；管理认证密钥。路由器；通讯网关，
2017-12-01 18:12:53
5568
原创 Hbase Region Load Balance on Table Level
说明hbase 提供region balance，但是针对所有表进行region的重分配，但是不能达到表级别的region平均分配到各个regionServer上。下面代码实现了表级别的region分配逻辑，在此给大家分享下。import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.*;
2017-12-01 12:24:41
1845
useragent解析逻辑&手机品牌匹配.txt
2021-11-22
shakespeare.json&logs;.jsonl.gz&accounts;.zip
2018-01-10
kafka-manager 1.3.3.15
2018-01-08
百度网盘 数据仓库工具箱 维度建模权威指南 第3版 全
2017-10-16
数据仓库工具箱 维度建模权威指南 第3版
2017-10-16
IDEA 创建scala工程并打指定的依赖包
2017-08-11
hbase自定义Comparator进行数值比较
2016-11-07
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人