自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

mtj66的博客,交流WX:SpringBreeze1104

一个开发的进阶历程

  • 博客(20)
  • 资源 (15)
  • 收藏
  • 关注

原创 zabbix_server 主机自动发现: Discovery

zabbix_server的自动发现,实现批量添加主机,并链接到模板 测试环境的节点不多,我竟然一个个的手动添加了,生产环境可不能这么干。  1.zabbix server 已经部署好,所需要加入的服务器zabbix-agent已经安装。 2.防火墙都开放端口,主要是10050、10051端口,或者关闭整个iptableszabbix-agent客户端的设置1.打开zabbix-agent.c

2017-12-29 17:57:02 491

原创 如何优雅的反射得到Bean,无视属性类型

从hbase中得到了scan结果如果不用spring hbase 模块如何自己实现解析。 这个是在使用hbase中的一个难题。下面就用 hbase中的结果作为实例,展示一下。如果有更好的方法,请回复哦,相互学习。 该解析工具类经过几次抽象迭代,得到的结果,通用性很高,特来分享下。 在github 中也有完整的使用,请查收,欢迎follow。

2017-12-27 17:14:05 526

原创 zabbix agent rpm 包安装

zabbix agent 安装流程history

2017-12-25 11:40:12 1378

转载 shell脚本进行sftp文件批量上传与下载

http://blog.csdn.net/u012204058/article/details/53160419使用linux 的shell脚本进行sftp文件上传与下载批量上传:#!/bin/bash#SFTP配置信息#用户名USER=root#密码PASSWORD=5EYS40T04BMF#待上传文件根目录SRCDIR=/u02/dab/sftpFiles#FTP目录DESDIR

2017-12-19 18:10:46 2712

原创 HBase G1 GC 调优,GC时间缩短为原来的20%左右。

对hbase调优,是很必要的,明显提升响应性能。下面晒下GC调优的成果,是原来CMS GC峰值的10%,历史均值的20%左右 ,调优后GC稳定在200ms左右。之前是CMS GC不过忘了记录原始的GC配置了。 Parallel GC : Throughput friendly 目前处于维护模式,赶紧放弃吧 CMS GC: low latency for heap < 32...

2017-12-19 15:22:00 13290

原创 hbase 性能测试

n_splits = 40 create ‘usertable’,’family’,{SPLITS => (1..n_splits).map {|i| “user#{1000+i*(9999-1000)/n_splits}”}}create ‘usertable_snappy’,’family’,{SPLITS => (1..n_splits).map {|i| “user#{1000+i*(99

2017-12-19 09:59:21 704

原创 Marthon docker 配置fluent示例 以及tag使用

Marthon docker 配置fluent示例,加上tag,进行后期fluent进行分类处理更方便。 "parameters": [ { "key": "log-driver", "value": "fluentd" }, { "key": "log-opt", "value": "fl

2017-12-15 16:40:40 848

原创 Building online HBase cluster of Zhihu based on Kubernetes

Building online HBase cluster of Zhihu based on Kubernetes 采用 Kubernetes 进行hbase部署,扩展性大大增强。https://www.slideshare.net/HBaseCon?utm_campaign=profiletracking&utm_medium=sssite&utm_source=ssslideview同样对s

2017-12-14 15:33:20 578

原创 Marthon docker 配置fluent示例 以及tag使用

Marthon docker 配置fluent示例,加上tag,进行后期fluent进行分类处理更方便。 “parameters”: [ { “key”: “log-driver”, “value”: “fluentd” }, { “key”: “log-opt”, “valu

2017-12-14 11:10:04 533

转载 How to Tune Your HBase Cluster 怎样对hbase进行内存调优

from: https://blogs.apache.org/hbase/entry/tuning_g1gc_for_your_hbaseTuning G1GC For Your HBase ClusterGraham Baecher is a Senior Software Engineer on HubSpot's infrastructure team and E

2017-12-14 11:03:24 1184

转载 windows远程访问ubuntu下的jupyter notebook必要配置

windows远程访问ubuntu下的jupyter notebook必要配置要点导航0.生成配置文件(一般采用默认) 1.打开ipython, 创建一个密文密码 2.修改默认配置 3.启动jupyter即可 4.在windows采用ip+端口号访问即可 回到导航 0.生成配置文件(一般采用默认)jupyter notebook –generate-config 回到导航 1.打开i

2017-12-10 16:30:56 547

原创 XGBoost 安装失败最后尝试的一种方法

xgboost 0.4 和 0.6 不兼容 导致需要升级到0.6 。尝试了各种方法安装xgboost, 最简单的 pip install -i https://pypi.tuna.tsinghua.edu.cn/simple xgboost最后没办法 直接从https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/win-64/ 下载对应的 压

2017-12-10 13:10:55 2462

原创 jupeter notebook keyboard shortcuts

The Jupyter Notebook has two different keyboard input modes. Edit mode allows you to type code/text into a cell and is indicated by a green cell border. Command mode binds the keyboard to notebook lev

2017-12-09 20:07:21 552

原创 clouder manager 配置邮件告警服务,对集群服务进行监控

clouder manager 配置邮件告警服务,对集群服务进行监控。有些服务可以采用zabbix进行监控,但是有些自带监控的就可以省去配置烦恼。 曾经考虑监控对应的服务端口的方式进行集群监控,也做过clouder manager API 进行监控的方式。此外 CM提供两种告警方式。 如图有两种方式 1.采用自带的邮件告警系统,只需要配置相应的邮件服务器,以及邮箱地址,以及SMTP服务密码,需

2017-12-07 15:17:38 2867

原创 yum rpm 说明

rpm是由红帽公司开发的软件包管理方式,使用rpm我们可以方便的进行软件的安装、查询、卸载、升级等工作。但是rpm软件包之间的依赖性问题往往会很繁琐,尤其是软件由多个rpm包组成时。Yum(全称为 Yellow dog Updater, Modified)是一个在Fedora和RedHat以及SUSE中的Shell前端软件包管理器。基於RPM包管理,能够从指定的服务器自动下载RPM包并且安装,可以自

2017-12-07 12:14:52 507

转载 Tuning Java Garbage Collection for HBase

This guest post from Intel Java performance architect Eric Kaczmarek (originally published here) explores how to tune Java garbage collection (GC) for Apache HBase focusing on 100% YCSB reads.Ap

2017-12-06 18:24:39 525

翻译 Understanding G1 Log

Understanding G1 LogTo understand the log, this section defines a number of terms using actual GC log output. The following examples show output from the log with explanations of the terms and values y

2017-12-06 18:15:09 422

原创 Hbase 热点问题3种解决方案

Hbase 热点问题3种解决方案对hbase进行观察总是有个别的regionserver的request个数远大于其他的region server的请求数量,考虑到数据应该由倾斜,查找了一些方案,无非就是row key 进行hash 。但是仍然有数据是倾斜的,考虑了一下,想了其他的方案,结合region的 balance on table level,split hot region and mov

2017-12-04 13:33:53 3063 1

转载 DevOps平台架构(Platform Architecture)

DevOps平台架构(Platform Architecture)《虚拟化平台(Platform)》新建网络Network首先创建VxNet私有网络,然后器创建SubNet子网,最后配置IP、开启GW和DHCP、设置DNS、连接Router。新建主机Instance选择主机配置;绑定公网IP(是否绑定负载均衡LB),绑定私网IP,绑定安全组;管理认证密钥。路由器;通讯网关,

2017-12-01 18:12:53 5568

原创 Hbase Region Load Balance on Table Level

说明hbase 提供region balance,但是针对所有表进行region的重分配,但是不能达到表级别的region平均分配到各个regionServer上。下面代码实现了表级别的region分配逻辑,在此给大家分享下。import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.*;

2017-12-01 12:24:41 1845

逆地理编码离线版-精度到乡镇街道

传入经纬度,解析出地址信息,性能:4ms/条 地址精度到乡镇街道,包含城市等级,精度满足一般的需求,如对精度要求极高请勿下载

2022-07-01

useragent解析逻辑&手机品牌匹配.txt

在对浏览界面进行解析获取用户信息的过程中,想要精准识别用户,对useragent解析&手机品牌匹配是必不可少的环节,本文档提供了解析逻辑,以及提供了最新的手机品牌和useragent对应的文件,帮你丰富用户画像,以及作为模型特征因子。

2021-11-22

windows服务器python程序部署文档.doc

如果在window服务器中部署python程序呢?本文有部署流程指导:从安装到定时任务的创建

2021-11-15

T+0操作方法与技巧.pptx

股市短线交易必学技能

2021-11-15

shakespeare.json&logs;.jsonl.gz&accounts;.zip

官网原始链接失效 该压缩文件已经打包上传,提供大家测试使用 。 shakespeare.json&logs;.jsonl.gz&accounts;.zip

2018-01-10

kafka-manager 1.3.3.15

已经编译好的 kafka-manager 1.3.3.15 具体使用可以参考 https://github.com/yahoo/kafka-manager

2018-01-08

百度网盘 数据仓库工具箱 维度建模权威指南 第3版 全

中文版,提供百度网盘下载。 本书作者:Ralph Kimball博士 主要介绍本书从维度建模的基本知识入手,通过给出零售、库存、采购、订单管理、顾客关系管理、账目、人力资源管理、财经服务、电信与公用事业、交通、教育、卫生护理、电子商务以及保险等方面的实例研究,全面、深入、透彻与具体地介绍了利用维度模型设计与开发数据仓库的综合技术知识。 同时,本书对数据仓库在当前社会与技术背景下的发展前景进行了很有远见的探索。本书先介绍基本知识,然后逐个讨论具体实例内容,最后进行综合总体分析,在内容的结构方面很有特色。本书涉及的行业较多,但这些内容从不同角度体现了数据仓库的各个方面,因而对于完整的学习与掌握数据仓库知识显得十分必要。 仅供学习使用,切勿商业用途。

2017-10-16

数据仓库工具箱 维度建模权威指南 第3版

数据仓库工具箱 维度建模权威指南 第3版 本书主要介绍本书从维度建模的基本知识入手,通过给出零售、库存、采购、订单管理、顾客关系管理、账目、人力资源管理、财经服务、电信与公用事业、交通、教育、卫生护理、电子商务以及保险等方面的实例研究,全面、深入、透彻与具体地介绍了利用维度模型设计与开发数据仓库的综合技术知识。 同时,本书对数据仓库在当前社会与技术背景下的发展前景进行了很有远见的探索。本书先介绍基本知识,然后逐个讨论具体实例内容,最后进行综合总体分析,在内容的结构方面很有特色。本书涉及的行业较多,但这些内容从不同角度体现了数据仓库的各个方面,因而对于完整的学习与掌握数据仓库知识显得十分必要。

2017-10-16

Tensorflow 实战Google深度学习框架

Tensorflow 实战Google深度学习框架,仅供学习使用,切勿用于商业用途。

2017-10-06

IDEA 创建scala工程并打指定的依赖包

该文档主要使用IDEA进行scala工程的创建以及打依赖的jar包,步骤详细。 为了感谢大家的支持,现在把积分调整到1积分,更好的为大家提供帮助.

2017-08-11

高德地图POI类型表

高德地图POI类型表

2017-07-11

常用数据挖掘算法总结及Python实现

数据挖掘算法

2017-06-19

hbase自定义Comparator进行数值比较

hbase 自带的Comparator只能进行字符串的比较,不能进行数值比较,通过自定义代码实现该功能。 具体使用请参考 http://blog.csdn.net/mtj66/article/details/52574739

2016-11-07

百度云存储LBS

百度云存储LBS

2016-10-21

创建单个分区的window虚拟机

此文档通过截图简要的概述了创建window7虚拟机的步骤。

2016-10-17

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除