- 博客(13)
- 收藏
- 关注
RSS订阅原创 【运维大宝剑Bigsword】之elasticsearch集群分析
很多同学在生产环境使用最多的es集群管理组件就是开源的cerebro，包括我在内，工具箱内的使用率排得上top5，如果没有用过的同学可以自行在github搜索，本文重点也不是分享cerebro的使用。后边的内容我假设你对es的一些基本概念已经理解一些。不知道有没有人跟我一样，在使用cerebro的过程中，始终感觉这个神器缺少了点什么，比如索引的分布是否均衡、索引写入速度、读取的速度、哪些索引最hot、分片无法分配还要去call一下接口（好烦）、集群虽然是绿色，是否存在亚健康状态、当前集群的tps是多少
2021-02-20 21:07:25
298
原创 不会java但是想用flink，会python就够了 ！PyFlink【二、深入学习pyflink源码】
一、PyFlink源码结构pyflink版本号：1.10.1安装方法：pip install apache-flink==1.10.1python版本要求：截止到2020年6月7号，官方要求至少为3.5，最高为3.7找到你当前环境中的pyflink包，一般在你的python目录中的site-package里边找到pyflink1.1、结构说明截图说明：pyflink下的目录结构如下─➤ tree.├── README.txt├── __init__.py├── __pyca
2020-06-08 00:30:19
4652
5
原创 不会java但是想用flink，会python就够了 ！PyFlink【一、进入pyflink的世界】
不会java，只会python的开发不是个好运维
2020-06-07 15:25:34
5330
6
原创 【Flink1.9-配置篇】
本文大部分配置内容参考flink1.9版本官方英文说明，并加入个人配置说明，如果对翻译内容有疑问，可以联系我共同探讨。https://ci.apache.org/projects/flink/flink-docs-release-1.9/ops/config.html#blob-server
2020-05-12 23:52:09
1247
原创 python抽取zabbix历史数据(1、调用zabbix的history.get接口2、直接取zabbix-mysql表，速度更快)
需求:轮训抽取指定hostid上单个监控项或者多个监控项的历史天数的所有数据效果:落地到本地文件中结果如下{"itemid": "28885", "clock": "1585756825", "value": "97.6439", "ns": "271291797"}{"itemid": "28885", "clock": "1585756885", "value": "97.6375", "ns": "354267511"}{"itemid": "28885", "clock": "15857.
2020-05-11 00:00:35
1648
2
原创 利用logstash提取kafka消息
需求背景从某一个kafka集群A中消费一条消息，并将该消息的中的字段分别发送给另外一个kafka集群B。举例某一条消息A的样式为{"a":58,"b":100.0,"c":7.58,"ip":"192.168.1.1"}想要拿到这消息的时候，将数据提炼为三条消息，如{"a":58,"ip":"192.168.1.1"}{"b":100.0,"ip":"192.168.1.1"}{...
2019-11-07 21:13:44
1409
原创 elasticsearch更新、删除api(带条件)
更新语句1、通过restful api工具a、app01_gtulog_eoi_20190101_20190101/log/_update_by_query 选择POSTb、批量设置ORDER_NUM为1{“script”: {“lang”: “painless”,“inline”: “ctx._source.ORDER_NUM=1”}}2、通过curl，常用curl -XP...
2019-11-04 23:00:23
418
原创 python多条件抓去es数据并写入excel(大量数据)
环境：python3.7注意elasticsearch包要跟es环境版本号对应上from elasticsearch import Elasticsearch as esimport xlwtinstance = es(hosts='192.168.21.120')query = { "query": { "bool": { "mu...
2019-11-04 22:59:05
750
原创 es python接口批量更新命令
from elasticsearch import Elasticsearch as esinstance = es(hosts='192.168.21.120')query = { "script": { "lang": "painless", "inline": "if(ctx._source.AREA=='上海') {ctx._source.OR...
2019-11-04 22:57:52
744
原创 将路径下的压缩文件进行批量解压操作
import shutilimport osimport globclass Ball(object): def __init__(self, source_dir, target_dir): self.source_dir = source_dir self.target_dir = target_dir self.boot_dir...
2019-11-04 22:56:56
222
原创 简易轻量级http接口采集器
github下载地址：https://github.com/jingweiz300/http_metricfrom bottle import Bottle,run,route,template,post,requestimport jsonimport osimport logginglogging.basicConfig(filename='http_metric.log', ...
2019-11-04 22:55:54
452
原创 elasticsearch分词练习、自定义分词器练习
elasticsearch分词练习、自定义分词器练习分词练习自定义分词器分词练习准备数据post metric_zabbix/log{ "@message":"fjdlakjfdklafjda EventType=10 fdsfada", "@timestamp":"2019-02-22T17:45:49.000+08:00"}查看存进去的分词结果post met...
2019-09-24 01:42:02
584
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人