JingWeiZ

很多同学在生产环境使用最多的es集群管理组件就是开源的cerebro，包括我在内，工具箱内的使用率排得上top5，如果没有用过的同学可以自行在github搜索，本文重点也不是分享cerebro的使用。后边的内容我假设你对es的一些基本概念已经理解一些。不知道有没有人跟我一样，在使用cerebro的过程中，始终感觉这个神器缺少了点什么，比如索引的分布是否均衡、索引写入速度、读取的速度、哪些索引最hot、分片无法分配还要去call一下接口（好烦）、集群虽然是绿色，是否存在亚健康状态、当前集群的tps是多少

一、PyFlink源码结构pyflink版本号：1.10.1安装方法：pip install apache-flink==1.10.1python版本要求：截止到2020年6月7号，官方要求至少为3.5，最高为3.7找到你当前环境中的pyflink包，一般在你的python目录中的site-package里边找到pyflink1.1、结构说明截图说明：pyflink下的目录结构如下─➤ tree.├── README.txt├── __init__.py├── __pyca

不会java，只会python的开发不是个好运维

本文大部分配置内容参考flink1.9版本官方英文说明，并加入个人配置说明，如果对翻译内容有疑问，可以联系我共同探讨。https://ci.apache.org/projects/flink/flink-docs-release-1.9/ops/config.html#blob-server

需求:轮训抽取指定hostid上单个监控项或者多个监控项的历史天数的所有数据效果:落地到本地文件中结果如下{"itemid": "28885", "clock": "1585756825", "value": "97.6439", "ns": "271291797"}{"itemid": "28885", "clock": "1585756885", "value": "97.6375", "ns": "354267511"}{"itemid": "28885", "clock": "15857.

需求背景从某一个kafka集群A中消费一条消息，并将该消息的中的字段分别发送给另外一个kafka集群B。举例某一条消息A的样式为{"a":58,"b":100.0,"c":7.58,"ip":"192.168.1.1"}想要拿到这消息的时候，将数据提炼为三条消息，如{"a":58,"ip":"192.168.1.1"}{"b":100.0,"ip":"192.168.1.1"}{...

更新语句1、通过restful api工具a、app01_gtulog_eoi_20190101_20190101/log/_update_by_query 选择POSTb、批量设置ORDER_NUM为1{“script”: {“lang”: “painless”,“inline”: “ctx._source.ORDER_NUM=1”}}2、通过curl，常用curl -XP...

环境：python3.7注意elasticsearch包要跟es环境版本号对应上from elasticsearch import Elasticsearch as esimport xlwtinstance = es(hosts='192.168.21.120')query = { "query": { "bool": { "mu...

from elasticsearch import Elasticsearch as esinstance = es(hosts='192.168.21.120')query = { "script": { "lang": "painless", "inline": "if(ctx._source.AREA=='上海') {ctx._source.OR...

import shutilimport osimport globclass Ball(object): def __init__(self, source_dir, target_dir): self.source_dir = source_dir self.target_dir = target_dir self.boot_dir...

github下载地址：https://github.com/jingweiz300/http_metricfrom bottle import Bottle,run,route,template,post,requestimport jsonimport osimport logginglogging.basicConfig(filename='http_metric.log', ...

elasticsearch写入优化的探索

elasticsearch分词练习、自定义分词器练习分词练习自定义分词器分词练习准备数据post metric_zabbix/log{ "@message":"fjdlakjfdklafjda EventType=10 fdsfada", "@timestamp":"2019-02-22T17:45:49.000+08:00"}查看存进去的分词结果post met...