2019年06月_vkingnew

12月 11月 09月 06月 05月 04月 03月 02月 01月

原创 MySQL sysbench压测的脚本

硬件环境：软件安装：压测的线程为：8 16 32 64 128 256 512 1024压测的单表量级：50万 500万 5000万 5亿条 4个等级压测的类型：#!/bin/bashTHREAD="16 64 128 300 512 1024"LUAFILE="/usr/share/sysbench/oltp_read_write.lua /usr/...

2019-06-27 17:57:10 798

原创 Impala 路径跟踪分析

-- 历史表：select count(*) uv, multi_path from yjp_trace.yjp_dm_trace_session_common_day,yjp_trace.yjp_dim_trace_multi_path where page_codes rlike multi_path and path_id='0018e9e50d28449db86999fc...

2019-06-27 17:36:56 580

原创 Elasticsearch 6.5.4 集群部署记录及监控

Elasticsearch stack 6.5.4版本：IP地址主机名 Elasticsearch角色 ELasticsearch 冷热安装组件10.19.145.159 datanode3 master，data hot Elasticsearch10.19.162.134 datanode3 m...

2019-06-27 12:01:42 1322

原创 Maxwell 配置

默认支持kafka的版本为1.0.0MySQL端的支持传统复制和GTID复制(Maxwell 1.8版本+)# cat config.properties |grep -v '#' |grep -v '^$'producer=kafkalog_level=INFOhost=172.16.4.101user=maxwellpassword=maxwellschema_datab...

2019-06-26 14:35:17 2550

跨集群复制概述CCR - Cross Cluster Replication - 跨集群复制是 Elasticsearch v6.5 发布的一个新的特性，这个特性可以让你将一个集群的索引数据同步复制到远程的另外一个集群上面去。或者反过来，将一个远程的集群的索引数据同步的复制到本地 Elasticsearch 集群中来。集群复制类似于数据订阅的方式，一个集群的数据可以被多个集群订阅，也就是可以被...

2019-06-18 14:31:54 6465

原创 Elastic stack 监控体系

Elastic stack 监控是从Elasticsearch节点、logstash节点和kibana节点收集数据进行监控。通常情况下监控的数据存储在本地的Elasticsearch中。注意:在生产环境，强烈建议使用单独的监控Elasticsearch集群。使用单独的监控集群可防止生产环境的集群中断影响监控数据的能力。它还可以防止监控影响生产群集的性能。出于同样的原因，建议使用独立Kib...

2019-06-17 09:21:53 823

原创 Elasticsearch-Hadoop 介绍

概述：实现强强联合，助力实时分析Elasticsearch-Hadoop (ES-Hadoop) 连接器将 Hadoop 海量的数据存储和深度加工能力与 Elasticsearch 实时搜索和分析功能进行连接。它能够让您快速深入了解大数据，并让您在 Hadoop 生态系统中更好地开展工作。对 Hadoop 数据进行交互分析Hadoop 是出色的批量处理系统，但是要想提供实时结果则颇...

2019-06-16 22:03:30 3616

原创 ElasticSearch 概述

目录1.Elasticsearch 概述2.选择Elasticsearch的关键原因：2.1.Elasticsearch stack 简史2.2Elasticsearch的优势2.3Elasticsearch的劣势3.Elasticsearch的工作原理3.1Elasticsearch的核心原则3.2Elasticsearch术语4.Elastic Stack...

2019-06-15 18:59:34 347

原创 Elasticsearch SQL 深度体验

1.简介Elasticsearch SQL 自6.3版本集成到X_PACK_CORE包中，允许Elasticsearch执行实时的SQL查询。可以在在Elasticsearch中本地搜索和聚合数据，通过REST、JDBC、ODBC、CLI等多种方式。可以将Elasticsearch SQL理解为一个翻译器，它既能理解SQL又能理解Elasticsearch，并且通过利用Elasticsear...

2019-06-14 13:00:16 982

原创 Elasticsearch 索引生命周期管理

创建一个策略：创建策略：curl -X PUT "localhost:9200/_ilm/policy/datastream_policy" -H 'Content-Type: application/json' -d'{ "policy": { "phases": { "hot": { ...

2019-06-14 12:07:34 4224

原创 Impala 日期格式化

select version(); +-----------------------------------------------------------------------------------------+| version() ...

2019-06-14 09:30:23 15717

原创 Elasticsearch 自6.3版本以来的发布亮点

1.License管理和X-pack自Elasticsearch6.3版本开始Elasticsearch集成X-pack，无须额外安装，自带basic license2.ElasticSearch SQL6.3版本为experimental 功能，使用SQL访问Elasticsearch里的数据.3.Rollup6.3版本支持4.对新版Java的支持：Java9 ...

2019-06-13 19:55:03 844

原创数据生命周期管理（Lifecycle Management）

概述：oracle的生命周期管理叫做Information Lifecycle Management（ILM）SQL server的生命周期管理叫做Database Lifecycle Managemet(DLM)Elasticsearch的生命周期管理叫做Index Lifecycle Management（ILM）SQL server的生命周期管理：数据库生命周期管理 (DLM...

2019-06-13 17:49:30 9169

原创 ElasticSearch Stack 各个版本收费情况

注释：绿色表示支持。从 Elastic Stack 6.8 和 7.1 版本开始，Elasticsearch 的核心安全功能（TLS 加密、原生和基于文件的身份验证，以及基于角色的访问控制）将会免费提供，并且包含在默认发发包中。ElasticSearch 免费收费分类项目开源基础版本黄金级...

2019-06-12 16:10:18 36851 4

原创 Redis 启动告警

8161:M 10 Jun 2019 10:52:43.222 # WARNING: The TCP backlog setting of 511 cannot be enforced because /proc/sys/net/core/somaxconn is set to the lower value of 128.8161:M 10 Jun 2019 10:52:43.222 # S...

2019-06-10 11:09:33 338

原创 MySQL数据实时同步Elasticsearch 方案

需求：可以全量同步MySQL的数据到Elasticsearch可以增量同步MySQL的数据到Elasticsearch支持MySQL库中的增删改数据实时同步到Elasticsearch方案工具选择：https://github.com/jprante/elasticsearch-jdbc/tree/5.0最多支持到Elasticsearch 5版本https://github.c...

2019-06-05 14:39:56 7739 8