- 博客(66)
- 资源 (13)
- 问答 (1)
- 收藏
- 关注
RSS订阅
原创 01_tidb 资料参考
TiDB 是 PingCAP 公司设计的开源分布式 HTAP (Hybrid Transactional and Analytical Processing) 数据库，结合了传统的 RDBMS 和 NoSQL 的最佳特性高度兼容MySQL，并且能免去传统数仓ETL过程实现数据分析，同时支持高并发、大吞吐量的在线事务处理的PB级数据存储数据库，同时支持海量数据在线事务（OLTP）和在线分析（OLA...
2020-03-03 12:41:38
1461
原创 Flink 1.9 实战：使用 SQL 读取 Kafka 并写入 MySQL
Flink 1.9 实战：使用 SQL 读取 Kafka 并写入 MySQLhttp://wuchong.me/blog/2019/09/02/flink-sql-1-9-read-from-kafka-write-into-mysql/调整后代码：https://github.com/Aliangxuyan/flink-sql-submit.git实战演示flink-1.9.0/lib/ 需要依赖各个 connector 实现。mysql-connector-java-5.1.48.jarf
2020-11-18 15:14:44
328
翻译 Flink SQL CDC
Flink1.11中的CDC Connectors操作实践 汇总7月，Flink 1.11 新版发布，在生态及易用性上有大幅提升，其中 Table & SQL 开始支持 Change Data Capture（CDC）。CDC 被广泛使用在复制数据、更新缓存、微服务间同步数据、审计日志等场景，本文由社区由曾庆东同学分享，主要介绍 Flink SQL CDC 在生产环境的落地实践以及总结的实战经验，文章分为以下几部分：项目背景解决方案项目运行环境与现状具体实现踩过的坑和学到的经验总结
2020-09-11 16:09:01
2654
原创 flume 数据流监控 ganglia 安装
一. 安装配置 ganglia安装 httpd 服务与 phpsudo yum -y install httpd php安装其他依赖sudo yum -y install rrdtool perl-rrdtool rrdtool-develsudo yum -y install apr-devel安装 gangliasudo rpm -Uvh http://dl.fedoraproject.org/pub/epel/6/x86_64/epel-release-6- 8.noa
2020-08-05 15:38:41
333
原创 04_tidb sql 语法&05_与 mysql 兼容性
https://pingcap.com/docs-cn/dev/how-to/get-started/explore-sql/TiDB 服务器官方支持的版本为 MySQL 5.7，mysql. 大部分运维工具都支持1）不支持的特性 存储过程与函数触发器事件自定义函数外键约束全文函数与索引空间函数与索引非 utf8/utf8mb4 字符集BINARY 之外的排序规则增加主键...
2020-03-03 14:02:55
551
原创 03_使用 Docker Compose 快速构建 TiDB 集群
1、安装docker.(01_centos 安装docker)https://docs.docker.com/install/linux/docker-ce/centos/2、下载并安装 tidb-docker-composehttps://github.com/pingcap/tidb-docker-compose 可能存在问题：（版本的问题）1、tidb-docker-compos...
2020-03-03 13:55:42
317
原创 02_tidb 架构演进
Design Goals：Goal 1: Horizontal ScalabilityGoal 2: High AvailabilityGoal 3: ACID Transaction1、In ancient timesWe get SQL and transaction! But it is a toy2、Persistent Storage3、MySQL Protocol...
2020-03-03 12:54:33
260
原创 10、es 常见问题
1、Caused by: org.elasticsearch.transport.RemoteTransportException: [node-1][172.20.44.8:9300][indices:data/read/search[phase/query]] Caused by: java.lang.IllegalArgumentException: Fielddata is disable...
2020-02-16 20:41:27
1178
原创 09、es 相关插件安装
1、kibana 下载安装1、下载wget https://artifacts.elastic.co/downloads/kibana/kibana-6.2.4-linux-x86_64.tar.gz2、解压 tar -zxvf kibana-6.2.4-linux-x86_64.tar.gz3、启动及检测ps -ef|grep kibanaps -ef|grep 5601...
2020-02-16 20:39:03
253
原创 08、es 进一步了解___e_性能优化_
2)_内部索引优化Elasticsearch 为了能快速找到某个 Term，先将所有的 Term 排个序，然后根据二分法查找 Term，时间复杂度为 logN，就像通过字典查找一样，这就是 Term Dictionary。现在再看起来，似乎和传统数据库通过 B-Tree 的方式类似。但是如果 Term 太多，Term Dictionary 也会很大，放内存不现实，于是有了 Term Inde...
2020-02-16 20:27:39
580
原创 08、es 进一步了解___d_机制原理_存储原理
上面介绍了在 ES 内部索引的写处理流程，这个流程是在 ES 的内存中执行的，数据被分配到特定的分片和副本上之后，最终是存储到磁盘上的，这样在断电的时候就不会丢失数据。具体的存储路径可在配置文件 …/config/elasticsearch.yml 中进行设置，默认存储在安装目录的 Data 文件夹下。建议不要使用默认值，因为若 ES 进行了升级，则有可能导致数据全部丢失：path.data...
2020-02-16 20:07:58
477
原创 08、es 进一步了解___d_机制原理_写索引原理
下图描述了 3 个节点的集群，共拥有 12 个分片，其中有 4 个主分片（S0、S1、S2、S3）和 8 个副本分片（R0、R1、R2、R3），每个主分片对应两个副本分片，节点 1 是主节点（Master 节点）负责整个集群的状态。写索引是只能写在主分片上，然后同步到副本分片。这里有四个主分片，一条数据 ES 是根据什么规则写到特定分片上的呢？这条索引数据为什么被写到 S0 上而不写到 S...
2020-02-16 19:27:15
343
原创 08、es 进一步了解___c_ES 的基本使用
在决定使用 Elasticsearch 的时候首先要考虑的是版本问题，Elasticsearch （排除 0.x 和 1.x）目前有如下常用的稳定的主版本：2.x，5.x，6.x，7.x（current）。你可能会发现没有 3.x 和 4.x，ES 从 2.4.6 直接跳到了 5.0.0。其实是为了 ELK（ElasticSearch，Logstash，Kibana）技术栈的版本统一，免的给用户...
2019-11-14 12:01:02
333
原创 08、es 进一步了解___b_ES 核心概念__4)映射（Mapping）
映射是用于定义 ES 对索引中字段的存储类型、分词方式和是否存储等信息，就像数据库中的 Schema ，描述了文档可能具有的字段或属性、每个字段的数据类型。只不过关系型数据库建表时必须指定字段类型，而 ES 对于字段类型可以不指定然后动态对字段类型猜测，也可以在创建索引时具体指定字段的类型。对字段类型根据数据格式自动识别的映射称之为动态映射（Dynamic Mapping），我们创建索引时具体...
2019-11-14 11:48:26
344
原创 08、es 进一步了解___b_ES 核心概念__3)副本（Replicas）
副本就是对分片的 Copy，每个主分片都有一个或多个副本分片，当主分片异常时，副本可以提供数据的查询等操作。主分片和对应的副本分片是不会在同一个节点上的，所以副本分片数的最大值是 N-1（其中 N 为节点数）。对文档的新建、索引和删除请求都是写操作，必须在主分片上面完成之后才能被复制到相关的副本分片。ES 为了提高写入的能力这个过程是并发写的，同时为了解决并发写的过程中数据冲突的问题，ES ...
2019-11-14 11:46:33
632
原创 08、es 进一步了解___b_ES 核心概念__2)分片（Shards）
ES 支持 PB 级全文搜索，当索引上的数据量太大的时候，ES 通过水平拆分的方式将一个索引上的数据拆分出来分配到不同的数据块上，拆分出来的数据库块称之为一个分片。这类似于 MySQL 的分库分表，只不过 MySQL 分库分表需要借助第三方组件而 ES 内部自身实现了此功能。在一个多分片的索引中写入数据时，通过路由来确定具体写入哪一个分片中，所以在创建索引的时候需要指定分片的数量，并且分片的数...
2019-11-14 11:41:01
286
原创 08、es 进一步了解___b_ES 核心概念__1)集群（Cluster）
ES 的集群搭建不需要依赖第三方协调管理组件，自身内部就实现了集群的管理功能。ES 集群由一个或多个 Elasticsearch 节点组成，每个节点配置相同的 cluster.name 即可加入集群，默认值为 “elasticsearch”。确保不同的环境中使用不同的集群名称，否则最终会导致节点加入错误的集群。一个 Elasticsearch 服务启动实例就是一个节点（Node）。节点通过 ...
2019-11-14 11:39:04
534
原创 08、es 进一步了解___b_ES 核心概念
ES 是使用 Java 编写的一种开源搜索引擎，它在内部使用 Lucene 做索引与搜索，通过对 Lucene 的封装，隐藏了 Lucene 的复杂性，取而代之的提供一套简单一致的 RESTful API。然而，Elasticsearch 不仅仅是 Lucene，并且也不仅仅只是一个全文搜索引擎。它可以被下面这样准确的形容：一个分布式的实时文档存储，每个字段可以被索引与搜索。一个分布式实时...
2019-11-14 11:34:27
291
原创 08、es 进一步了解____a_背景：Lucene
这种非结构化数据的处理需要依赖全文搜索，而目前市场上开放源代码的最好全文检索引擎工具包就属于 Apache 的 Lucene了。但是 Lucene 只是一个工具包，它不是一个完整的全文检索引擎。Lucene 的目的是为软件开发人员提供一个简单易用的工具包，以方便的在目标系统中实现全文检索的功能，或者是以此为基础建立起完整的全文检索引擎。目前以 Lucene 为基础建立的开源可用全文搜索引擎主要...
2019-11-14 11:33:50
222
原创 08、es 进一步了解
参考：https://mp.weixin.qq.com/s/PIl9_1ogyKVDd0nxz8PhUw全文搜索引擎选ElasticSearch还是Solr？搞定Java垃圾回收，就这一篇！Elasticsearch如何做到亿级数据查询毫秒级返回？1、背景：Lucene2、ES 核心概念1）集群（Cluster）2）分片（Shards）3）副本（Replicas）4）映射（Ma...
2019-11-14 11:30:26
140
原创 07、es-sql
./bin/elasticsearch-plugin install https://github.com/NLPchina/elasticsearch-sql/releases/tag/6.2.1.0/elasticsearch-sql-6.2.1.0.zip
2019-11-14 11:29:46
131
原创 06、es 重新授权
curl -H "Content-Type: application/json" -XPUT "http://localhost:9200/_license?acknowledge=true" -d @/Users/lxy/Downloads/license.json {"acknowledged":true,"license_status":"valid"}% ...
2019-11-14 11:28:51
336
原创 05、yellow to green
注意：非 集群环境不需要设置副本，以及切片数可以设置少点 5（或者更少，测试环境数量不多，切片需要在代码中设置，副本也可以，同时副本还可以在api 处设置，单机环境副本信息可以设置成0）连接的时候可以看能不能http://ip:9300 和 http://ip:9200 访问通，可能会存在 http 访问通，trnasport 访问不通的情况，如果不打印日志的话看不到报错信息，但是es 代码运...
2019-11-14 11:27:33
229
原创 04、es 写入优化
{"index": { "number_of_shards": "10", "translog": { "flush_threshold_size": "200MB", "durability": "async" }, "refresh_interval": "60s"}}“flush_threshold_si...
2019-11-14 11:24:02
161
原创 03、es启动问题
1、启动用户为非root 用户2、ERROR: [2] bootstrap checks failed[1]: max file descriptors [65535] for elasticsearch process is too low, increase to at least [65536][2]: max virtual memory areas vm.max_map_co...
2019-11-14 11:22:41
236
原创 02、elasticsearch.yml
cluster.name: clusterNamenode.master: truenode.data: truenode.ingest: truehttp.cors.enabled: truehttp.cors.allow-origin: "*"http.cors.allow-methods: OPTIONS, HEAD, GET, POST, PUT, DELETEhttp.co...
2019-11-14 11:19:52
215
原创 01、es 安装
https://www.elastic.co/downloads/elasticsearch1、下载wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.2.1.tar.gz或者从其他机器copyscp -r root@ip:/usr/local/elasticsearch-6.2.1.tar....
2019-11-14 11:18:21
125
原创 python elasticseach6.2.1. 和 elasticseach5.1.1 版本冲突问题
问题背景：同一个python 脚本项目同时处理elasticseach6.2.1. 和 elasticseach5.1.1中存储的数据 解决因为包冲突带来的问题解决思路：开一个python 虚拟环境python 安装虚拟环境：https://www.jianshu.com/p/4c898236cf35.3、创建虚拟环境mkvirtualenv es5附：切换虚拟环境：workon ...
2019-09-12 11:34:44
223
原创 mysql 索引底层数据结构和算法
一、基本内容概念：MySQL索引的建立对于MySQL的高效运行是很重要的，索引可以大大提高MySQL的检索速度常见的几种数据结构中，mysql为什么选择hash，B+Tree2.1 二叉树红黑树hashBTree...
2019-04-19 00:21:12
300
原创 ES安装启动常见问题
错误信息：1]: max file descriptors [65535] for elasticsearch process is too low, increase to at least [65536]查看大小的设置：命令[root@host-172-16-xx-xx etc]# ulimit -Hn 65535或[root@host-172-16-32-38 etc]...
2018-10-12 14:17:46
1209
转载 CentOS7使用firewalld打开关闭防火墙与端口
1、firewalld的基本使用启动： systemctl start firewalld关闭： systemctl stop firewalld查看状态： systemctl status firewalld开机禁用 ： systemctl disable firewalld开机启用 ： systemctl enable firewalld2.systemctl是CentOS7的...
2018-10-12 14:01:36
200
原创 hashCode与equals的作用与区别及应当注意的细节
参考： http://blog.csdn.net/lijiecao0226/article/details/24609559
2017-10-28 17:54:56
395
原创 NIO
一、 1. NIO 和 IO 的区别 Java NIO 的核心：通道（channel 负责传输） 和缓存区（buffer负责存储） a) 缓冲区i.缓存区（buffer） :在Java nio 中负责数据的存取，缓冲区就是数组，用于存储不同数据类型的数据 根据数据类型不同提供了相应类型的缓冲区（Boolean类型除外） ByteBuffer CharBuffer ShorBuff
2017-08-11 07:33:13
649
原创 Mac 本踩的坑—mybatis 逆向工程创建失败
执行成功，但是没有生成文件<?xml version="1.0" encoding="UTF-8"?><!DOCTYPE generatorConfiguration PUBLIC "-//mybatis.org//DTD MyBatis Generator Configuration 1.0//EN" "http://mybatis.org/dtd/mybatis-generator-c
2017-07-10 17:18:39
3723
10
原创 Redis数据类型
Redis 常用操作命令1、Redis的五大数据类型① String（字符串）② Hash（哈希，类似java里的Map）③ List（列表）④ Set（集合）⑤ Zset(sorted set：有序集合)2、Redis字符串(String)① 单值单value② 常用命令set/get/del/append/strlenIncr/decr/incrby/decrby,一定是针对数字才能进行加减g
2017-03-28 18:47:25
380
原创 Redis的发布订阅及 Jedis
一、Redis的发布订阅1、概述进程间的一种消息通信模式：发送者(pub)发送消息，订阅者(sub)接收消息。2、常用命令Related commandsPSUBSCRIBEPUBLISHPUBSUBPUNSUBSCRIBESUBSCRIBEUNSUBSCRIBE3、示例先订阅后发布后才能收到消息， 1 可以一次性订阅多个，SUBSCRIBE c1 c2 c32 消息发布，PUBLIS
2017-03-28 18:10:15
448
原创 Redis的复制(Master/Slave)
一、概述 Replication Redis replication is a very simple to use and configure master-slave replication that allows slave Redis servers to be exact copies of master servers.主从复制，主机数据更新后根据配置和策略，自动同步到备机的
2017-03-28 17:54:40
570
原创 Redis的持久化
一、官网概述 Redis provides a different range of persistence options: The RDB persistence performs point-in-time snapshots of your dataset at specified intervals. the AOF persistence logs every wri
2017-03-28 16:41:22
509
原创 Redis的事务
一、概述可以一次执行多个命令，本质是一组命令的集合。一个事务中的所有命令都会序列化，按顺序地串行化执行执行而不会被其它命令插入，不许加塞二、作用一个队列中，一次性、顺序性、排他性的执行一系列命令三 、操作1、常用命令2、正常执行3、放弃事务4、全体连坐5、冤头债主6、watch监控7、事务操作的三个步骤开启：以MULTI开始一个事务入队：将多个命令入队到事务中，接到这些命令并不会立即执行，而是放
2017-03-28 15:30:01
452
原创 Redis配置文件解析
redis.conf1、Units 单位 3 # Note on units: when memory size is needed, it is possible to specify 4 # it in the usual form of 1k 5GB 4M and so forth: 5 # 6 # 1k => 1000 bytes 7 # 1kb => 102
2017-03-25 09:22:15
566
elasticsearch-7.2.1-darwin-x86_64 (1).tar.gz
2020-09-11
apache-druid-0.18.1-bin.tar.gz
2020-07-15
influxdb-1.8.0.x86_64.rpm
2020-07-06
grafana-7.0.5-1.x86_64.rpm
2020-07-06
微信公众号开发跳转到关注公众号页面
2016-10-28
TA创建的收藏夹 TA关注的收藏夹
TA关注的人