2019年03月_vkingnew

12月 11月 09月 06月 05月 04月 03月 02月 01月

原创 CentOS 7报错：curl#60 - "Peer's Certificate has expired."

报错信息：https://download.docker.com/linux/centos/7/x86_64/stable/repodata/repomd.xml: [Errno 14] curl#60 - "Peer's Certificate has expired."Trying other mirror.原因：可能是由于服务器时间不正确导致https证书认证错误更新服...

2019-03-31 00:02:32 10488 1

原创 CentOS7 docker 安装部署

操作系统：centOS 7--删除历史的：#sudo yum remove docker \ docker-client \ docker-client-latest \ docker-common \ docker-latest \ ...

2019-03-30 23:58:26 251

原创 Clickhouse 的interface(访问接口)

clickhouse部署完毕之后有哪些访问接口呢？命令行$ clickhouse-client支持http协议的web方式：curl命令或者echo命令驱动程序：JDBCODBCclient：支持JDBC或者ODBC的驱动程序的客户端TabixHouseOpsLightHouseDataGrip DBeaver 和其他编程语言的交互：如python、j...

2019-03-30 23:08:27 4947 1

原创 TiDB 报错： GC life time is shorter than transaction duration

报错信息： Could not read data from track.ods_online_log_mark: GC life time is shorter than transaction duration, transaction starts at 2019-03-30 12:32:26.817 +0800 CST, GC safe point is 2019-03-30 12:...

2019-03-30 13:52:27 3919

原创 TiDB SQL 优化案例

单表简单的聚合查询耗时1min+，领导要求在10s以内查询聚合出结果。EXPLAIN ANALYZESELECT COUNT(s.id) pv, COUNT(DISTINCT IFNULL(s.user_id,s.uuid)) uv, ROUND(COUNT(s.id)/COUNT(DISTINCT IFNULL(s.user_id,s.u...

2019-03-28 00:33:42 1233

原创 TiDB 磁盘检验

TASK [machine_benchmark : Preflight check - Does fio randread iops of tikv_data_dir disk meet requirement] ********************************************fatal: [10.19.32.135]: FAILED! => {"changed...

2019-03-28 00:32:10 1291

原创 kafka单机部署

1.java部署2.zookeeper部署3.kafka部署：# tar -xzvf jdk-8u192-linux-x64.tar.gz -C /usr/local/# cat /etc/profile.d/java.sh export JAVA_HOME=/usr/local/jdk1.8.0_192export PATH=$JAVA_HOME/bin:$PATH...

2019-03-26 16:33:45 746

原创数据交换工具

在互联网企业，更多的是利用开源组件来负责更加专业的细分领域的事情。数据存储：MySQLMongoDBRedisNeo4j较为传统的软件使用数据库：SQL serverOraclepostgresql当有数据搜索和大数据分析、AI处理的时候还是会将业务数据的数据同步或抽取到专用的数据库：此时就需要各种开源的方案。一般会考虑数据怎么进入到某个组件，进入了某组件之后数据怎么出来...

2019-03-26 12:17:31 2028

原创 Gravity 将MongoDB的数据同步到kafka

源库为MongoDBMongoDB中的数据可以发送到kafka供下游的应用消费

2019-03-25 20:11:02 1223

原创 Go语言数据类型

Go语言支持的基本数据类型：布尔值：数值：整形：浮点型：虚数型：字符串型：l 明细范围说明整型 int8 uint8 byte int16 uint16 int32 rune ...

2019-03-25 20:09:31 180

原创 Gravity 同步MongoDB数据到TiDB

准备工作：在TiDB中创建的表、列字段要和MongoDB中的大小写一模一样,否则就会报错。1.2.3.生成测试数据：for (i = 1; i < 21; i++) { db.users.insert({ "userid": i, "username": "user" + i, "age": Math.floor(Math.random()*120), ...

2019-03-25 14:57:42 732

原创 Docker Compose部署单机TiDB集群时指定TiDB版本

使用Docker Compose部署单机TiDB集群时指定版本--早前的版本：mysql> select tidb_version()\G *************************** 1. row ***************************tidb_version(): Release Version: v2.1.0-rc.3-232-ga3e25b2...

2019-03-21 08:58:20 426

原创如何加速从github上clone代码

慢C:\Windows\System32\drivers\etc\hosts192.30.253.112 github.com151.101.185.194 github.global.ssl.fastly.net

2019-03-21 00:12:09 1132

原创 windows 10 搭建部署golang的IDE环境

1.下载windows的安装文件：https://golang.google.cn/doc/install?download=go1.12.1.windows-amd64.msi2.直接安装，默认在C盘的C:\go 目录3.查看版本和环境变量：C:\>go versiongo version go1.12.1 windows/amd64C:\>go envset...

2019-03-20 22:58:22 1743

原创 windows 10 安装部署MySQL 5.7.25版本

下载：https://cdn.mysql.com//Downloads/MySQL-5.7/mysql-5.7.25-winx64.zip1.解压zip文件到指定目录我这里为 C:\data\mysql572.在上述目录下创建My.ini 配置文件：[mysqld]basedir=C:\data\mysql57datadir=C:\data\mysql57\dataport...

2019-03-20 17:37:57 538

原创 MySQL 5.7 参数配置my.cnf参考

[mysqld]#####non innodb options (fixed)max_connections = 800table_cache = 2400sort_buffer_size = 32Kjoin_buffer_size = 32Kquery_cache_size = 0query_cache_type = 0#####MyISAM Specific option...

2019-03-15 14:13:14 2616

原创 NewSQL 数据库测试工具介绍sysbench YSCB TPC-H TPC-DS

NewSQL 介绍：分类：作为OLTP和OLAP关注的点不一样：测试工具：sysbench：https://github.com/akopytov/sysbenchTPC-C：TPC-C是专门针对联机交易处理系统（OLTP系统）的规范，一般情况下我们也把这类系统称为业务处理系统。1992年7月发布。几乎所有在OLTP市场提供软硬平台的国外主流厂商都发布了相应的TPC-C测...

2019-03-15 12:14:57 949

原创 NewSQL TiDB vs CockroachDB

TiDB和CockroachDB都秉承Google Spanner的衣钵,分层结构和实现的依赖的存储等都有不少共同性。由于TiDB兼容MySQL的协议，CockroachDB兼容pg协议，在国内TiDB使用的案例比较多,涵盖了TMD，CockroachDB使用案例比较少，CockroachDB国内的使用用户有百度、京东物流等.可能的原因：1.pg在国内互联网领域储备的人才较少2....

2019-03-14 18:57:31 6423

原创主流数据库表名和字段名长度的支持

主流关系型数据库对表名和字段名的长度支持：数据库类型表名字段名 SQL SERVER 128个字符，临时表116个字符 128个字符 Oracle 30个字符 30个字符 MySQL ...

2019-03-14 17:36:46 708

原创 MySQL 向TiDB 实时迁移

可以借助如下工具将MySQL的数库备份恢复到TiDB，并借助sycner工具将增量的数据同步到TiDB。1.支持分库分表的合并2.支持全量+增量的数据同步方式.缺点：1.大数据量超过100G的时候 loader导入的数据难以接受，速度慢2.当有分库分表的时候，在源库做DDL操作的时候会导致syncer挂掉。针对1 PingCAP开发tidb-lighning工具，针对问题2开...

2019-03-14 15:16:07 2038

原创恭喜博客喜提10w

工作几年发现很多之前做过的东西没有记录，后面工作又会遇到就把遇到的问题记录下。久而久之算作一种积累吧。自2018年7月开始记录，博客的浏览量和排名都在几万以后。今天植树节，博客浏览量超过10w，恭喜下。具体的指标为：访问：101256排名：16830积分：3240...

2019-03-12 20:08:51 259

原创 TiDB 与MySQL的兼容性

截止版本：TiDB 2.1.5版本比对的版本：MySQL 5.7.25版本1.SQL语法 1.create table tablename as select * from t; （CTAS不支持） 2. Savepoints 3.LOCK TABLE 4.CHECK TABLE 5.CHECKSUM TABLE2.对象： 1.不支持view 2.不支持...

2019-03-08 17:56:59 2420

原创 TiDB 适用场景不适用场景及其被替代的产品

TiDB 适用场景：1.强一致性分布式事务：可以把 TiDB 想象成一个单机的 RDBMS，ACID 事务可以在多节点间进行，无需担心一致性问题。 TiDB 对业务没有任何侵入性，是传统的数据库中间件、数据库分库分表等优雅的替换方案。重点解决 MySQL 的单机性能和容量无法线性和灵活扩展的问题.2.数据归档库：若存储不足的时候可以水平扩展机器，TiDB的存储量大，归档...

2019-03-08 17:55:11 8019

原创 MySQL 5.7.24 GTID复制的限制

mysql> create table t select * from sales_order;ERROR 1786 (HY000): Statement violates GTID consistency: CREATE TABLE ... SELECT.报错:create table xxx as select的语句，其实会被拆分为两部分，create语句和insert语句，但...

2019-03-08 11:04:52 796

原创 Gravity增量同步MySQL数据到TiDB

前提准备：试验：源库MySQL5.7.24中进行DML操作默认不支持DDL操作，需要在配置中开启DDL目标库查看验证：监控查看：

2019-03-07 17:42:20 796

原创 MySQL 5.7.24 报错 Error 1040: Too many connections

报错信息：Error 1040: Too many connections原因：mysql> show variables like 'max%conn%';+----------------------+-------+| Variable_name | Value |+----------------------+-------+| max_conne...

2019-03-07 10:39:05 681

原创 Gravity 全量同步MySQL到TiDB

1.准备工作： 1.1 源库MySQL必须保证GTID复制,若是传统复制需要在线切换为GTID复制： #cat /etc/my.cnfserver-id =100#log-bin =/data/mysql/mysql_bin.loglog-bin =mysq...

2019-03-06 18:03:05 722

原创 ElasticSearch stack 6.5.4下载地址

ElasticSearch：windows：https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.5.4.ziphttps://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.5.4.msiLinux：https://art...

2019-03-05 21:34:59 1791

原创 MySQL 5.7.24 由传统的主从复制在线切换为GTID复制

MySQL5.7.6版本以上支持在线将传统复制切换为GTID复制.同时提供了一个表查看GTID：mysql> select * from mysql.gtid_executed;+--------------------------------------+----------------+--------------+| source_uuid ...

2019-03-05 16:23:45 574 1

原创 MySQL 5.7.24 传统的主从复制

MySQL版本 5.7.24master：172.16.4.171slave：172.16.4.172配置好repo：# cat /etc/yum.repos.d/mysql.repo [mysql57-community]name=MySQL 5.7 Community Serverbaseurl=http://repo.mysql.com/yum/mysql-5.7-comm...

2019-03-05 15:34:44 283

原创 Gravity 监控

第一部分：监控指标的metrics第二部分：安装prometheus使用rpm包或者直接安装tar.gz包： --prometheus安装部署：## curl -s https://packagecloud.io/install/repositories/prometheus-rpm/release/script.rpm.sh | sudo bash# # yum -y in...

2019-03-05 10:11:06 697

原创 TiDB DM工具通过ansible 部署实战

1.安装依赖的软件包:# yum -y install epel-release git curl sshpass python-pip2.# useradd -m -d /home/tidb tidb# passwd tidb# visudotidb ALL=(ALL) NOPASSWD: ALL# su - tidb$$ ssh-keygen -t rsaGener...

2019-03-04 23:15:17 631

原创 Gravity 介绍

Gravity是摩拜单车数据库团队自研的一套数据复制组件，目前已经稳定支撑了摩拜单车公司数百条同步通道，TPS 50000/s，80线延迟小于50ms。使用go语言编写，具有如下特点：1.多数据源(MySQL, MongoDB, TiDB, PostgreSQL)2.支持异构(不同的库、表、字段之间同步)，支持分库分表到合表的同步。3.支持双活&多活，复制过程将流量打标，避免循...

2019-03-04 15:43:04 2313

原创 Gravity 安装部署

1.前提条件：安装部署好golang的环境变量：2.下载gravity的代码：# wget https://github.com/moiot/gravity/archive/v0.9.25.tar.gz注释：由于还是老的模式组织目录结构，需要把项目放在 GOPATH//src/github.com/moiot/ 3.由于目前的版本不支持go module功能需要解压到指定的目录 ...

2019-03-04 15:23:33 1155 1

原创 TiDB 2.1 开启binlog 将数据发送到kafka

TiDB开启binlog之后后面可以接MySQL、protocol buffe、TiDB、TiFlash、kafka作为数据的拓展使用.TiDB 的binlog默认是关闭，需要手动开启，慢查询日志也是默认关闭的$ vim /home/tidb/tidb-ansible/inventory.initidb_version = v2.1.4## binlog triggerenab...

2019-03-01 17:21:57 3481 1

原创 TiDB 2.1 group_concat bug 记录

截止TiDB 2.1.5版本 group_concat函数不支持order by desc 子句.create table t(id bigint not null auto_increment primary key,country varchar(20),city_id int,city_name varchar(20)); insert into t(province,city_...

2019-03-01 17:05:12 1058

原创 TiDB 2.1.5 升级记录

由于验证bug的问题或者生产环境的演练，升级到TiDB的最新版本，仅做记录。TiDB 于2019年2月28日发布,之前PoC测试使用的为TiDB2.1.3版本。-- 升级前的版本：MySQL [(none)]> select tidb_version()\G*************************** 1. row ***************************...

2019-03-01 14:59:20 433

原创 TiDB 部署NTP检查操作及原因

-- 报错：TASK [check_system_dynamic : Preflight check - NTP service] ************************************************************************************************************************************...

2019-03-01 11:34:24 1243