2019年04月_vkingnew

12月 11月 09月 06月 05月 04月 03月 02月 01月

原创 impala 报错： MANUAL_FLUSH is enabled but the buffer is too big

报错信息：MANUAL_FLUSH is enabled but the buffer is too big

2019-04-30 23:36:18 961 1

原创 pymysql 连接MySQL 8.0.16

测试连接：import pymysqldef pyconn(): # 打开数据库连接 conn = pymysql.connect( host="197.255.20.215", user="root", password="oracle", database="wuhan", port=3306) # 使用 cursor() ...

2019-04-30 18:03:12 2200

原创 Python 3.6 连接MySQL 8.0.16

直接在linux下进行yum安装python3.6版本和MySQL8.0.16版本.连接器采用MySQL官方发布的mysql-connector-python# rpm -ivh https://repo.mysql.com//mysql80-community-release-el7-2.noarch.rpm# wget -O /etc/yum.repos.d/epel.rep...

2019-04-30 17:43:27 2444

原创 python 连接 Neo4j 的接口

neo4j 提供如下编程语言的API：gojavapython.NETJavascript此外还提供REST、HTTP API# pip install neo4j-driverCollecting neo4j-driver Downloading https://files.pythonhosted.org/packages/77/ac/b8b9dbe470624...

2019-04-30 16:45:52 2813

原创 Python MySQL的连接器(待完善)

MySQL官方发布的MySQL-connector：开源的pymysql历史悠久的MySQL-python常用的pymysql：https://github.com/PyMySQL/PyMySQL参考资料：https://dev.mysql.com/doc/connector-python/en/connector-python-versions.html...

2019-04-30 16:25:21 742

原创 python中的实用工具汉字转拼音、地址、电话、二维码

汉字转拼音:#pip install pypinyin#python将汉字翻译为带声调的拼音：>>> from pypinyin import pinyin, lazy_pinyin, Style>>> pinyin("武汉市中心")[['wǔ'], ['hàn'], ['shì'], ['zhōng'], ['xīn']]>&gt...

2019-04-30 15:50:35 438

原创 windows 10 安装pytorch

登录网站：https://pytorch.org/https://github.com/pytorch/pytorch/tagspytorch 没有在pypi中提供软件包.从2018年4月起，官方开始支持windows版本的,最新的版本为1.0.1版本.找到适合自己的版本，CUDA、平台、Python等，然后会自动提示“Run this command” 命令指令进行安装...

2019-04-30 14:42:26 584

原创 python 3.6 和 kudu +impala 交互

kudu 官方提供的编程语言接口有：C++，python ，javaimpala 官方提供的编程语言接口有：C++，python，java安装kudu的接口需要安装kudu的客户端：#pip install Cython# wget https://archive.cloudera.com/cdh6/6.2.0/redhat7/yum/RPMS/x86_64/kudu-cli...

2019-04-30 14:26:11 2043 6

原创 windows下python3.6 安装部署

windows 10 + python 3.6.8文件下载：https://www.python.org/ftp/python/3.6.8/python-3.6.8-amd64.exe安装完成：查看python的环境变量：电脑--属性--环境变量--系统环境变量：环境变量的验证：C:\Users\Administr...

2019-04-30 10:49:39 2331

原创 python3 连接impala和Hive

CentOS7 版本的安装：1.设置repo文件：#wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo2.安装python3.6版本：# yum -y install python36 python36-devel python36-pip 3.升级pip版本：# pip3...

2019-04-30 09:37:16 3420

原创 CentOS7 U盘挂载NTFS exFAT ISO

U盘常用的文件格式为FAT32，NTFS，exFAT默认支持FAT32的文件格式。exFAT：yum install -y http://li.nux.ro/download/nux/dextop/el7/x86_64/nux-dextop-release-0-5.el7.nux.noarch.rpmyum install exfat-utils fuse-exfat3.插...

2019-04-29 11:52:47 1303

原创 TiDB 数据迁移到MySQL

背景：由于TiDB 的语法和MySQL是兼容的，兼容度为90%以上，在测试开发或者数据回滚的阶段可以将TiDB的数据迁移到MySQL 5.7版本用于测试验证。源库为TiDB2.1.6版本目标库为MySQL5.7.25版本注意：MySQL8.0版本目前还兼容TiDB2.1版本,应该是兼容于TiDB 3.0.1.安装备份工具：#wget https://github.com/maxb...

2019-04-26 09:55:45 2164

原创 MySQL 8.0.16 版本使用YUM在线升级

背景：才安装部署了MySQL 8.0.15版本不几天，8.0.16版本于2019.04.25发布，考虑在线升级。并且8.0.15版本的mysql实例作为MySQL5.7.25版本的从库。1.配置好repo文件：#wget https://repo.mysql.com//mysql80-community-release-el7-2.noarch.rpm #rpm -ivh mysql...

2019-04-26 09:42:54 2195 4

原创 SQL server 2016 开启 change tracking 捕获变更数据

概述：前提条件：1.数据的兼容级别为90及其以上，即为SELECT name,database_id, compatibility_level,collation_name ,snapshot_isolation_state,recovery_model,recovery_model_descFROM sys.databases;--查询数据库的兼容级别：ALTER DATAB...

2019-04-25 14:06:17 1299

原创 SQL server 2016 开启CDC功能捕获变更数据

CDC适用的环境：1.SQL server 2008版本以上的企业版、开发版和评估版中可用；2.需要开启代理服务（作业）。3.CDC需要业务库之外的额外的磁盘空间。4.CDC的表需要主键或者唯一主键。SQL server的CDC的流程：CDC的功能介绍：开启cdc的源表在插入INSERT、更新UPDATE和删除DELETE活动时会插入数据到日志表中。cdc通过...

2019-04-25 10:56:26 9615

原创 MySQL 版本发布分析

表定义：--数据准备：--导入数据：-- 查询非RC和非GA版本：mysql> select * from mysql where rel_type like 'Mile%' or rel_type like 'Dev%' order by 1;+-------------+------------+-----------------------+| rel_vers...

2019-04-24 19:28:21 765

原创 MySQL 8.0 decimal 数据类型

官方的定义：DECIMAL[(M[,D])] [UNSIGNED] [ZEROFILL]A packed “exact” fixed-point number. M is the total number of digits (the precision) and D is the number of digits after the decimal point (the scale)....

2019-04-24 17:12:13 3175

原创 MySQL 传统复制(MySQL 5.7 -- MySQL 8.0)

主库：MySQL 5.7.25 10.19.162.134从库： MySQL 8.0.15 10.19.145.1591.源库配置：# vi /etc/my.cnf...server-id=100log-bin=mysql_bin.logbinlog_format=ROWexpire-logs-days=2...2.目标库配置：#vi /etc/my.cnf...

2019-04-24 15:42:20 1078

原创 MySQL 5.7.25 YUM 安装配置

# wget https://repo.mysql.com//mysql80-community-release-el7-2.noarch.rpm#rpm -ivh mysql80-community-release-el7-2.noarch.rpm# cat /etc/yum.repos.d/mysql-community.repo ...[mysql57-community]na...

2019-04-24 15:01:00 1472

原创 MySQL 8.0.15 YUM安装

YUM 安装便于快速的进行试验论证，安装配置都非常方便。#wget https://repo.mysql.com//mysql80-community-release-el7-2.noarch.rpm--默认安装MySQL的最新版本：#yum -y install mysql-community-libs-compat mysql-community-server mysql-comm...

2019-04-24 14:02:02 883

原创 Apache Hive 3.1单机安装部署

软件列表：CentOS 7.5Hadoop 3.2Hive 3.1.1MySQL 5.7.25第一部分：准备主机0.前置条件：0.1 配制SSH：# ssh-keygen -t rsaGenerating public/private rsa key pair.Enter file in which to save the key (/root/.ssh/id_rsa)...

2019-04-18 22:07:58 921

原创 SQL server 版本查询

SELECT SERVERPROPERTY('Collation') AS Collation, SERVERPROPERTY('CollationID') AS CollationID,SERVERPROPERTY('ProductVersion') as ProductionVersion,SERVERPROPERTY('ProductLevel')as ProductLevel,S...

2019-04-11 15:46:47 906

原创 Impala 可视化工具datagrip

概述：impala 官方提供了JDBC驱动，理论上可以识别jdbc驱动的客户端工具都可以连接到impala数据库。当然hive一样的，Datagrip 自2019.1版本已经官方支持了Hive数据库。其他可选的客户端有：oracle 的sql developer开源的：Dbvisualizer Dbeaver 他们的连接方式与此类似。下载驱动程序：https://www...

2019-04-10 12:55:18 11684 7

原创 CentOS7 NTP服务

# sudo yum install ntp# systemctl restart ntpd# ntptime有不少的服务严格依赖NTP服务，比如kudu和impala# systemctl status ntpd● ntpd.service - Network Time Service Loaded: loaded (/usr/lib/systemd/system/n...

2019-04-09 19:36:04 2417

原创 Debezium 将MongoDB同步到kafka（待完善验证）

-- 登录mongo查询：./mongo --host 10.19.166.249 --port 27017testrs:PRIMARY> rs.status()配置文件：#vim mongodb.propertiesname=mongoconnector.class=io.debezium.connector.mongodb.MongoDbConnectormongodb...

2019-04-09 18:11:42 2060

原创 confluent 同步SQL server 2017数据到kafka

配置文件：SQL server开启ALTER DATABASE TestDB SET CHANGE_TRACKING = ON (CHANGE_RETENTION = 3 DAYS, AUTO_CLEANUP = ON)goALTER TABLE [TestDB].dbo.[orders] ENABLE CHANGE_TRACKING WITH (TRACK_COLUMNS_UP...

2019-04-09 17:39:29 842

原创 Debezium SQL server 2017同步到kafka

--启动kafka：kafka-server-start.sh /usr/local/kafka/config/server.properties &配置文件：# vim mssql.propertiesname=mssqlconnector.class=io.debezium.connector.sqlserver.SqlServerConnectortasks.max...

2019-04-09 15:05:09 2557

原创 CentOS7 安装SQL server 2017

#wget https://packages.microsoft.com/config/rhel/7/mssql-server-2017.reposudo curl -o /etc/yum.repos.d/mssql-server.repo https://packages.microsoft.com/config/rhel/7/mssql-server-2017.reposudo ...

2019-04-08 17:51:56 763

原创 impala 和python的交互

--前提条件：# yum -y install python-devel gcc-c++ python-pip python gcc告警：The required version of setuptools (>=3.4.4) is not available, and can't be installed while this script is running. Pl...

2019-04-07 19:14:52 872

原创 MySQL 修改、增加、删除字段增加删除索引操作

create table user(userid bigint unsigned,username varchar(20),password varchar(128),gender char(1),mobile varchar(11),city_id int,city_name varchar(30),state tinyint,logintime datetime not n...

2019-04-04 17:22:36 1345

原创 Clickhouse 介绍

什么是clickhouse：适用场景：不适用场景：业界使用案例：参考文章：https://tech.marksblogg.com/benchmarks.html

2019-04-04 15:44:27 1672

原创 dremio 体验

wget http://download.dremio.com/community-server/3.1.8-201903290151120189-36bb2bf/dremio-community-3.1.8-201903290151120189_36bb2bf_1.noarch.rpm## rpm -ivh dremio-community-3.1.8-201903290151120...

2019-04-04 02:20:34 4366

原创 confluent community 体验

hub 地址：https://www.confluent.io/hub/1.安装必须的软件：sudo yum install curl which2.导入：sudo rpm --import https://packages.confluent.io/rpm/5.2/archive.key3.添加仓库：在目录/etc/yum.repos.d目录下新建文件 confluent.re...

2019-04-04 01:50:19 1354 3

原创 Debezium MySQL 同步到kafka

支持的jar包文件下载：https://repo1.maven.org/maven2/io/debezium/debezium-connector-mysql/0.9.3.Final/debezium-connector-mysql-0.9.3.Final-plugin.tar.gzhttps://repo1.maven.org/maven2/io/debezium/debezium-co...

2019-04-03 20:23:48 1807 1

原创 Clickhouse 导入MySQL中的表定义和数据

#clickhouse-client:create database dw;:use dw;--导入数据：CREATE TABLE FactSaleOrders ENGINE = MergeTree ORDER BY OrderID AS SELECT * FROM mysql('10.42.134.136:4000', 'dw', 'FactSaleOrders', 'root', ...

2019-04-03 20:12:26 7030 1

原创 CentOS 7 部署CDH6.2中的kudu+impala

在kudu 1.8版本之前提供repo 可rpm安装部署，1.9版本则值提供源码包安装部署.安装的版本CDH6.2版本中的kudu1.9+impala3.2：需要预先下载jar包：wget http://central.maven.org/maven2/com/microsoft/sqlserver/mssql-jdbc/6.2.1.jre7/mssql-jdbc-6.2.1.jr...

2019-04-03 15:47:59 3504 1

原创 SQL server 发kafka

前置条件：SQL server 2017至少支持SQL server 2016 SP1版本，需要开启CDC功能。1.运行环境：centos72.前置条件准备：docker和docker-compose# docker versionClient: Version: 18.09.1 API version: 1.39 Go version:...

2019-04-03 11:03:13 960 1

原创 Debezium 介绍及其使用场景

简介：What is Debezium?Debezium is a set of distributed services that capture row-level changes in your databases so that your applications can see and respond to those changes. Debezium records in ...

2019-04-02 10:30:58 4519