2019年05月_vkingnew

12月 11月 09月 06月 05月 04月 03月 02月 01月

原创 RediSQL 尝试

文档：https://redisql.redbeardlab.com/rediSQL/https://github.com/RedBeardLab/rediSQL概述：

2019-05-31 18:00:23 1065

原创 Elasticsearch 监控

https://www.jianshu.com/p/c8cbba119b9ahttps://www.jianshu.com/p/ec54c3bab79f?utm_campaign=maleskine&utm_content=note&utm_medium=seo_notes&utm_source=recommendation监控信息参考：https://www....

2019-05-31 17:45:55 699

原创 Elasticsearch ILM(索引生命周期管理)

参考：https://www.elastic.co/guide/en/elasticsearch/reference/6.7/index-lifecycle-management.html索引生命周期管理：

2019-05-31 17:09:40 5779

原创 elasticsearch索引管理利器 curator

功能：Elasticsearch curator 可以协助管理Elasticsearch的index，snapshot1.从集群中获取索引（或快照）的完整列表 2.迭代用户定义的过滤器列表，根据需要逐步从此可操作列表中删除索引（或快照）。3.对可保留在可操作列表中的项目执行各种操作。起源：早期是一个脚本 clearESindices.py，唯一功能是删除索引，随后又被改...

2019-05-31 00:39:05 1345

原创 Elasticsearch 6.5.4 x-pack 插件破解

--查询license：#curl -u elastic:elastic -XGET 'http://localhost:9200/_xpack/license' { "license" : { "status" : "active", "uid" : "2dc3cf09-d3cd-4a34-8380-37be960fc587", "type" : "...

2019-05-30 17:36:50 1593

原创 Elasticsearch 客户端数据可视化 datagrip 和DBeaver

Elasticsearch 可使用odbc和JDBC进行数据可视化查询，但是需要购买Elasticsearch xpack的授权。作为体验可以参考网上进行破解。Datagrip 要求2019.1版本+DBeaver 需要6.0.1版本+通过DataGrip 客户端进行查询：选择datasource：若有用户名和密码需要指定用户名和密码，若无则可以不用写。...

2019-05-30 16:39:33 11515 1

原创 sqoop 1.4 将MySQL的tinyint类型转为hdfs的bool类型

mysql数据库里面的字段是 tinyint 类型通过sqoop 抓取出来的数据在HDFS 上面显示的true、false解决办法：jdbc会把tinyint 认为是java.sql.Types.BIT，然后sqoop就会转为Boolean了，悲剧吧在连接上加上一句话tinyInt1isBit=falsejdbc:mysql://localhost/test?tinyI...

2019-05-30 11:17:24 217

原创 Elasticsearch 7 部署自带的数据示例

https://raw.githubusercontent.com/elastic/elasticsearch/master/docs/src/test/resources/accounts.jsonhttps://www.elastic.co/guide/en/kibana/current/tutorial-load-dataset.html下载到本地.参考：https://w...

2019-05-28 15:53:58 2298 4

原创 sqoop 导入SQL server数据到Hive

脚本：#!/bin/bash#Set the RDBMS topic name as bash's first params#Set the RDBMS table name as bash's second paramsecho "<----------------Import topic name is [$1]---------------->"echo "...

2019-05-27 15:52:57 1944

原创 sqoop 导入MySQL数据到Hive

注意：部署sqoop和hive的时候，需要将hive和sqoop部署到同一节点上。不然使用sqoop导入数据的时候会报错。错误示例如下：Database Class Loader started - derby.database.classpath=''19/05/28 14:37:16 ERROR bonecp.BoneCP: Unable to start/stop JMXjava....

2019-05-27 15:27:37 1240

原创 Elasticsearch 监控工具elasticsearch-HQ

监控：#yum -y install epel# sudo sed -e 's!^mirrorlist=!#mirrorlist=!g' \ -e 's!^#baseurl=!baseurl=!g' \ -e 's!//download\.fedoraproject\.org/pub!//mirrors.ustc.edu.cn!g' \ ...

2019-05-25 00:38:17 3122

原创 elasticsearch head 插件简单详细安装步骤

运行环境：CentOS 7需要设置npm的环境变量：#wget https://nodejs.org/dist/v10.15.3/node-v10.15.3-linux-x64.tar.xz或者选择新版本的LTS# wget https://nodejs.org/dist/v12.13.1/node-v12.13.1-linux-x64.tar.xz# tar -xJvf node...

2019-05-24 23:57:12 216

原创 Elasticsearch SQL 开源

NLPchina的支持的版本比较延后，不支持最新的Elasticsearch 7.1版本:https://github.com/NLPchina/elasticsearch-sql社区版本有开发支持ES7.1版本的Elasticsearch-sql：https://github.com/iamazy/elasticsearch-sql支持的版本相对比较新.使用ES SQL ；E...

2019-05-24 11:07:49 967

原创 Elasticsearch SQL 官方初体验

自Elasticsearch 6.3版本开始在x-pack中支持了SQL：ESQL 支持6.3及其以上版本.– 查看列的信息：DESCRIBE[table identifier | [LIKE pattern]] 注释：desc 等同于DESCRIBESHOW COLUMNS [ FROM | IN ]?[table identifier | [LIKE pattern] ...

2019-05-24 10:48:56 1088

原创 Elasticsearch SQL JDBC报错：current license is non-compliant for [jdbc]

使用客户端连接Elasticsearch 7.1 SQL，使用官方的jdbc驱动报错：current license is non-compliant for [jdbc]https://license.elastic.co/registrationhttps://www.elastic.co/guide/en/elasticsearch/reference/current/sql-...

2019-05-24 10:25:18 11812 4

原创 ELK 7.1 监控logstash

默认的安装的logstash是没有被kibana监控的,需要经过一些设置进行监控。注释：以下配置文件的路径基于RPM安装的ELK7.1版本.1.Elasticsearch需要修改加一些配置：## vim /etc/elasticsearch/elasticsearch.yml...#action.destructive_requires_name: truexpack.securi...

2019-05-23 17:03:53 1869

原创 ElasticSearch 7.1 集群搭建基于RPM

--规划：197.255.20.213 Elasticsearch data logstash kibana197.255.20.214 Elasticsearch data197.255.20.215 Elasticsearch master配置repo：--导入key：#rpm --import https://artifacts.elastic.co/G...

2019-05-22 17:56:22 2934

原创 impala 报错value too large for column 'xxx' (70787 bytes, maximum is 65536 bytes)

报错信息：Pipeline Status: RUNNING_ERROR: com.streamsets.pipeline.api.StageException: KUDU_03 - Errors while interacting with Kudu: Row error for primary key="c42f76aec336497e8a2691d8a6f96f76", tablet=n...

2019-05-21 14:22:18 2280 2

原创 python3 与主流大数据组件

大数据领域主要是以java为主，次要的编程语言为python，scala等，本文介绍和python相关的大数据：python所需要的版本为python3.6：数据源：MySQL：oracle：MS SQL server：postgresql： pip install psycopg2MongoDB：Neo4J：Redis：大数据处理：Hadoop：（HDFS、Map...

2019-05-21 12:00:41 899

原创 MySQL 8.0 死锁诊断

show open tables where in_use>0;select * from information_schema.PROCESSLIST p where p.state<>'';select * from sys.innodb_lock_waits;select * from sys.schema_table_lock_waits;select * f...

2019-05-17 11:15:49 3301

原创 TiDB 监控截图

PD:TiDB 监控详情：TiKV监控信息：https://www.pingcap.com/docs-cn/op-guide/d...

2019-05-10 10:11:20 706

原创 python3.6 ztsd

#pip3 install zstd# pip list | grep -i zstdzstd 1.4.0.0 ]# python3Python 3.6.6 (default, Mar 29 2019, 00:03:27) [GCC 4.8.5 20150623 (Red Hat 4.8.5-36)] on linuxType "help"...

2019-05-08 17:53:12 1487

原创 python3.6 snappy

## yum -y install snappy snappy-devel gcc gcc-c++ cpp# rpm -qa | grep -i snappysnappy-1.1.0-3.el7.x86_64snappy-devel-1.1.0-3.el7.x86_64#pip install snapp python-snappy# pip list | grep -i snap...

2019-05-08 17:49:23 1432

原创 MySQL 8.0 批量生产千万级用户、手机号等信息

在测试功能的时候需要生千万级甚至亿级别的，可以通过写MySQL的存储过程来模拟真实的用户信息。说明：该存储过程使用基于id作为自增主键，有手机号是随机生成，可能会有少量重复手机号码，后面有滤重SQL脚本。如果想一次性生成不重复手机号码，可以考虑修改以下脚本，去掉uid，基于mobile列作为主键表的定义：mysql> select version();+-------...

2019-05-08 16:45:52 1303

原创 ElasticSearch 性能压测工具esrally

概述：https://github.com/elastic/rallyRally is developed for Unix and is actively tested on Linux and MacOS. Rally supports benchmarking Elasticsearch clusters running on Windows but Rally itself nee...

2019-05-08 12:03:23 2470 1

原创 python3.6 日期时间格式化

获取当前日期：time.time()获取元组形式的时间戳：time.local(time.time())格式化日期的函数(基于元组的形式进行格式化)：（1）time.asctime(time.local(time.time()))（2）time.strftime(format[,t])将格式字符串转换为时间戳：time.strptime(str,fmt='%a %b %d ...

2019-05-07 14:36:16 7328

原创人脸识别软件安装(Dlib和openCV)

windows下需要实现安装vc++ 2014.windows下python36版本：注意：dlib的其他版本需要安装cmake才可以安装windows 版本的dlib只提供到最新的19.7.0版本，更新的版本么有提供安装包需要自己编译。pip install dlib==19.7.0pip install -U scikit-imagepip install face_recogn...

2019-05-06 10:26:48 598

原创 windows下Microsoft Visual C++ 14.0 is required

背景：windows下安装python相关的软件包的时候使用pip安装scrapy等软件包，依赖twisted等C++编写的程序时候: error: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools": https://visualstudio.microsoft.com...

2019-05-06 00:25:09 46093 14

原创 pip 使用国内的源站

国内的pypi镜像站点：阿里云 http://mirrors.aliyun.com/pypi/simple/中国科技大学 https://pypi.mirrors.ustc.edu.cn/simple/ 豆瓣(douban) http://pypi.douban.com/simple/ 清华大学 https://pypi.tuna.tsinghua.edu.cn/simple/...

2019-05-05 23:46:22 2093

原创数据库与clickhouse的同步

mysqlkafkaclickhouse支持存储引擎为MySQL和kafka.其他的关系型数据库如oracle、SQL server、postgresql、mysql和MongoDB都可以通过将信息发送到kafka，进而和Clickhouse进行数据接入.可选的有数据抽取工具有：logstashdeebeezium...

2019-05-05 12:42:46 5452

原创数据库的与Hadoop生态的同步

Hadoop生态中负责存储的有Hbase、kudu，负责计算的有impala和hive源库实时流同步的：streamsets：利用MySQL的binlog、mongoDB的oplog和oracle、SQL server的CDC功能将数据近实时的同步到目标存储上，如kudu和hbase上。上有开源的apache Nifi开源的kettle工具：...

2019-05-05 12:10:52 465

原创数据库与TiDB的同步

可以利用kafka读取源库的文件：MySQL--》TiDB方案1：数据量小的时候直接使用官方提供的mydumper+loader+syncer数据量大可用mydumper+TiDB lightning后期维护的时候使用：TiDB的同步（源库要不同的加减字段、修改字段） TiDB DM方案2：使用摩拜开源的gravityMongoDB --》TiDBSQL server...

2019-05-05 12:06:41 1706

原创数据库与ElasticSearch的同步

MySQL--> ElasticSearch:logstash_output_jdbcMongoDB -->ElasticSearch:mongo connectorhttps://github.com/yougov/mongo-connectorMonstachehttps://github.com/rwynn/monstacheOracle --> E...

2019-05-05 11:59:00 1399

原创 OCRmyPDF 安装详解

概述支持的操作系统：windows 10 下安装部署：windows下需要安装vc++ 2014版本.C:\Windows\System32>verMicrosoft Windows [版本 10.0.14393]windows下需要安装tesseract版本的软件：https://github.com/UB-Mannheim/tesseract/wikit...

2019-05-05 10:39:58 3437