2018年11月_morven936

原创使用Psycopg2高效更新数据(一)

Python: 3.7Psycopg: 2.7最近要对Postgresql数据库某表中的几百万条数据进行计算并更新某字段的值，在此期间使用过协程+aiopg，7分钟更新2000条数据，速度太慢；后来查看Psycopg2文档发现了一个高效的方法。**安装Psycopg **pip install psycopg2文档中关于高效执行的描述：Fast execution helper...

2018-11-30 16:08:13 7540

原创 Elasticsearch(十二) 利用logstash将mysql数据输出到ES

logstatsh的pipeline文件：# Sample Logstash configuration for creating a simple# Beats -> Logstash -> Elasticsearch pipeline.input { stdin { } jdbc { jdbc_connection_string =&gt...

2018-11-29 19:12:28 629

原创 Elasticsearch(十一) logstash入门

Elasticsearch: 6.4.2Logstash: 6.4.21. 执行过程Logstash事件进程管道有三个阶段：input-&gt;filter-&gt;output，其中input和output是必须的，filter是可选的；input默认为stdin，output默认为stdout。inputs：常用的有file、syslog、redis、jdbc、beats等。...

2018-11-28 19:01:02 198

1. 节点Node一个Elasticsearch实例就是一个节点。默认情况下，每个节点都可以处理Http和Transport通信，其中Transport层用于节点以及Java TransportClient间的通信，Http层用于外部REST clients。节点类型：Mater-eligible node：默认为true，表示有被选举为master节点的资格。一个集群中只有一个Master...

2018-11-23 16:16:27 506

原创 Elasticsearch(九)数据关联

Elasticsearch: 6.4.21. 索引树形结构创建简单映射PUT /categories{ "settings": { "analysis": { "analyzer": { "path_analyzer": { "tokenizer": &amp

2018-11-22 18:21:45 438

原创 Elasticsearch(八)搜索优化

1. 理解字段分析过程一个常被问到的问题是，为什么指定的文档没有被搜索到。很多情况下，这都归因于映射的定义和分析例程的配置存在问题。针对分析过程的调试，Elasticsearch提供了专用的REST API。GET /_analyze{ "analyzer": "standard", # 可以替换成自定义的analyzer "text": "crime and pu

2018-11-22 14:39:59 584

原创 Elasticsearch(七)信息检索与结果过滤

Elasticsearch: 6.4.2聚合分类：Bucketing聚合: 类似SQL中的GROUP BY；基于检索构成了逻辑文档组，满足特定规则的文档放置到一个桶里，每一个桶关联一个key; 分桶聚合可以嵌套分桶聚合。Metric聚合: 基于一组文档进行聚合。所有的文档在一个检索集合里，文档被分成逻辑的分组; 对一个数据集求最大、最小、和、平均值等指标的聚合。Matrix聚合：此功...

2018-11-16 18:32:05 2959

原创 Elasticsearch(六)过滤器

过滤器Elasticsearch: 6.4.2Bool filter有must、should、must_not三种逻辑操作;其中当仅存在should时则必须至少满足一个条件.GET /books/book/_search{ "query": { "bool": { "must": [ { "match&am

2018-11-16 00:51:52 2102

原创 Elasticsearch(五)信息检索

信息检索1. 简单检索由于自Elasticsearch6开始不再支持一个索引下存在多个类型的操作，因此也就没有了查询同一索引下多个类型的信息操作。from、size分别指定了从哪个结果开始返回、查询的结果集包含的最大文档数(默认是10)查询指定索引指定类型下的信息GET /users/user/_search?q=name:bourne查询多个或者所有索引，指定类型或多个类型...

2018-11-15 18:56:00 252

原创 Elasticsearch(四)文档索引

文档索引1. 建立索引PUT /users{ "settings": { "index": { "number_of_shards": 5, "number_of_replicas": 1 } }}2. 修改索引索引的主分片数在索引创建之后就不能再修改，默认是5；副本分片是可以随时修改的。PUT /us

2018-11-15 18:55:02 203

原创 Elasticsearch(三)使用docker-compose编排服务

docker-compose.ymlversion: '3'services: node1: image: docker.elastic.co/elasticsearch/elasticsearch:6.4.2 container_name: node1 environment: - node.name=es01 - cluster.name...

2018-11-14 19:13:39 1827

原创 Elasticsearch(二) 入门使用-索引与映射

Elasticsearch基础入门本文参照Elasticsearch: 权威指南1. 基本概念索引(名词)：一个索引类似于关系型数据库中的的一个数据库，是一个存储关系型文档的地方。它的复数词为indices或indexes.索引(动词)：索引一个文档就是存储一个文档到一个索引(名词)中以便它可以被检索和查询到。倒排索引：关系型数据库通过增加一个索引比如一个 B树（B-tree）索...

2018-11-05 18:41:00 327

原创 Elasticsearch(一) Docker集群部署—单机多容器实例

Elasticsearch 6 Docker集群部署—单机多容器实例Elasticsearch: 6.4.2环境：在Mac上搭建的单机多容器实例：1个master节点，一个slave节点1. 以Docker形式安装Elasticsearch拉去镜像：docker pull docker.elastic.co/elasticsearch/elasticsearch:6.4.22. ...

2018-11-05 18:37:56 3378 4

海洋之心