测试使用-批量往es索引中添加数据,es的使用小结。

于 2017-07-25 00:02:00 发布
阅读量1.7w 收藏 11
点赞数
分类专栏： ElasticSearch 文章标签： elasticsearch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wyl9527/article/details/76039686
版权 
# encoding:utf8
from datetime import datetime
from elasticsearch import Elasticsearch
import elasticsearch.helpers
import random

es = Elasticsearch(['172.18.1.22:9200', '172.18.1.23:9200', '172.18.1.24:9200', '172.18.1.25:9200', '172.18.1.26:9200'])


es.indices.create(index='test_index', ignore=400)
#es.index(index="skynet_social_twitter_v6", doc_type="test-type", id=42, body={"any": "data", "timestamp": datetime.now()})

package = []
for i in range( 10 ):
    row = {
        "@timestamp":datetime.now().strftime( "%Y-%m-%dT%H:%M:%S.000+0800" ),
        "count" : random.randint(  1, 100 )
    }
    package.append( row )

actions = [
    {
        '_op_type': 'index',
        '_index': "test_index",  
        '_type': "test-type",  
        '_source': d
    }
    for d in package
]    

elasticsearch.helpers.bulk( es, actions )

他人博客总结的：他人总结的es使用小结

给索引取别名，这样告诉使用者别名就ok了。

 curl -XPOST 'http://172.18.1.22:9200/_aliases' -d 
{
    "actions": [
        {"add": {"index": "info-test", "alias": "wyl"}}
    ]
}

移除别名：

curl -XPOST 'http://localhost:9200/_aliases' -d 
{
    "actions": [
        {"remove": {"index": "test1", "alias": "alias1"}}
    ]
}

重命名一个别名就是一个简单的remove然后add的操作，也是使用相同的API。这个操作是原子的。

重命名:

curl -XPOST 'http://localhost:9200/_aliases' -d '
{
    "actions": [
        {"remove": {"index": "test1", "alias": "alias1"}},
        {"add": {"index":"test1", "alias": "alias2"}}
    ]
}'

将一个别名同多个的索引关联起来：

curl -XPOST 'http://localhost:9200/_aliases' -d '
{
    "actions": [
        {"add": {"index": "test1", "alias":"alias1"}},
        {"add": {"index": "test2", "alias":"alias1"}}
    ]
}'

向一个指向多个索引的别名去索引数据会引发一个错误。

1、查看集群的所有节点

http://172.24.5.149:9200/_cat/nodes?v

2、查看集群的健康情况

http://172.24.5.149:9200/_cat/health?v

3、查看集群中所有的索引

http://172.24.5.149:9200/_cat/indices?v

4、删除info-test索引

curl -XDELETE 'http://172.24.5.149:9200/info-test'

5、创建info-test索引

curl -XPUT 'http://172.24.5.149:9200/info-test'

6、向索引中插入一个ID为1的文档

    curl -XPUT "localhost:9200/info-test/people/1?
    {
        "name": "John Doe"
    }"

7、在没有ID的情况下向索引中插入文档，ES会随机生成一个ID：

    curl -XPOST "localhost:9200/info-test/people?
    {
        "name": "John Doe"
     }"

8、根据ID查询文档

 curl -XGET 'localhost:9200/info-test/people/1?

9、更新ID为1的文档，将name字段的值改为Jane Doe

curl -XPOST "localhost:9200/info-test/people/1/_update?
        {
          "doc": { "name": "Jane Doe" }
        }"

10、更新ID为1的文档，将name字段的值改为Jane Doe，同时加上age字段

 curl -XPOST "localhost:9200/info-test/people/1/_update?
        {
          "doc": { "name": "Jane Doe", "age": 20 }
        }

11、通过脚本来执行，给ID为1的文档的age属性值加5

 curl -XPOST "localhost:9200/info-test/people/1/_update?
        {
          "script" : "ctx._source.age += 5"
        }"
在上面的例子中，ctx._source指向当前要被更新的文档。

12、删除ID为2的文档

curl -XDELETE "localhost:9200/info-test/people/2?"
可以设置超时时间
curl -XDELETE 'http://localhost:9200/twitter/tweet/1?timeout=5m'

13、删除名字中包含“John”的所有文档

  curl -XDELETE "localhost:9200/info-test/people/_query?
        {
          "query": { "match": { "name": "John" } }
        }

14、批量插入ID为1和ID为2的文档

 curl -XPOST 'localhost:9200/info-test/people/_bulk? {"index":{"_id":"1"}}{"name": "John Doe" }{"index":{"_id":"2"}}{"name": "Jane Doe" }'

15、批量更新ID为1的文档，删除ID为2的文档

   curl -XPOST 'localhost:9200/customer/external/_bulk?
        {"update":{"_id":"1"}}
        {"doc": { "name": "John Doe becomes Jane Doe" } }
        {"delete":{"_id":"2"}}'

16、搜索info-test索引中的所有文档

curl 'localhost:9200/info-test/_search?q=*'

17、使用POST请求体搜索info-test索引中的所有文档

      curl -XPOST 'localhost:9200/info-test/_search?
            {
              "query": { "match_all": {} }
            }'

18、使用POST请求体搜索info-test索引中的所有文档，但只要求返回一个文档（默认返回10个）

        curl -XPOST 'localhost:9200/info-test/_search?
            {
              "query": { "match_all": {} },
        "size": 1
            }'

19、使用POST请求体搜索info-test索引中的所有文档，返回第11到第20个文档

  curl -XPOST 'localhost:9200/info-test/_search?
        {
          "query": { "match_all": {} },
          "from": 10,
          "size": 10
        }'
如果不指定from的值，它默认就是0。

20、使用POST请求体搜索info-test索引中的所有文档并按照name属性降序排列

    curl -XPOST 'localhost:9200/info-test/_search?
        {
          "query": { "match_all": {} },
          "sort": { "name": { "order": "desc" } }
        }'

21、使用POST请求体搜索info-test索引中的所有文档，但是只要求返回部分字段

   curl -XPOST 'localhost:9200/info-test/_search?
        {
          "query": { "match_all": {} },
          "_source": ["age", "name"]
        }'

22、使用POST请求体搜索info-test索引中age属性值为20的文档

  curl -XPOST 'localhost:9200/info-test/_search?
        {
          "query": { "match": { "age": 20 } }
        }

23、使用POST请求体搜索info-test索引中address属性值包含mill lane的文档.（Jane Doe相当于一个短语）

   curl -XPOST 'localhost:9200/info-test/_search?
        {
          "query": { "match_phrase": { "address": "mill lane" } }
        }'

24、使用POST请求体搜索info-test索引中address属性值包含”mill”和”lane”的文档

     curl -XPOST 'localhost:9200/info-test/_search?
        {
          "query": {
            "bool": {
              "must": [
                { "match": { "address": "mill" } },
                { "match": { "address": "lane" } }
              ]
            }
          }
        }'
must：and。 should: or。 must_not:非。

25、使用POST请求体搜索info-test索引中balance的属性值在2000大于等于20000并且小于等于30000的文档

   curl -XPOST 'localhost:9200/info-test/_search?
        {
          "query": {
            "filtered": {
              "query": { "match_all": {} },
              "filter": {
                "range": {
                  "balance": {
                    "gte": 20000,
                    "lte": 30000
                  }
                }
              }
            }
          }
        }'

26、使用POST请求体搜索info-test索引中的文档，并按照state属性分组
curl -XPOST ‘localhost:9200/info-test/_search?

 {
          "size": 0,
          "aggs": {
            "group_by_state": {
              "terms": {
                "field": "state"
              }
            }
          }
        }'

响应（其中一部分）是：

"hits" : {
            "total" : 1000,
            "max_score" : 0.0,
            "hits" : [ ]
          },
          "aggregations" : {
            "group_by_state" : {
              "buckets" : [ {
                "key" : "al",
                "doc_count" : 21
              }, {
                "key" : "tx",
                "doc_count" : 17
              }, {
                "key" : "id",
                "doc_count" : 15
              }, {
                "key" : "ma",
                "doc_count" : 15
              }, {
                "key" : "md",
                "doc_count" : 15
              }, {
                "key" : "pa",
                "doc_count" : 15
              }, {
                "key" : "dc",
                "doc_count" : 14
              }, {
                "key" : "me",
                "doc_count" : 14
              }, {
                "key" : "mo",
                "doc_count" : 14
              }, {
                "key" : "nd",
                "doc_count" : 14
              } ]
            }
          }
        }

27、 在先前聚合的基础上，现在这个例子计算了每个州的账户的平均余额

curl -XPOST 'localhost:9200/bank/_search?
        {
          "size": 0,
          "aggs": {
            "group_by_state": {
              "terms": {
                "field": "state"
              },
              "aggs": {
                "average_balance": {
                  "avg": {
                    "field": "balance"
                  }
                }
              }
            }
          }
        }'

28、基于前面的聚合，现在让我们按照平均余额进行排序：

  curl -XPOST 'localhost:9200/bank/_search?pretty' -d '
        {
          "size": 0,
          "aggs": {
            "group_by_state": {
              "terms": {
                "field": "state",
                "order": {
                  "average_balance": "desc"
                }
              },
              "aggs": {
                "average_balance": {
                  "avg": {
                    "field": "balance"
                  }
                }
              }
            }
          }
        }'

29、使用年龄段（20-29，30-39，40-49）分组，然后在用性别分组，然后为每一个年龄段的每一个性别计算平均账户余额：

 curl -XPOST 'localhost:9200/bank/_search?pretty' -d '
        {
          "size": 0,
          "aggs": {
            "group_by_age": {
              "range": {
                "field": "age",
                "ranges": [
                  {
                    "from": 20,
                    "to": 30
                  },
                  {
                    "from": 30,
                    "to": 40
                  },
                  {
                    "from": 40,
                    "to": 50
                  }
                ]
              },
              "aggs": {
                "group_by_gender": {
                  "terms": {
                    "field": "gender"
                  },
                  "aggs": {
                    "average_balance": {
                      "avg": {
                        "field": "balance"
                      }
                    }
                  }
                }
              }
            }
          }
        }'

30、给已有的mapping新增一个字段

POST /information/_mapping/email1
{
  "properties": {
    "name": {
      "type": "text",
      "index": "analyzed"
    }
  }
}

31、设置索引的setting

PUT /atom/_settings
{
  "settings": {

       "index.mapping.total_fields.limit": 4000

},
  "index": {
    "refresh_interval": "30s",
    "number_of_replicas":"0"
  }
}

32、查看指定type的mapping（如果不指定type，则查看index下面所有type的mapping）

GET /atom/_mapping/人类

33、条件更新_update_by_query

POST /index/type/_update_by_query?conflicts=proceed
{
  "script": {
    "inline": "ctx._source.ontology_type=(params.tag)",
    "lang": "painless",
    "params": {
      "tag": "event"
    }
  },
  "query": {
    "match_all": {}
  }
}

34、查询某个type下面的所有数据

POST /atom/欧洲排球锦标赛/_search
{
  "query": {
    "match_all": {}
  }
}

35、创建文档的时候带版本号

PUT twitter/tweet/1?version=2
{
    "message" : "elasticsearch now has versioning support, double cool!"
}

version类型：internal、external or external_gt、external_gte

36、创建文档的时候带op_type参数

PUT twitter/tweet/1?op_type=create
{
    "user" : "kimchy",
    "post_date" : "2011-11-15T14:12:12",
    "message" : "trying out Elasticsearch"
}

或者

PUT twitter/tweet/1/_create
{
    "user" : "kimchy",
    "post_date" : "2011-11-15T14:12:12",
    "message" : "trying out Elasticsearch"
}

37、创建文档的时候自动生成id字段

POST twitter/tweet/
{
    "user" : "kimchy",
    "post_date" : "2009-11-15T14:12:12",
    "message" : "trying out Elasticsearch"
}

38、创建文档的时候指定路由字段

POST twitter/tweet?routing=kimchy
{
    "user" : "kimchy",
    "post_date" : "2011-11-15T14:12:12",
    "message" : "trying out Elasticsearch"
}

39、创建文档时设置超时时间

PUT twitter/tweet/1?timeout=5m
{
    "user" : "kimchy",
    "post_date" : "2011-11-15T14:12:12",
    "message" : "trying out Elasticsearch"
}

40、查询时不要source字段

GET twitter/tweet/0?_source=false

41、查询时选择source中的字段

GET twitter/tweet/0?_source_include=*.id&_source_exclude=entities

或者

GET twitter/tweet/0?_source=*.id,retweeted

42、只获取source里面的字段

GET twitter/tweet/1/_source

也可以选择source里面的部分字段

GET twitter/tweet/1/_source?_source_include=*.id&_source_exclude=entities'

43、自定义routing

GET twitter/tweet/2?routing=user1

创建文档的时候指定了routing的话，查询时候也要带上routing

44、给指定的type创建mapping

POST /information/_mapping/email1
{
  "properties": {
    "name": {
      "type": "text",
      "index": "analyzed"
    }
  }
}

45、delete_by_query

POST atom_v3/news/_delete_by_query?conflicts=proceed
{
  "query": { 
    "match": {
      "docType": "news"
    }
  }
}

46、强制合并索引的segment

POST atom_v3/_forcemerge?max_num_segments=5

47、查看某个索引的segments

http://172.24.8.83:9200/atom_v3/_segments

或者

http://172.24.8.83:9200/_cat/segments/atom_v3

48、创建索引的同时创建mapping

PUT my_index
{
  "mappings": {
    "user": {
      "_all": {
        "enabled": false
      },
      "properties": {
        "title": {
          "type": "text"
        },
        "name": {
          "type": "text"
        },
        "age": {
          "type": "integer"
        }
      }
    },
    "blogpost": {
      "_all": {
        "enabled": false
      },
      "properties": {
        "title": {
          "type": "text"
        },
        "body": {
          "type": "text"
        },
        "user_id": {
          "type": "keyword"
        },
        "created": {
          "type": "date",
          "format": "strict_date_optional_time||epoch_millis"
        }
      }
    }
  }
}

49、reindex:index之间的数据导入

POST _reindex
{
  "source": {
    "index": "twitter"
  },
  "dest": {
    "index": "new_twitter"
  }
}
wyl9527
关注
  • 0
    点赞
  • 踩
  • 11
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值