Elasticsearch mapping conflict

最新推荐文章于 2021-10-10 23:14:00 发布
最新推荐文章于 2021-10-10 23:14:00 发布
阅读量410 收藏
点赞数
文章标签： 大数据 python
原文链接：https://my.oschina.net/MrYx3en/blog/531030
版权

2019独角兽企业重金招聘Python工程师标准>>> hot3.png


\\

0> head -n 3 upload_ori_size.log | grep ori_size
{ "http_host": "bj.unistore.weibo.cn", "private": "public", "orilog": "lar", "mklog": "mkstr:[3|.\/images\/weibo_logo_small.png|@-他们叫我三哥哥|weibo.com\/u\/5155207263]", "ori_md5": "db302e49b603314db80e258d775e1f7f", "uid": "5155207263", "cachepath": "\/weibo_img\/filer_cache\/t_cache\/136\/098\/005CSIUfjw1ey2y4c1gjtj30dc0hsad1", "pid": "005CSIUfjw1ey2y4c1gjtj30dc0hsad1", "ori_size": "115296", "app": "mobile", "datetime": "2015-11-16 17:31:33", "@timestamp": "2015-11-16T17:31:33+0800", "message": " 2015-11-16 17:31:33#011Store: mobile 115296 005CSIUfjw1ey2y4c1gjtj30dc0hsad1 \/weibo_img\/filer_cache\/t_cache\/136\/098\/005CSIUfjw1ey2y4c1gjtj30dc0hsad1 5155207263 db302e49b603314db80e258d775e1f7f mkstr:[3|.\/images\/weibo_logo_small.png|@-他们叫我三哥哥|weibo.com\/u\/5155207263] lar public bj.unistore.weibo.cn", "host": "upl001.weibo.imgbed.bx.sinanode.com", "type": "weibo_img_upload_app_access" }

\\

0> head -n 2 service_response_time.log | grep response_time
{ "datauri": "155\/065\/9b41314fa57b5030be1a6967e67f89fa0000781f.thu?pid=66d7742cjw6dfar2jseojj", "datahost": "data11.bj.storage.t.sinaimg.cn", "response_time": "1110.89", "file_size": "5819", "action": "DOWN", "idc": "bjcnc", "datetime": "2015-11-16 17:35:06", "@timestamp": "2015-11-16T17:35:06+0800", "message": " 2015-11-16 17:35:06#011- - - - - ACCESS bjcnc DOWN 5819 1110.89 http:\/\/data11.bj.storage.t.sinaimg.cn\/155\/065\/9b41314fa57b5030be1a6967e67f89fa0000781f.thu?pid=66d7742cjw6dfar2jseojj", "host": "svc001.weibo.imgbed.bx.sinanode.com", "type": "weibo_img_service_app_access" }

\\

0> head -n 10 replicator_access.log | grep file_size
{"host":"rep001.weibo.imgbed.bx.sinanode.com", "download_speed": "612234.0", "cost_time": "0.690773", "file_size": 422915, "file_path": "\/weibo_img\/filer_cache\/t_cache\/047\/131\/b7d4e5c8gw1ey2wsz09rhj20xc18g13x.lar", "id": "7294", "level": "INFO", "fromidc": "GZ", "service": "replicate", "ms": "230", "@timestamp": "2015-11-16T16:46:03+0800", "type": "weibo_img_replicator_app_access" }

\\ service mapping

130> curl -XGET http://10.19.0.64:9200/logstash-php-2015.11.10/weibo_img_service_app/_mapping?pretty
{
  "logstash-php-2015.11.10" : {
    "mappings" : {
      "weibo_img_service_app" : {
        "dynamic_templates" : [ {
          "message_field" : {
            "mapping" : {
              "index" : "analyzed",
              "omit_norms" : true,
              "store" : false,
              "type" : "string"
            },
            "match" : "message",
            "match_mapping_type" : "string"
          }
        }, {
          "string_fields" : {
            "mapping" : {
              "ignore_above" : 256,
              "index" : "not_analyzed",
              "store" : false,
              "type" : "string",
              "doc_values" : true
            },
            "match" : "*",
            "match_mapping_type" : "string"
          }
        }, {
          "long_fields" : {
            "mapping" : {
              "type" : "long",
              "doc_values" : true
            },
            "match" : "*",
            "match_mapping_type" : "long"
          }
        }, {
          "integer_fields" : {
            "mapping" : {
              "type" : "integer",
              "doc_values" : true
            },
            "match" : "*",
            "match_mapping_type" : "integer"
          }
        }, {
          "double_fields" : {
            "mapping" : {
              "type" : "double",
              "doc_values" : true
            },
            "match" : "*",
            "match_mapping_type" : "double"
          }
        }, {
          "float_fields" : {
            "mapping" : {
              "type" : "float",
              "doc_values" : true
            },
            "match" : "*",
            "match_mapping_type" : "float"
          }
        } ],
        "_all" : {
          "enabled" : true
        },
        "properties" : {
          "@timestamp" : {
            "type" : "date",
            "doc_values" : true,
            "format" : "dateOptionalTime"
          },
          "action" : {
            "type" : "string",
            "index" : "not_analyzed",
            "doc_values" : true,
            "ignore_above" : 256
          },
          "city" : {
            "type" : "string",
            "index" : "not_analyzed",
            "doc_values" : true,
            "ignore_above" : 256
          },
          "clientip" : {
            "type" : "ip",
            "doc_values" : true
          },
          "datahost" : {
            "type" : "string",
            "index" : "not_analyzed",
            "doc_values" : true,
            "ignore_above" : 256
          },
          "datauri" : {
            "type" : "string",
            "index" : "not_analyzed",
            "doc_values" : true,
            "ignore_above" : 256
          },
          "datetime" : {
            "type" : "string",
            "index" : "not_analyzed",
            "doc_values" : true,
            "ignore_above" : 256
          },
          "details" : {
            "type" : "object",
            "enabled" : false
          },
          "end_time" : {
            "type" : "string",
            "index" : "not_analyzed",
            "doc_values" : true
          },
          "error_no" : {
            "type" : "string",
            "index" : "not_analyzed",
            "doc_values" : true,
            "ignore_above" : 256
          },
          "error_type" : {
            "type" : "string",
            "index" : "not_analyzed",
            "doc_values" : true,
            "ignore_above" : 256
          },
          "file_size" : {
            "type" : "string",
            "index" : "not_analyzed",
            "doc_values" : true,
            "ignore_above" : 256
          },
          "geoip" : {
            "dynamic" : "true",
            "properties" : {
              "location" : {
                "type" : "geo_point"
              }
            }
          },
          "host" : {
            "type" : "string",
            "index" : "not_analyzed",
            "doc_values" : true,
            "ignore_above" : 256
          },
          "idc" : {
            "type" : "string",
            "index" : "not_analyzed",
            "doc_values" : true,
            "ignore_above" : 256
          },
          "jsoncontent" : {
            "dynamic" : "true",
            "properties" : {
              "content" : {
                "type" : "string",
                "index" : "not_analyzed",
                "doc_values" : true,
                "ignore_above" : 8092
              }
            }
          },
          "jsonlog" : {
            "type" : "string",
            "index" : "no"
          },
          "logsource" : {
            "type" : "string",
            "index" : "not_analyzed",
            "doc_values" : true,
            "ignore_above" : 256
          },
          "message" : {
            "type" : "string",
            "norms" : {
              "enabled" : false
            }
          },
          "originalmsg" : {
            "type" : "string",
            "index" : "not_analyzed",
            "doc_values" : true,
            "ignore_above" : 256
          },
          "pic_id" : {
            "type" : "string",
            "index" : "not_analyzed",
            "doc_values" : true,
            "ignore_above" : 256
          },
          "pic_length" : {
            "type" : "long",
            "doc_values" : true
          },
          "pic_type" : {
            "type" : "string",
            "index" : "not_analyzed",
            "doc_values" : true,
            "ignore_above" : 256
          },
          "request_header" : {
            "type" : "object",
            "enabled" : false
          },
          "response_header" : {
            "type" : "object",
            "enabled" : false
          },
          "response_time" : {
            "type" : "string",
            "index" : "not_analyzed",
            "doc_values" : true,
            "ignore_above" : 256
          },
          "rtt" : {
            "type" : "double",
            "doc_values" : true
          },
          "start_time" : {
            "type" : "string",
            "index" : "not_analyzed",
            "doc_values" : true
          },
          "timestamp" : {
            "type" : "string",
            "index" : "not_analyzed",
            "doc_values" : true,
            "ignore_above" : 256
          },
          "type" : {
            "type" : "string",
            "index" : "not_analyzed",
            "doc_values" : true,
            "ignore_above" : 256
          },
          "uid" : {
            "type" : "string",
            "index" : "not_analyzed",
            "doc_values" : true
          },
          "unparsed-data" : {
            "type" : "string",
            "index" : "not_analyzed",
            "doc_values" : true,
            "ignore_above" : 256
          },
          "video_buffer_duration" : {
            "type" : "long",
            "doc_values" : true
          },
          "video_duration" : {
            "type" : "double",
            "doc_values" : true
          },
          "video_request_header" : {
            "type" : "object",
            "enabled" : false
          },
          "video_response_header" : {
            "type" : "object",
            "enabled" : false
          },
          "video_time_duration" : {
            "type" : "nested",
            "properties" : {
              "duration" : {
                "type" : "string",
                "index" : "not_analyzed",
                "doc_values" : true,
                "ignore_above" : 256
              },
              "type" : {
                "type" : "string",
                "index" : "not_analyzed",
                "doc_values" : true,
                "ignore_above" : 256
              }
            }
          },
          "wm" : {
            "type" : "string",
            "index" : "not_analyzed",
            "doc_values" : true
          }
        }
      }
    }
  }
}

\\ upload mapping

0> curl -XGET http://10.19.0.64:9200/logstash-php-2015.11.10/weibo_img_upload_app/_mapping?pretty
{
  "logstash-php-2015.11.10" : {
    "mappings" : {
      "weibo_img_upload_app" : {
        "dynamic_templates" : [ {
          "message_field" : {
            "mapping" : {
              "index" : "analyzed",
              "omit_norms" : true,
              "store" : false,
              "type" : "string"
            },
            "match" : "message",
            "match_mapping_type" : "string"
          }
        }, {
          "string_fields" : {
            "mapping" : {
              "ignore_above" : 256,
              "index" : "not_analyzed",
              "store" : false,
              "type" : "string",
              "doc_values" : true
            },
            "match" : "*",
            "match_mapping_type" : "string"
          }
        }, {
          "long_fields" : {
            "mapping" : {
              "type" : "long",
              "doc_values" : true
            },
            "match" : "*",
            "match_mapping_type" : "long"
          }
        }, {
          "integer_fields" : {
            "mapping" : {
              "type" : "integer",
              "doc_values" : true
            },
            "match" : "*",
            "match_mapping_type" : "integer"
          }
        }, {
          "double_fields" : {
            "mapping" : {
              "type" : "double",
              "doc_values" : true
            },
            "match" : "*",
            "match_mapping_type" : "double"
          }
        }, {
          "float_fields" : {
            "mapping" : {
              "type" : "float",
              "doc_values" : true
            },
            "match" : "*",
            "match_mapping_type" : "float"
          }
        } ],
        "_all" : {
          "enabled" : true
        },
        "properties" : {
          "@timestamp" : {
            "type" : "date",
            "doc_values" : true,
            "format" : "dateOptionalTime"
          },
          "action_type" : {
            "type" : "string",
            "index" : "not_analyzed",
            "doc_values" : true,
            "ignore_above" : 256
          },
          "app" : {
            "type" : "string",
            "index" : "not_analyzed",
            "doc_values" : true,
            "ignore_above" : 256
          },
          "cachepath" : {
            "type" : "string",
            "index" : "not_analyzed",
            "doc_values" : true,
            "ignore_above" : 256
          },
          "clientip" : {
            "type" : "ip",
            "doc_values" : true
          },
          "datetime" : {
            "type" : "string",
            "index" : "not_analyzed",
            "doc_values" : true,
            "ignore_above" : 256
          },
          "details" : {
            "type" : "object",
            "enabled" : false
          },
          "end_time" : {
            "type" : "string",
            "index" : "not_analyzed",
            "doc_values" : true
          },
          "geoip" : {
            "dynamic" : "true",
            "properties" : {
              "location" : {
                "type" : "geo_point"
              }
            }
          },
          "host" : {
            "type" : "string",
            "index" : "not_analyzed",
            "doc_values" : true,
            "ignore_above" : 256
          },
          "http_host" : {
            "type" : "string",
            "index" : "not_analyzed",
            "doc_values" : true,
            "ignore_above" : 256
          },
          "jsoncontent" : {
            "dynamic" : "true",
            "properties" : {
              "content" : {
                "type" : "string",
                "index" : "not_analyzed",
                "doc_values" : true,
                "ignore_above" : 8092
              }
            }
          },
          "jsonlog" : {
            "type" : "string",
            "index" : "no"
          },
          "location" : {
            "type" : "string",
            "index" : "not_analyzed",
            "doc_values" : true,
            "ignore_above" : 256
          },
          "logsource" : {
            "type" : "string",
            "index" : "not_analyzed",
            "doc_values" : true,
            "ignore_above" : 256
          },
          "message" : {
            "type" : "string",
            "norms" : {
              "enabled" : false
            }
          },
          "mklog" : {
            "type" : "string",
            "index" : "not_analyzed",
            "doc_values" : true,
            "ignore_above" : 256
          },
          "ori_md5" : {
            "type" : "string",
            "index" : "not_analyzed",
            "doc_values" : true,
            "ignore_above" : 256
          },
          "ori_size" : {
            "type" : "string",
            "index" : "not_analyzed",
            "doc_values" : true,
            "ignore_above" : 256
          },
          "orilog" : {
            "type" : "string",
            "index" : "not_analyzed",
            "doc_values" : true,
            "ignore_above" : 256
          },
          "pic_length" : {
            "type" : "long",
            "doc_values" : true
          },
          "pid" : {
            "type" : "string",
            "index" : "not_analyzed",
            "doc_values" : true,
            "ignore_above" : 256
          },
          "private" : {
            "type" : "string",
            "index" : "not_analyzed",
            "doc_values" : true,
            "ignore_above" : 256
          },
          "request_header" : {
            "type" : "object",
            "enabled" : false
          },
          "response_header" : {
            "type" : "object",
            "enabled" : false
          },
          "rtt" : {
            "type" : "double",
            "doc_values" : true
          },
          "start_time" : {
            "type" : "string",
            "index" : "not_analyzed",
            "doc_values" : true
          },
          "timestamp" : {
            "type" : "string",
            "index" : "not_analyzed",
            "doc_values" : true,
            "ignore_above" : 256
          },
          "type" : {
            "type" : "string",
            "index" : "not_analyzed",
            "doc_values" : true,
            "ignore_above" : 256
          },
          "uid" : {
            "type" : "string",
            "index" : "not_analyzed",
            "doc_values" : true
          },
          "video_buffer_duration" : {
            "type" : "long",
            "doc_values" : true
          },
          "video_duration" : {
            "type" : "double",
            "doc_values" : true
          },
          "video_request_header" : {
            "type" : "object",
            "enabled" : false
          },
          "video_response_header" : {
            "type" : "object",
            "enabled" : false
          },
          "video_time_duration" : {
            "type" : "nested",
            "properties" : {
              "duration" : {
                "type" : "string",
                "index" : "not_analyzed",
                "doc_values" : true,
                "ignore_above" : 256
              },
              "type" : {
                "type" : "string",
                "index" : "not_analyzed",
                "doc_values" : true,
                "ignore_above" : 256
              }
            }
          },
          "wm" : {
            "type" : "string",
            "index" : "not_analyzed",
            "doc_values" : true
          }
        }
      }
    }
  }
}


转载于:https://my.oschina.net/MrYx3en/blog/531030

weixin_34102807
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
ES修改索引，修改mapper数据类型，修改kibanan Mapping conflict
夏微凉秋微暖的博客
04-17 2993
1.获取索引的数据类型结构mapping GET self-2020.04.17/_mapping GET self-2020.04.17-new/_mapping 2.创建新的索引，修改数据类型 { "mappings": { "doc": { "properties": { "tokenCreTimeStr": { "...
elasticsearch-并发冲突处理
豆豆不在了
01-13 2052
在数据库领域中，有两种方法通常被用来确保并发更新时变更不会丢失： 悲观并发控制 这种方法被关系型数据库广泛使用，它假定有变更冲突可能发生，因此阻塞访问资源以防止冲突。一个典型的例子是读取一行数据之前先将其锁住，确保只有放置锁的线程能够对这行数据进行修改。 乐观并发控制 Elasticsearch 中使用的这种方法假定冲突是不可能发生的，并且不会阻塞正在尝试的操作。然而，如果源数
ES处理冲突
liupeng_qwert的专栏
10-18 1748
1、什么是文档对象JSON序列化后是一个文档 2、如何唯一确定一个文档_index + _type + _idid可以由外部指定，也可以由ES自动生成 3、ES更新文档流程先GET原始文档，然后修改，最后将整个文档进行再次索引处理 4、ES中_version变更对应于增删查改操作，ES中索引、put和删除操作时，无论文档有没有变化，它的_version都会增加 5、如何处理修改冲突乐观并发控制：所有
解决ELK地图可视化时无法识别location坐标（geo_point）及字段映射冲突问题
zhangjunfun的专栏
08-17 1349
在使用ELK进行日志数据的可视化时，可以通过logstash地理插件（geoip）将IP地址转换为地理坐标，然后我们就可以利用坐标实现热力图、地区分布图等地图可视化数据。 但是在实际操作过程中，在定制图表的时候，会出现无法识别地理坐标（geo_point）的问题，在此对如何解决该问题汇总一二。 问题原因： kibana在绘制地图数据需要用到地理坐标数据时，必须是geo_point类型，如果location经纬度坐标是number或String类型，则会出现无法识别的问题。 解决方案： 1）在Log
Elasticsearch中的mapping与字段类型(Field Type)
aben_sky的专栏
10-10 1187
本文以ES7.7版本为基础. 推荐一个他人在用的基于nodejs的web管理界面: elasticsearch-head , 我仍然在用kibana...
ElasticSearch Mapping
01-07
备注：7.0版本后ES,是通过自动识别字段type 2）字段类型 备注：相比其它存储，多了IP、坐标等特殊的格式 3）什么是Dynamic Mapping ？ 备注：Dynamic Mapping ，设置不恰当可能导致字段无法被索引。 4）Mapping ...
arcgis-elasticSearch-es-矢量数据导入插件-数据建模-mapping-indexsetting-字段映射
最新发布
06-29
arcgis elasticSearch es 矢量数据导入插件 数据建模 mapping indexsetting 字段映射 索引建模支持geoshape、shape，text索引支持keyword/ngram/edgeNgram/ikSmart，快速导入，兼容multipolygon，带洞，多面，使用时...
es-mapping-generator:基于自定义注释解根据Java实体模型生成elasticsearch的映射配置
04-01
ElasticSearch映射生成器该工具允许在创建索引时为索引生成映射或设置。 使用注释描述定义的映射字段安装二进制文件部署在Maven Central上，您可以将工件导入到您的项目中： < dependency> < groupId>...
ElasticSearch官方测试数据
09-14
Elasticsearch（ES）是一种流行的开源全文搜索引擎，它基于Lucene库构建，被广泛用于大数据分析、日志聚合、实时搜索和索引等场景。官方提供的测试数据集是检验Elasticsearch功能、性能和稳定性的关键资源，可以帮助...
elasticsearch-8.2.3 windows 版本
06-21
elasticsearch-8.2.3 windows 版本。 Elasticsearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java语言开发的，并作为Apache许可条款下的...
Elasticsearch权威指南-处理冲突.pdf
01-11
Elasticsearch权威指南-处理冲突
ES Mapping及常用API小结
ZK教皇的博客
04-19 1869
ES中的MappingMapping就是对索引库中索引的字段名称及其数据类型进行定义，类似于mysql中的表结构信息，但ES中的mapping比数据库灵活很多，它可以动态识别字段。一般不需要指定mapping字段都可以，因为ES会自动根据数据格式识别它的类型，如果你需要对某些字段添加特殊属性（如：定义使用其他分词器、是否分词、是否存库等），就必须手动添加mapping查询索引库中mapping信息...
ES基础2-增删改
CLA1989的博客
09-09 500
1.添加自定义id的文档 PUT /website/blog/123 { "title": "My first blog entry", "text": "Just trying this out...", "date": "2014/01/01" } 2.Elasticsearch 可以帮我们自动生成 ID POST /website/blog/ { "title": "My second blog entry", "text": "Still trying this out.....
elasticsearch解决字段冲突问题
种豆农夫的技术备忘录
04-19 641
思路: 第一步删除冲突的字段数据, 第二步重建索引(不是kibana里刷新索引) 第一步 POST logstash-log-2018*/_delete_by_query { "query": { "exists" : { "field" : "response" } } } 第二步 curl -XPOST "http://127.0.0.1...
ELK实践-Logstash
07-16 271
ELK版本6.7 安装 略[参考地址](https://www.elastic.co/guide/en/logstash/6.7/installing-logstash.html) Stashing Your First Event cd logstash-6.7.1 #-e参数启用直接参数 bin/logstash -e 'input { stdin { } } output { stdout...
【大数据】ELK 需要注意的问题
人人都是量化师的专栏
07-02 823
1.不能用windows自带编辑器打开任何配置文件，建议用Sublime。 2.X-pack邮件报警不能用564端口，es不支持，建议用25或587端口。 3.安装所有应用是时，用到的压缩包应该是未经过解压安装的。 4.要在非root下启动es 5.es/nodes/0 node.lock和 _state 文件记录es集群当前状态，要替换es节点时应删除 6.删除.security-6这个inde...
es数据频繁的更新_es之文档更新过程中并发冲突问题
weixin_31514917的博客
12-31 3054
1：乐观锁控制ES是分布式的，也是异步并发的，我们的复制请求是并行发送的；这就意味着请求到达目的地的顺序是不可控制的，是乱序的；如果是乱序的方式，很有可能出现这样的一个问题，新version的文档被旧version的文档覆盖掉—-数据丢失,或者直接抛异常；TransportClient client = null;​@Beforepublic void testConn(){​try {Setti...
ELK学习笔记
镜水灵动
08-02 418
1.ELK 1.1ELK安装 1.2ELK基础知识 1.2.1概述 ​ ELasticsearch是一套分布式系统，可以处理大量数据。可以作为一个分布式数据存储系统。 文档数据：es可以存储和操作json文档类型的数据，这也是es的核心数据结构。 存储系统：es可以对json文档类型的数据进行存储，查询，创建，更新，删除等。 1.2.2它隐藏了复杂的分布式机制。 ​ (一）分片机制...
Elasticsearch es Mapping
05-26
Elasticsearch Mapping 是指索引（index）中的字段映射（mapping），它定义了文档中每个字段的数据类型和如何存储数据。Mapping 是 Elasticsearch 中非常重要的概念，因为它定义了如何解析和索引文档。 在 Elastic...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值