Logstash：导入 zipcode CSV 文件和 Geo Search 体验

于 2020-03-15 11:51:29 发布
阅读量1.5k 收藏 4
点赞数 1
分类专栏： Logstash Elastic 文章标签： elasticsearch 大数据
本文为博主原创文章，未经博主允许不得转载。
本文链接：https://blog.csdn.net/ubuntutouch/article/details/104865306
版权
Elastic 同时被 2 个专栏收录
1416 篇文章 877 订阅
订阅专栏
Logstash
119 篇文章 211 订阅
订阅专栏

在今天的文章中，我们来做一个简单的 Logstash 体验，并体验 Geo Search。我们的数据是中国区里的所有的 zipcode，也就是邮政编码。

安装

如果你还没有安装自己的 Elastic Stack：

在上面的安装中，我们都是安装默认缺省的方式来进行安装的。Elasticsearch 运行于 localhost:9200，而Kibana运行于 localhost:5601 上。

下载数据

我们通过如下的命令来下载我们数据：

git clone https://github.com/liu-xiao-guo/elasticzipcodes

通过上面的下载，我们可以得到一个叫做 zipcodes.csv 的文件。它的文件的内容如下：

从上面的表格中，我们可以看到：在这个 zipcodes.csv 的文件中，它含有 Id, Code, AreaCode, Name, ShortName, Logitude, Latitude, Sort, Memo, Disabled 字段。我们把这个下载的文件置于我们喜欢的一个文件目录中。

导入数据

为了把这数据导入到 Elasticsearch 中，我们使用 Logstash。为此，我们写一个我们自己的 logstash 配置文件：

logstash_zipcodes.conf

input {
	file {
		path => "/Users/liuxg/data/zipcodes/zipcodes.csv"
		start_position => "beginning"
		sincedb_path => "/dev/null"
	}
}


filter {
	csv {
		separator => ","
		columns => ["Id", "Code", "AreaCode", "Name", "ShortName", "Longitude", "Latitude", "Sort", "Memo", "Disabled"]
	}

	mutate {
		convert => {"Longitude" => "float"}
		convert => {"Latitude" => "float"}
		add_field => ["location", "%{Latitude},%{Longitude}"]
		rename => ["Code", "zipcode"]
	}
}


output {
	stdout {codec => rubydebug}

	elasticsearch {
		index => "zipcodes"
		hosts => ["http://localhost:9200"]
	}
}

我们知道 Logstash 的管道由三个部分组成：inputs，filters 及 outputs。

在上面的 input 部分，我们使用file来输入我们指定路径的文件 zipcodes.csv。根据你自己的实际的这个文件的路径，我们需要做相应的调整。

在 filters 部分，我们通过csv过滤器来提前相应的字段。同时我们使用 mutate 过滤器来对我们的数据进行类型的转换及重新命名。我们通过 add_fields 来创建一个新的字段叫做location，它由经纬度组成。

在我们的输出部分，我们通过 stdout 输出到我们的标准输出。这在很多的情况下，可以帮助我们调试我们的 Logstash 管道很用用。同时，我们把输出导入到我们的本地的 Elasticsearch 中。我们的数据将会保存于一个叫 zipcodes 的索引中。

为了能够使 Elasticsearch 帮我们生产的的 zipcodes 能适合我们的需求，我们在 Kibana 中打入如下的命令：

PUT _template/zipcodes
{
  "order": 10,
  "index_patterns": [
    "zipcodes*"
  ],
  "settings": {
    "number_of_replicas": 0,
    "number_of_shards": 1
  },
  "mappings": {
    "properties": {
      "zipcode": {
        "type": "text"
      },
      "location": {
        "type": "geo_point"
      }
    }
  },
  "aliases": {}
}

上面索引 template 表明：但凡 index pattern 为 zipcodes* 的索引将具有以上所定义的 settings，mappings 及 alias。在上面，我们把我们的 location 定义为一个 geo_point 的数据类型。

我们可以通过如下的命令来启动 Logstash：

sudo ./bin/logstash -f ~/data/zipcodes/logstash_zipcodes.conf

等我们的 Logstash 启动后，我们可以在 terminal 中看到如下的输出

从上面我们看出 Logstash 帮我们生产的各种字段。

我们可以打开我们的 Kibana，并打入如下的指令：

GET zipcodes/_count

我们可以看到如下的结果：

{
  "count" : 42358,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  }
}

在上面，我们可以看到我们有 42358 个文档。

搜索数据 - Geo search

在上面我们已经看到我们导入的 Geo 数据，我们可以通过如下的命令来对我们的数据进行查询：

GET zipcodes/_search
{
  "query": {
    "bool": {
      "must": [
        {
          "match_all": {}
        }
      ],
      "filter": {
        "geo_distance": {
          "distance": "1km",
          "location": {
            "lat": 39.920086,
            "lon": 116.454182
          }
        }
      }
    }
  }
}

在上面，我们查询在以坐标（116.454182, 39.920086）我中心方圆一公里的所有文档。显示的结果是：

  "hits" : {
    "total" : {
      "value" : 1,
      "relation" : "eq"
    },
    "max_score" : 1.0,
    "hits" : [
      {
        "_index" : "zipcodes",
        "_type" : "_doc",
        "_id" : "rvG12HABqA-NWEvj7Dj0",
        "_score" : 1.0,
        "_source" : {
          "Memo" : null,
          "Latitude" : 39.920929,
          "Name" : "呼家楼街道",
          "message" : "35,110105003,110105,呼家楼街道,呼家楼街道,116.464325,39.920929,16,,false",
          "Sort" : "16",
          "host" : "liuxg",
          "AreaCode" : "110105",
          "location" : "39.920929,116.464325",
          "path" : "/Users/liuxg/data/zipcodes/zipcodes.csv",
          "ShortName" : "呼家楼街道",
          "Id" : "35",
          "Longitude" : 116.464325,
          "@version" : "1",
          "@timestamp" : "2020-03-14T11:02:43.681Z",
          "zipcode" : "110105003",
          "Disabled" : "false"
        }
      }
    ]
  }

当然，我们也可以修改上面的 distance 来调整，从而得到更多的结果。

同样的，我们也可以针对定义好的一个长方形区域来进行搜索：

GET zipcodes/_search
{
  "query": {
    "bool": {
      "must": [
        {
          "match_all": {}
        }
      ],
      "filter": {
        "geo_bounding_box": {
          "location": {
            "top_left": {
              "lat": 39.94086,
              "lon": 116.454182
            },
            "bottom_right": {
              "lat": 39.930086,
              "lon": 116.464182
            }
          }
        }
      }
    }
  }
}

在上面，我们定义了两个坐标位置。这两个位置定义了一个矩形的区域。上面的搜索将显示在这个区域里的所有的文档：

  "hits" : {
    "total" : {
      "value" : 1,
      "relation" : "eq"
    },
    "max_score" : 1.0,
    "hits" : [
      {
        "_index" : "zipcodes",
        "_type" : "_doc",
        "_id" : "MfG12HABqA-NWEvj7Diy",
        "_score" : 1.0,
        "_source" : {
          "Memo" : null,
          "Latitude" : 39.931461,
          "Name" : "团结湖街道",
          "message" : "45,110105013,110105,团结湖街道,团结湖街道,116.462578,39.931461,35,,false",
          "Sort" : "35",
          "host" : "liuxg",
          "AreaCode" : "110105",
          "location" : "39.931461,116.462578",
          "path" : "/Users/liuxg/data/zipcodes/zipcodes.csv",
          "ShortName" : "团结湖街道",
          "Id" : "45",
          "Longitude" : 116.462578,
          "@version" : "1",
          "@timestamp" : "2020-03-14T11:02:43.684Z",
          "zipcode" : "110105013",
          "Disabled" : "false"
        }
      }
    ]
  }

上面显示的结果是在我们定义的区域里的所有的文档。

展示数据

在上面我们可以很方便地搜索我们的数据。我们同时也可以使用Kibana提供的强大的图像化工具来展示我们所有的文档。为此，我们首先来创建一个叫做 zipcodes 的 index pattern:

点击上面的 “Create index pattern”:

点击上面的 “Next step” 按钮：

因为这个不是一个时序的文档，所以我们选择 “I don't want to use the Timer Filter”。点击 “Create index pattern”:

这样我们就创建了我们的 zipcodes* index pattern。

接下来我们为我们的 zipcodes 创建一个 Visualization:

点击上面的 “Create visualization”按钮：

我们选择 “Maps”:

点击上面的 “Add layer”按钮：

点击上面的 “Documents”:

点击上面的“Add layer”：

我们添加 tooltips 为 zipcode 及 ShortName：

点击上面的 “Save & close” 按钮：

我们从上面可以看到所有的文档都显示在地图的中国的位置。我们放大我们的地图，可以看到如下的画面：

当我们的鼠标放置于一个文档上后，它就可以显示出当前位置的名字及 zipcode。

我们可以同时利用地图上面的工具来定义一个我们想要的区域来进行搜索：

我们通过运用鼠标来进行定义一个区域：

选择 Draw shape：

我们可以在我们喜欢的区域用鼠标来标出我们想搜索的区域，最终我们形成一个 filter，从而只显示出该区域里的文档：

选择上面的filter：location in shape:

选择上面的 Edit filter，我们可以看到：

在上面我们可以看到用 DSL 搜索所需要的 geo_polygon 用到的点：

GET zipcodes/_search
{
  "query": {
    "bool": {
      "must": [
        {
          "match_all": {}
        }
      ],
      "filter": {
        "geo_polygon": {
          "ignore_unmapped": true,
          "location": {
            "points": [
              {
                "lat": 40.05915,
                "lon": 115.95216
              },
              {
                "lat": 39.86638,
                "lon": 116.22583
              },
              {
                "lat": 40.08309,
                "lon": 116.31184
              },
              {
                "lat": 40.05915,
                "lon": 115.95216
              }
            ]
          }
        }
      }
    }
  }
}

上面的查询的结果将显示13个文档：

  "hits" : {
    "total" : {
      "value" : 13,
      "relation" : "eq"
    },
    "max_score" : 1.0,
    "hits" : [
      {
        "_index" : "zipcodes",
        "_type" : "_doc",
        "_id" : "svG12HABqA-NWEvj7Dj0",
        "_score" : 1.0,
        "_source" : {
          "Memo" : null,
          "Latitude" : 39.916122,
          "Name" : "八角街道",
          "message" : "99,110107003,110107,八角街道,八角街道,116.195648,39.916122,2,,false",
          "Sort" : "2",
          "host" : "liuxg",
          "AreaCode" : "110107",
          "location" : "39.916122,116.195648",
          "path" : "/Users/liuxg/data/zipcodes/zipcodes.csv",
          "ShortName" : "八角街道",
          "Id" : "99",
          "Longitude" : 116.195648,
          "@version" : "1",
          "@timestamp" : "2020-03-14T11:02:43.694Z",
          "zipcode" : "110107003",
          "Disabled" : "false"
        }
      },
      {
        "_index" : "zipcodes",
        "_type" : "_doc",
        "_id" : "MfG12HABqA-NWEvj7Tk5",
        "_score" : 1.0,
        "_source" : {
          "Memo" : null,
          "Latitude" : 40.003696,
          "Name" : "军庄镇",
          "message" : "143,110109104,110109,军庄镇,军庄镇,116.103455,40.003696,5,,false",
          "Sort" : "5",
          "host" : "liuxg",
          "AreaCode" : "110109",
          "location" : "40.003696,116.103455",
          "path" : "/Users/liuxg/data/zipcodes/zipcodes.csv",
          "ShortName" : "军庄镇",
          "Id" : "143",
          "Longitude" : 116.103455,
          "@version" : "1",
          "@timestamp" : "2020-03-14T11:02:43.704Z",
          "zipcode" : "110109104",
          "Disabled" : "false"
        }
      },
      {
        "_index" : "zipcodes",
        "_type" : "_doc",
        "_id" : "KfG12HABqA-NWEvj7Tqx",
        "_score" : 1.0,
        "_source" : {
          "Memo" : null,
          "Latitude" : 39.898903,
          "Name" : "八宝山街道",
          "message" : "97,110107001,110107,八宝山街道,八宝山街道,116.231972,39.898903,1,,false",
          "Sort" : "1",
          "host" : "liuxg",
          "AreaCode" : "110107",
          "location" : "39.898903,116.231972",
          "path" : "/Users/liuxg/data/zipcodes/zipcodes.csv",
          "ShortName" : "八宝山街道",
          "Id" : "97",
          "Longitude" : 116.231972,
          "@version" : "1",
          "@timestamp" : "2020-03-14T11:02:43.694Z",
          "zipcode" : "110107001",
          "Disabled" : "false"
        }
      },
      ...
    ]
   ...

 我们可以把当前的 Visualization 保存下来以在 Dashboard 里进行使用：

选择 Save，最终，我们形成自己的 Dashboard:

Elastic 中国社区官方博客
关注
  • 1
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
博客
Elastic 线下 Meetup 将于 2024 年 7 月 27 号在深圳举办
07-16 1176
2024 Elastic Meetup 深圳站活动，由 Elastic、腾讯、新智锦绣联合举办，现诚邀广大技术爱好者及开发者参加。
博客
Elasticsearch：ES|QL 查询展示
11-25 1293
这篇文章是继我昨天完成的文章 ​“Elasticsearch：ES|QL 函数及操作符” 的另外一篇文章。我将继续使用之前文章 “” 中的例子来结合 ES|QL 函数来做更进一步的展示。希望能对之前的文章做一个更进一步的展示。在这里，我将主要使用 Dev Tools 来进行展示。：在进行如下的例子之前，你需要至少安装 Elastic Stack 8.11 及以上版本。
博客
Elastic：如何成为一名 Elastic 认证工程师，Elastic 认证分析师及 Elastic 认证可观测性工程师
10-28 2万+
Elasticsearch 无疑是是目前世界上最为流行的大数据搜索引擎。根据 DB - Engines 的统计，Elasticsearch 雄踞排行榜第一名，并且市场还在不断地扩大：能够成为一名 Elastic 认证工程师也是很多开发者的梦想。这个代表了 Elastic 的最高认证，在业界也得到了很高的认知度。得到认证的工程师，必须除了具有丰富的 Elastic Stack 知识，而且必须有丰富的操作及有效的解决问题的能力。拥有这个认证证书，也代表了个人及公司的荣誉。针对个人的好处是，你可以..
博客
Elastic：开发者上手指南
02-25 14万+
你们好，我是Elastic的刘晓国。如果大家想开始学习Elastic的话，那么这里将是你理想的学习园地。在我的博客几乎涵盖了你想学习的许多方面。在这里，我来讲述一下作为一个菜鸟该如何阅读我的这些博客文章。我们可以按照如下的步骤来学习：1)Elasticsearch简介：对Elasticsearch做了一个简单的介绍2)Elasticsearch中的一些重要概念:cluster, n..........................................................
博客
Elastic：培训视频 - ​在生产环境中配置 Fleet Server 和 Elastic Agent 之间的安全
01-06 1万+
在这篇文章中，我将会把我写的有些内容录制成视频，供大家参考。希望对大家有所帮助。优酷的视频频道地址在这里。Elastic 简介及Elastic Stack 安装：优酷，腾讯 Elastic Stack docker 部署：优酷，腾讯 Elasticsearch中的一些重要概念（Cluster/Shards/Replica/Document/Type/Index）：优酷，腾讯 开始使用El...............
博客
Elasticsearch 简介
08-08 16万+
Elasticsearch是一个非常强大的搜索引擎。它目前被广泛地使用于各个IT公司。Elasticsearch是由Elastic公司创建并开源维护的。它的开源代码位于https://github.com/elastic/elasticsearch。同时，Elastic公司也拥有Logstash及Kibana开源项目。这个三个开源项目组合在一起，就形成了 ELK软件栈。他们三个共同形成了一个强大的...
博客
Elasticsearch 中的位向量
07-18 774
从 Elasticsearch 中的向量搜索开始，我们就支持浮点值（float）。在 8.6 版中，我们添加了对字节（byte）编码向量的支持。在 8.14 版中，我们添加了自动量化到半字节值（half-byte）的功能。在 8.15 版中，我们添加了对位（bit）编码向量的支持。但是，什么是位向量及其实际含义？正如字面上所言，位向量是向量的每个维度都是一个位（bit）。当将向量的数据大小与典型的浮点值进行比较时，位向量的大小减少了 32 倍之多。
博客
Elasticsearch：评估搜索相关性 - 第 1 部分
07-18 542
这是一系列博客文章中的第一篇，讨论如何在更好地理解 BEIR 基准的背景下考虑评估你自己的搜索系统。我们将介绍具体的技巧和技术，以便在更好地理解 BEIR 的背景下改进你的搜索评估流程。我们还将介绍导致评估可靠性降低的常见陷阱。最后，我们注意到 LLM 为搜索工程师提供了一个强大的新工具，我们将通过示例展示如何使用它们来帮助评估搜索。
博客
Elasticsearch：如何选择向量数据库？
07-18 732
领域是一个快速发展的领域，它正在改变我们管理和搜索数据的方式。与传统数据库不同，向量数据库以向量的形式存储和管理数据。这种独特的方法可以实现更精确、更相关的搜索，并允许在检索中使用机器学习，使向量数据库成为一种非常宝贵的工具。随着我们生成的数据量不断增长，向量数据库在数据管理和搜索中的作用变得越来越重要。这是因为结果的相关性以及能够处理非结构化数据。选择正确的向量数据库可以为你的应用程序带来巨大的变化，但这并不总是一件容易的事。
博客
介绍 Elasticsearch 中的 Learning to Tank - 学习排名
07-16 1365
从 Elasticsearch 8.13 开始，我们提供了原生集成到 Elasticsearch 中的学习排名 (learning to rank - LTR) 实现。LTR 使用经过训练的机器学习 (ML) 模型为你的搜索引擎构建排名功能。通常，该模型用作第二阶段重新排名器，以提高由更简单的第一阶段检索算法返回的搜索结果的相关性。这篇博文将解释此新功能如何帮助提高文本搜索中的文档排名以及如何在 Elasticsearch 中实现它。
博客
Elasticsearch：使用 Amazon Bedrock 的 semantic_text
07-14 835
使用 semantic_text 新功能，并使用 AWS Bedrock 作为推理端点服务。Elasticsearch 的新类型旨在简化构建 RAG 应用程序的常见挑战。它整合了文本分块、生成嵌入以及检索嵌入的步骤。在本文中，我们将使用 Amazon Bedrock 作为我们的推理服务，在不离开 Elastic 的情况下创建一个端到端 RAG 应用程序。
博客
Elasticsearch：介绍 retrievers - 搜索一切事物
07-11 906
在 8.14 中，Elastic 在 Elasticsearch 中引入了一项名为 “retrievers - 检索器” 的新搜索功能。继续阅读以了解它们的简单性和效率，以及它们如何增强你的搜索操作。检索器是 Elasticsearch 中搜索 API 中添加的新抽象层。它们提供了在单个 _search API 调用中配置多阶段检索管道的便利。此架构通过消除对复杂搜索查询的多个 Elasticsearch API 调用的需求，简化了应用程序中的搜索逻辑。
博客
实验场：在几分钟内使用 Bedrock Anthropic Models 和 Elasticsearch 进行 RAG 实验
07-11 1097
我们最近发布了 Elasticsearch Playground，这是一个新的低代码界面，开发人员可以通过 A/B 测试 LLM、调整提示（prompt）和分块数据来迭代和构建生产 RAG 应用程序。今天，我们宣布 Amazon Bedrock 支持 Playground，为你带来更多来自 Amazon、Anthropic 和其他领先提供商的基础模型选择。
博客
Elasticsearch 开放推理 API 增加了对 Amazon Bedrock 的支持
07-11 798
Elasticsearch 开放推理 API 增加了对托管在 Amazon Bedrock 上的模型生成嵌入的支持。Elasticsearch 开放 infereence API 使开发人员能够创建推理端点并使用来自领先提供商的机器学习模型。从今天开始，托管在 Amazon Bedrock 上的模型将通过 Elasticsearch 开放提供。
博客
Elasticsearch：使用 Filebeat 从 Node.js Web 应用程序提取日志
07-10 1939
​本指南演示了如何从 Node.js Web 应用程序中提取日志并将其安全地传送到 Elasticsearch Service 部署中。你将设置 Filebeat 来监控具有标准 Elastic Common Schema (ECS) 格式字段的 JSON 结构日志文件，然后在向 Node.js 服务器发出请求时，你将在 Kibana 中查看日志事件的实时可视化。虽然此示例使用的是 Node.js，但这种监控日志输出的方法适用于多种客户端类型。查看可用的 ECS 日志记录插件列表。
博客
Elasticsearch：Node.js ECS 日志记录 - Morgan
07-10 872
在今天的文章中，我将描述如何使用 Morgan 包针对 Node.js 应用进行日子记录。此 Morgan Node.js 软件包为 morgan 日志中间件（通常与 Express 一起使用）提供了一个格式化程序，与 Elastic Common Schema (ECS) 日志记录兼容。结合 Filebeat 发送器，你可以在 Elastic Stack 中的一处监控所有日志。
博客
使用 Unstructured.io 和 Elasticsearch 向量数据库搜索复杂文档
07-09 1421
使用非结构化和 Elasticsearch 向量数据库为 RAG 应用程序提取和搜索复杂的专有文档在使信息可搜索之前解析文档是构建实际 RAG 应用程序的重要步骤。和 Elasticsearch 在此场景中有效地协同工作，为开发人员提供构建 RAG 应用程序的互补工具。提供了一个工具库，用于提取、清理和转换不同格式和不同内容源的文档。
博客
Elasticsearch：深度学习与机器学习：了解差异
07-09 743
近年来，两项突破性技术一直站在创新的最前沿 —— 机器学习 (machine learning - ML) 和深度学习 (deep learning - DL)。人工智能 (AI) 的这些子集远不止是流行语。它们是推动医疗保健、金融等各行业进步的关键力量。机器学习具有从数据中学习并做出明智决策的能力，它改变了计算机执行任务的方式，使曾经被认为需要人类智能才能完成的流程自动化。深度学习是机器学习的一个更复杂的，它从人类大脑中汲取灵感，利用神经网络以前所未有的规模消化和学习大量数据。
博客
Elasticsearch：Node.js ECS 日志记录 - Winston
07-08 834
​这是继上一篇文章 “Elasticsearch：Node.js ECS 日志记录 - Pino” 的续篇。我们继续上一篇文章来讲述使用 Winston 包来针对 Node.js 应用生成 ECS 向匹配的日子。此 Node.js 软件包为 winston 记录器提供了格式化程序，与 Elastic Common Schema (ECS) 日志记录兼容。结合 Filebeat 发送器，你可以在 Elastic Stack 中的一处监控所有日志。支持 winston 3.x 版本 >=3.3.3。
博客
Elasticsearch：Node.js ECS 日志记录 - Pino
07-08 1214
Node.js ECS 记录器是你最喜欢的日志库的格式化插件。它们可轻松将你的日志格式化为与 ECS 兼容的 JSON。结合 filebeat，你可以将日志直接发送到 Elasticsearch，并利用 Kibana 的日志应用程序在一个地方检查所有日志。Node.js ECS 日志格式化程序记录结构化的 JSON，并支持对来自 Node.js 核心和流行 Web 框架的错误对象和 HTTP 请求和响应对象进行序列化。提示：想要了解有关 ECS、ECS 日志记录和其他可用语言插件的更多信息？请参阅。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值