Logstash：使用 Logstash 导入 CSV 文件示例

于 2021-03-04 19:41:39 发布
阅读量3.7k 收藏 11
点赞数 2
分类专栏： Elastic Logstash 文章标签： elasticsearch 大数据
本文为博主原创文章，未经博主允许不得转载。
本文链接：https://blog.csdn.net/UbuntuTouch/article/details/114374804
版权
Elastic 同时被 2 个专栏收录
1315 篇文章 837 订阅
订阅专栏
Logstash
117 篇文章 207 订阅
订阅专栏

在今天的文章中，我将展示如何使用 file input 结合 multiline 来展示如何导入一个 CSV 文件。针对 multiline，我在之前的文章 “运用 Elastic Stack 分析 Spring boot 微服务日志 (一）” 有讲到过。另外我也有两篇关于使用 Logstash 导入 CSV 的例子

针对 CSV 的导入，我们也可以使用 Filebeat 来解析 CSV 文件。如果你有兴趣的话，请参考：

 

准备数据

在今天的练习中，我们有如下的测试数据：

multiline.csv

INV-12402400071,05/31/2018,2595,Hy-Vee Wine and Spirits / Denison,"1620  4th Ave, South",Denison,51442,"1620 4th Ave, South Denison 51442(42.012395, -95.348601)",24,CRAWFORD,1011100,Blended Whiskies,260,DIAGEO AMERICAS,25608,Seagrams 7 Crown Bl Whiskey,6,1750,11.96,17.94,1,107.64,1.75,0.46
S29195400002,11/21/2015,2205,Ding's Honk And Holler,900 E WASHINGTON,CLARINDA,51632,"900 E WASHINGTON
CLARINDA 51632
(40.739238, -95.02756)",73,Page,,,255,Wilson Daniels Ltd.,297,Templeton Rye w/Flask,6,750,18.09,27.14,12,325.68,9.00,2.38
S29198800001,11/20/2015,2191,Keokuk Spirits,1013 MAIN,KEOKUK,52632,"1013 MAIN
KEOKUK 52632
(40.39978, -91.387531)",56,Lee,,,255,Wilson Daniels Ltd.,297,Templeton Rye w/Flask,6,750,18.09,27.14,6,162.84,4.50,1.19
S29198800001,11/20/2015,2191,Keokuk Spirits,1013 MAIN,KEOKUK,52632,"1013 MAIN
KEOKUK 52632
(40.39978, -91.387531)",56,Lee,,,255,Wilson Daniels Ltd.,297,Templeton Rye w/Flask,6,750,18.09,27.14,6,162.84,4.50,1.19

这个数据来源于 https://data.iowa.gov/Sales-Distribution/Iowa-Liquor-Sales/m3tr-qhgy/data。其中的有些数据具有多行输入，也就是多出了一些换行符 "\n"，从而导致有些记录分布在多行，尽管这种情况比较少见。在上面，我们可以看到如下的三个文档：

  • INV-12402400071
  • S29195400002
  • S29198800001

其中 S29195400002 及 S29198800001 连个文档的内容跨三行。和第一个文档显然是不同的。那么我们该如何处理这种情况呢？首先，我们看到文档都是以 INV- 以及 S 开头的行。一般来说 Logstash 的架构图如下：

首先它含有一个 Input, 然后经过0个或多个 filter 的处理，最终输出到 Output。

针对我们的情况，我们可以使用如下的架构来对它进行处理：

 

我们可以使用 file input 配合 multiline，然后把数据传入到 csv, mutate, 及 Grok 这样的过滤器来进行处理。

首先，我们创建一个叫做 logstash_csv.conf 文件

logstash_csv.conf

input {
  # Read the csv file. also use the multiline codec, everything that does not start with S or INV- is part of the prior line due to addresses having line breaks
  file {
    start_position => "beginning"
    path => "/Users/liuxg/data/logstash_multiline/multline.csv"
    sincedb_path => "/dev/null"
    codec => multiline {
      pattern => "^(S|INV-)[0-9][0-9]"
      negate => "true"
      what => "previous"
     }
   }
}

output {   
  stdout {
    codec => rubydebug
  }
}

在上面，我们使用 file 把指定位置的 multilne.csv 读入进来。我们使用了如下的 codec：

    codec => multiline {
      pattern => "^(S|INV-)[0-9][0-9]"
      negate => "true"
      what => "previous"
     }

它首先匹配以 S 或 INV- 为开头的行，紧接着 S 或 INV- 后面接0-9之中的两个数字。negate 为 true 表示没有匹配的行需要添加到 previous （前面）已经匹配的行里从而组成一个文档。如果你对这个还不是很理解的话，请参阅之前在 “Beats：使用 Filebeat 传送多行日志” 中的描述。

我们使用  Logstash 运行上面的配置文件：

sudo ./bin/logstash -f logstash_csv.conf

那么输出的结果为：

我们看到文档虽然一个文档被分为三行，但是它们还是被正确地识别为一个文档。在文档中，我们看见有 \n 字符出现。在接下来的处理中，我们需要把这个字符去掉。

我们接下来使用 csv 过滤器来进行处理：

logstash_csv.conf

input {
  # Read the csv file. also use the multiline codec, everything that does not start with S or INV- is part of the prior line due to addresses having line breaks
  file {
    start_position => "beginning"
    path => "/Users/liuxg/data/logstash_multiline/multline.csv"
    sincedb_path => "/dev/null"
    codec => multiline {
      pattern => "^(S|INV-)[0-9][0-9]"
      negate => "true"
      what => "previous"
     }
   }
}

filter {
  # Parse the csv values define fields as integers and \floats
  csv {
    columns => ["InvoiceItemNumber","Date","StoreNumber","StoreName","Address","City","ZipCode","StoreLocation","CountyNumber","County","Category","CategoryName","VendorNumber","VendorName","ItemNumber","ItemDescription","Pack","BottleVolumeml","StateBottleCost","StateBottleRetail","BottlesSold","SaleDollars","VolumeSoldLiters","VolumeSoldGallons"]
       
    convert => { "StoreNumber" => "integer" "ItemNumber" => "integer" "Category" => "integer" "CountyNumber" => "integer" "VendorNumber" => "integer" "Pack" => "integer" "SaleDollars" => "float" "StateBottleCost" => "float" "StateBottleRetail" => "float" "BottleVolumeml" => "float" "BottlesSold" => "float" "VolumeSoldLiters" => "float" "VolumeSoldGallons" => "float"}

    remove_field => ["message"]
  }
}


output {   
  stdout {
    codec => rubydebug
  }
}

在上面，我们把 CSV 文档中的项进行解析，并形成各个字段。同时我们也使用 convert 把字段里的数值字段转换为数值类型以便于分析。删除 message 字段。

重新运行 Logstash, 并查看结果：

在上面，我们看到 Country 以及 City，它们都是大写字母，我们想把它们转换为小写字母。同时在 StoreLocation 中，我们发现有 \n 字符。我们在 filter 部分添加 mutate 来对它们进行处理： 

logstash_csv.conf

input {
  # Read the csv file. also use the multiline codec, everything that does not start with S or INV- is part of the prior line due to addresses having line breaks
  file {
    start_position => "beginning"
    path => "/Users/liuxg/data/logstash_multiline/multline.csv"
    sincedb_path => "/dev/null"
    codec => multiline {
      pattern => "^(S|INV-)[0-9][0-9]"
      negate => "true"
      what => "previous"
     }
   }
}

filter {
  # Parse the csv values define fields as integers and \floats
  csv {
    columns => ["InvoiceItemNumber","Date","StoreNumber","StoreName","Address","City","ZipCode","StoreLocation","CountyNumber","County","Category","CategoryName","VendorNumber","VendorName","ItemNumber","ItemDescription","Pack","BottleVolumeml","StateBottleCost","StateBottleRetail","BottlesSold","SaleDollars","VolumeSoldLiters","VolumeSoldGallons"]
       
    convert => { "StoreNumber" => "integer" "ItemNumber" => "integer" "Category" => "integer" "CountyNumber" => "integer" "VendorNumber" => "integer" "Pack" => "integer" "SaleDollars" => "float" "StateBottleCost" => "float" "StateBottleRetail" => "float" "BottleVolumeml" => "float" "BottlesSold" => "float" "VolumeSoldLiters" => "float" "VolumeSoldGallons" => "float"}

    remove_field => ["message"]
  }

  # Take the linebreaks out of the location and convert to spaces and lowercase the city and county as they change in the source file
  mutate {
    gsub => [ "StoreLocation", "\n", " " ]
    lowercase => [ "County", "City" ]
  }
}

output {   
  stdout {
    codec => rubydebug
  }
}

重新运行 Logstash 并查看输出结果：

我们看到 Country 及 City 的字母都变为小写了，同时在 StoreLocation 中再也没有 \n 字符了。

接下来，我们想提取 StoreLocation 里面的位置信息。我们可以看到里面含有一个坐标（经纬度）。我们可以使用 grok 过滤器来进行匹配：

logstash_csv.conf

input {
  # Read the csv file. also use the multiline codec, everything that does not start with S or INV- is part of the prior line due to addresses having line breaks
  file {
    start_position => "beginning"
    path => "/Users/liuxg/data/logstash_multiline/multline.csv"
    sincedb_path => "/dev/null"
    codec => multiline {
      pattern => "^(S|INV-)[0-9][0-9]"
      negate => "true"
      what => "previous"
     }
   }
}

filter {
  # Parse the csv values define fields as integers and \floats
  csv {
    columns => ["InvoiceItemNumber","Date","StoreNumber","StoreName","Address","City","ZipCode","StoreLocation","CountyNumber","County","Category","CategoryName","VendorNumber","VendorName","ItemNumber","ItemDescription","Pack","BottleVolumeml","StateBottleCost","StateBottleRetail","BottlesSold","SaleDollars","VolumeSoldLiters","VolumeSoldGallons"]
       
    convert => { "StoreNumber" => "integer" "ItemNumber" => "integer" "Category" => "integer" "CountyNumber" => "integer" "VendorNumber" => "integer" "Pack" => "integer" "SaleDollars" => "float" "StateBottleCost" => "float" "StateBottleRetail" => "float" "BottleVolumeml" => "float" "BottlesSold" => "float" "VolumeSoldLiters" => "float" "VolumeSoldGallons" => "float"}

    remove_field => ["message"]
  }

  # Take the linebreaks out of the location and convert to spaces and lowercase the city and county as they change in the source file
  mutate {
    gsub => [ "StoreLocation", "\n", " " ]
    lowercase => [ "County", "City" ]
  }

  # Get the lat/lon if there is a (numbers,numbers) data in the location
  grok { 
    match => { "StoreLocation" => "\((?<location>[-,.0-9 ]*)\)" } 
  }
}

output {   
  stdout {
    codec => rubydebug
  }
}

我们匹配 StoreLocation 里的含有括号 （）里的内容并赋予给 location。字符含 -,.0-9。重新运行 Logstash：

从上面我们可以看出来 location 从 StoreLocation 中被提取出来了。

接下来，我们来把文档的时间修改为来自文档中的时间。我们可以看到目前的 @timestamp 不是我们文档的 Date 字段的时间。

logstash_csv.conf

input {
  # Read the csv file. also use the multiline codec, everything that does not start with S or INV- is part of the prior line due to addresses having line breaks
  file {
    start_position => "beginning"
    path => "/Users/liuxg/data/logstash_multiline/multline.csv"
    sincedb_path => "/dev/null"
    codec => multiline {
      pattern => "^(S|INV-)[0-9][0-9]"
      negate => "true"
      what => "previous"
     }
   }
}

filter {
  # Parse the csv values define fields as integers and \floats
  csv {
    columns => ["InvoiceItemNumber","Date","StoreNumber","StoreName","Address","City","ZipCode","StoreLocation","CountyNumber","County","Category","CategoryName","VendorNumber","VendorName","ItemNumber","ItemDescription","Pack","BottleVolumeml","StateBottleCost","StateBottleRetail","BottlesSold","SaleDollars","VolumeSoldLiters","VolumeSoldGallons"]
       
    convert => { "StoreNumber" => "integer" "ItemNumber" => "integer" "Category" => "integer" "CountyNumber" => "integer" "VendorNumber" => "integer" "Pack" => "integer" "SaleDollars" => "float" "StateBottleCost" => "float" "StateBottleRetail" => "float" "BottleVolumeml" => "float" "BottlesSold" => "float" "VolumeSoldLiters" => "float" "VolumeSoldGallons" => "float"}

    remove_field => ["message"]
  }

  # Take the linebreaks out of the location and convert to spaces and lowercase the city and county as they change in the source file
  mutate {
    gsub => [ "StoreLocation", "\n", " " ]
    lowercase => [ "County", "City" ]
  }

  # Get the lat/lon if there is a (numbers,numbers) data in the location
  grok { 
    match => { "StoreLocation" => "\((?<location>[-,.0-9 ]*)\)" } 
  }

  # Match the date to just daily and the correct timezone
  date {
     "match" => [ "Date", "MM/dd/YYYY" ]
     "timezone" => "America/Chicago"
  }
}

output {   
  stdout {
    codec => rubydebug
  }
}

再次运行 Logstash：

显然现在的 @timestamp 变为来自文档中的时间了。

我们接下来可以添加输出到 Elasticsearch:

logstash_csv.conf

input {
  # Read the csv file. also use the multiline codec, everything that does not start with S or INV- is part of the prior line due to addresses having line breaks
  file {
    start_position => "beginning"
    path => "/Users/liuxg/data/logstash_multiline/multline.csv"
    sincedb_path => "/dev/null"
    codec => multiline {
      pattern => "^(S|INV-)[0-9][0-9]"
      negate => "true"
      what => "previous"
     }
   }
}

filter {
  # Parse the csv values define fields as integers and \floats
  csv {
    columns => ["InvoiceItemNumber","Date","StoreNumber","StoreName","Address","City","ZipCode","StoreLocation","CountyNumber","County","Category","CategoryName","VendorNumber","VendorName","ItemNumber","ItemDescription","Pack","BottleVolumeml","StateBottleCost","StateBottleRetail","BottlesSold","SaleDollars","VolumeSoldLiters","VolumeSoldGallons"]
       
    convert => { "StoreNumber" => "integer" "ItemNumber" => "integer" "Category" => "integer" "CountyNumber" => "integer" "VendorNumber" => "integer" "Pack" => "integer" "SaleDollars" => "float" "StateBottleCost" => "float" "StateBottleRetail" => "float" "BottleVolumeml" => "float" "BottlesSold" => "float" "VolumeSoldLiters" => "float" "VolumeSoldGallons" => "float"}

    remove_field => ["message"]
  }

  # Take the linebreaks out of the location and convert to spaces and lowercase the city and county as they change in the source file
  mutate {
    gsub => [ "StoreLocation", "\n", " " ]
    lowercase => [ "County", "City" ]
  }

  # Get the lat/lon if there is a (numbers,numbers) data in the location
  grok { 
    match => { "StoreLocation" => "\((?<location>[-,.0-9 ]*)\)" } 
  }

  # Match the date to just daily and the correct timezone
  date {
     "match" => [ "Date", "MM/dd/YYYY" ]
     "timezone" => "America/Chicago"
  }
}

output {   
  elasticsearch {
    hosts => ["https://your.cluster.here:9243"]
    index => ["iowa-liquor"]
    user => "elastic"
    password => "redacted"
    manage_template => false
   }

  #output dots while we process 
  stdout { codec => "dots" }
  #if we saw a date parse failure, dump it to screen to review
  if "_dateparsefailure" in [tags] {
     stdout { codec => "rubydebug" }
  }
}

 

Elastic 中国社区官方博客
关注
  • 2
    点赞
  • 踩
  • 11
    收藏
    觉得还不错? 一键收藏
  • 7
    评论
专栏目录
博客
Elastic 线下 Meetup 将于 2024 年 4 月 27 号在重庆举办
04-12 1386
2024 Elastic Meetup 重庆站活动，由 Elastic、新智锦绣联合举办，现诚邀广大技术爱好者及开发者参加。
博客
Elasticsearch：ES|QL 动手实践
11-14 1596
在我之前的文章 “”，我对 Elasticsearch 的最新查询语言 ES|QL 做了一个简单的介绍。在今天的文章中，我们详细来使用一些例子来展示 ES|QL 强大的搜索与分析功能。
博客
Elastic：如何成为一名 Elastic 认证工程师，Elastic 认证分析师及 Elastic 认证可观测性工程师
10-28 2万+
Elasticsearch 无疑是是目前世界上最为流行的大数据搜索引擎。根据 DB - Engines 的统计，Elasticsearch 雄踞排行榜第一名，并且市场还在不断地扩大：能够成为一名 Elastic 认证工程师也是很多开发者的梦想。这个代表了 Elastic 的最高认证，在业界也得到了很高的认知度。得到认证的工程师，必须除了具有丰富的 Elastic Stack 知识，而且必须有丰富的操作及有效的解决问题的能力。拥有这个认证证书，也代表了个人及公司的荣誉。针对个人的好处是，你可以..
博客
Elastic：开发者上手指南
02-25 14万+
你们好，我是Elastic的刘晓国。如果大家想开始学习Elastic的话，那么这里将是你理想的学习园地。在我的博客几乎涵盖了你想学习的许多方面。在这里，我来讲述一下作为一个菜鸟该如何阅读我的这些博客文章。我们可以按照如下的步骤来学习：1)Elasticsearch简介：对Elasticsearch做了一个简单的介绍2)Elasticsearch中的一些重要概念:cluster, n..........................................................
博客
Elastic：培训视频 - ​在生产环境中配置 Fleet Server 和 Elastic Agent 之间的安全
01-06 1万+
在这篇文章中，我将会把我写的有些内容录制成视频，供大家参考。希望对大家有所帮助。优酷的视频频道地址在这里。Elastic 简介及Elastic Stack 安装：优酷，腾讯 Elastic Stack docker 部署：优酷，腾讯 Elasticsearch中的一些重要概念（Cluster/Shards/Replica/Document/Type/Index）：优酷，腾讯 开始使用El...............
博客
Elasticsearch 简介
08-08 16万+
Elasticsearch是一个非常强大的搜索引擎。它目前被广泛地使用于各个IT公司。Elasticsearch是由Elastic公司创建并开源维护的。它的开源代码位于https://github.com/elastic/elasticsearch。同时，Elastic公司也拥有Logstash及Kibana开源项目。这个三个开源项目组合在一起，就形成了 ELK软件栈。他们三个共同形成了一个强大的...
博客
Elastic Universal Profiling: 提供性能改进和成本降低
04-25 416
​在当今云服务和 SaaS 平台的时代，持续改进不仅是一个目标，而是一个必要条件。在 Elastic，我们始终在寻找方法来优化我们的系统，无论是我们的内部工具还是 Elastic Cloud 服务。我们最近在 Elastic Cloud QA 环境中进行的性能优化调查，由 Elastic Universal Profiling 指导，是如何将数据转化为可操作见解的一个很好的例子。在本博客中，我们将介绍我们的一位工程师发现的一项内容，该发现导致我们在 QA 环境中节省了数千美元，并且一旦我们将此更改部署
博客
使用 OpenTelemetry 中的推断跨度来揭示跟踪数据中的未知信息
04-24 603
在微服务和分布式系统的复杂世界中，实现透明度并了解服务交互和请求流程的复杂性和低效性已成为一个重要挑战。分布式跟踪对于理解分布式系统至关重要。但是，无论是手动应用还是自动检测，分布式跟踪通常都相对粗粒度。因此，分布式跟踪仅覆盖系统的有限部分，往往会错过系统中最有价值的跟踪部分。
博客
Elasticsearch：崭新的打分机制 - Learning To Rank (LTR)
04-22 2052
“学习排名 (Learning To Rank)” 功能处于技术预览版，可能会在未来版本中更改或删除。Elastic 将努力解决任何问题，但此功能不受官方 GA 功能的支持 SLA 的约束。：此功能是在版本 8.12.0 中引入的，并且仅适用于某些订阅级别。有关更多信息，请参阅。Learning To Rank (LTR) 使用经过训练的机器学习（ML）模型来构建搜索引擎的排名函数。通常，该模型用作第二阶段的重新排序器，以提高简单的第一阶段检索算法返回的搜索结果的相关性。
博客
Elasticsearch 开放 inference API 增加了对 OpenAI chat completions 的支持
04-21 1679
我们很高兴地宣布在 Elasticsearch 中推出的最新创新：在 Elastic 的中集成了 OpenAI Chat Completions 功能。这一新特性标志着我们在整合尖端人工智能能力至 Elasticsearch 的旅程中又迈出了一步，提供了生成类人文本完成等更多易于使用的功能。更多关于 OpenAI Chat Completions 的用法，请阅读文章 “
博客
Elastic 网络爬虫：为你的网站添加搜索功能
04-20 1548
从我们的第一次爬取中，我们注意到 category 页面也被爬取了，而我们对它们不感兴趣，所以让我们将它们排除在爬取之外。在爬取规则下，添加一个新规则来禁止爬取以路径模式 /catalogue/category/ 开头 (Begins with) 的页面。现在我们可以在新规则生效的情况下重新进行一次爬取。注意：作为探索过程的一部分，每次更改网络爬虫配置时，我建议删除内容。在最后一章 “准备生产部署” 中，我们将看到如何在不手动删除数据的情况下重新运行网络爬虫。
博客
从 Elastic 的 Go APM 代理迁移到 OpenTelemetry Go SDK
04-19 993
正如，Elastic 致力于帮助 OpenTelemetry（OTel）取得成功，这意味着在某些情况下构建语言 SDK 的分发版本。Elastic 在观察性和安全数据收集方面战略性地选择了 OTel 标准。此外，Elastic 承诺与 OTel 社区合作，成为观察性生态系统中最佳的数据收集基础设施。Elastic 正在加深与 OTel 的合作关系，超越了最近将（invokedynamic）以及。
博客
Elasticsearch：使用向量化和 FFI/madvise 加速 Lucene
04-18 1097
在 Lucene 领域，我们一直热切地采用新版本 Java 的功能。这些功能使 Lucene 更接近 JVM 和底层硬件，从而提高了性能和稳定性。这使得 Lucene 保持现代化和具有竞争力。Lucene 的下一个主要版本，Lucene 10，将需要至少 Java 21。让我们看看我们为什么要这样做以及它将如何惠及 Lucene。
博客
Elasticsearch：简化 KNN 搜索
04-18 3206
在这篇博客文章中，我们将深入探讨我们为了使 KNN 搜索的入门体验变得更加简单而做出的努力！我们在 Elastic 处理 knn 搜索的方式在不断进化，我们持续引入新功能和改进，因此这些参数和整体评估很可能很快就会过时！我们总是在密切关注，一旦发生变化，我们将确保跟进并相应调整我们的配置！需要记住的一件重要事情是，这些值仅作为简化入门体验和非常通用用例的合理默认值。用户可以轻松地在自己的数据集上进行实验，并根据自己的需求进行相应调整（例如，在某些情况下，召回率可能比延迟更重要）。
博客
追溯历史：SIEM 中的生成式人工智能革命
04-17 1224
网络安全领域仿佛是现实世界的一个映射，安全运营中心（security operation center - SOC）就像是你的数字警察局。网络安全分析师就像是警察，他们的工作是阻止网络犯罪分子对组织发起攻击，或者在他们尝试攻击时将其阻止。当发生攻击时，类似于数字侦探的事件响应人员会从多个不同的来源收集线索，以确定事件的顺序和细节，然后制定补救计划。为了实现这一目标，团队需要将许多（有时是数十个）产品结合起来，以确定攻击的全貌并识别如何在业务遭受损失和损害之前停止威胁。
博客
Elasticsearch：如何将 MongoDB 数据引入 Elastic Cloud
04-17 1414
​Elastic Cloud 是由 Elastic 提供的基于云的托管服务。Elastic Cloud 允许客户在亚马逊网络服务 (AWS)、谷歌云平台 (GCP) 和微软 Azure 上部署、管理和扩展他们的 Elasticsearch 集群。MongoDB 是一种流行的 NoSQL 文档导向数据库，它以类似 JSON 的文档形式存储数据。以下是使用 Elastic MongoDB 连接器将数据从 MongoDB 数据库导入并同步到 Elasticsearch 的逐步指南。
博客
Elasticsearch .NET 客户端的演变
04-16 1018
在 .NET 世界中，与 Elasticsearch 的集成长期以来一直由 NEST 库提供支持，该库作为开发人员与 Elasticsearch 强大的搜索和分析功能进行交互的强大接口。NEST 是出于对 Elasticsearch 本地 .NET 客户端的需求而诞生的，由于其丰富的功能集和无缝的集成能力，很快就受到了开发人员的欢迎。在的近 14 年时间里，NEST 一直忠实地跟踪 Elasticsearch 的发布。
博客
RAG (Retrieval Augmented Generation) 结合 LlamaIndex、Elasticsearch 和 Mistral
04-16 1402
在这篇文章中，我们将讨论如何使用 RAG 技术（检索增强生成）和 Elasticsearch 作为向量数据库来实现问答体验。我们将使用 LlamaIndex 和本地运行的 Mistral LLM。
博客
向量数据库与图数据库：理解它们的区别
04-16 1154
向量数据库将数据组织成广阔的、多维空间中的点，而不是行和列。每个点代表一条数据，其位置反映了它相对于其他数据的特征。可以将其想象成一个宇宙，其中每颗行星都是一条数据，它们被组织成与相似的行星更近，与相似度较低的行星更远的方式。它通过将数据存储为高维向量来实现这一点，这些向量是数据特征的数值表示。这些向量捕捉了它们所代表的数据的本质，这就是它们如何能够在多维空间内进行编码和组织的原因。在多维空间中，两个点越接近，它们的基础数据就越相似。这就是为什么向量数据库擅长相似性搜索的原因。
博客
NLP vs. LLMs: 理解它们之间的区别
04-15 9514
随着人工智能持续发展并在无数行业解决问题，技术的一个关键部分是能够无缝地桥接人类语言和机器理解之间的差距。这就是自然语言处理（NLP）和大型语言模型（LLMs）的用武之地。它们提供了独特而专业的方法，将人类沟通的力量与软件和机器连接起来。简单来说，NLP 和 LLMs 使我们能够与软件进行类似人类的对话。NLP 是翻译者，基于定义的规则和结构分析和操作人类语言。这使得机器能够理解语法、句法和上下文的细微差别，从而能够计算情感、提取信息和进行机器翻译。LLMs 则是大脑。通过大量的文本数据驱动，它

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 7
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值