用 StarRocks on ES 实现 分词

已于 2022-04-15 14:14:35 修改
阅读量2k 收藏 2
点赞数 1
文章标签： elasticsearch 全文检索 搜索引擎
于 2022-01-22 11:05:40 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013836748/article/details/122634194
版权

目录

部署ES

下载

Config

系统参数

启动

Verify

常规用法

创建Index

_cat

查看settings

删除index

Bulk导入数据

Search

SR 外表

测试1：分词

ES

SR

部署ES

sr@cs02:~/app/elasticsearch-7.16.2$grep -v ^# config/elasticsearch.yml
node.name: node-2
network.host: 172.26.194.185
cluster.initial_master_nodes: ["node-2"]

  • 系统参数

vm.max_map_count = 655360
sr@cs02:~/app/elasticsearch-7.16.2$sudo vim /etc/sysctl.conf
sr@cs02:~/app/elasticsearch-7.16.2$sudo sysctl -p
vm.swappiness = 0
kernel.sysrq = 1
net.ipv4.neigh.default.gc_stale_time = 120
net.ipv4.conf.all.rp_filter = 0
net.ipv4.conf.default.rp_filter = 0
net.ipv4.conf.default.arp_announce = 2
net.ipv4.conf.lo.arp_announce = 2
net.ipv4.conf.all.arp_announce = 2
net.ipv4.tcp_max_tw_buckets = 5000
net.ipv4.tcp_syncookies = 1
net.ipv4.tcp_max_syn_backlog = 1024
net.ipv4.tcp_synack_retries = 2
vm.max_map_count = 655360

  • 启动

sr@cs02:~/app/elasticsearch-7.16.2$bin/elasticsearch -d

  • Verify

sr@cs02:~/app/elasticsearch-7.16.2$sudo netstat -lnpt |grep 9[2-3]00
tcp6       0      0 172.26.194.185:9200     :::*                    LISTEN      10442/java
tcp6       0      0 172.26.194.185:9300     :::*                    LISTEN      10442/java

常规用法

  • 创建Index

sr@cs02:~$curl -sH "Content-Type: application/json" -XPUT "cs02:9200/test"    | python -m json.tool
{
    "acknowledged": true,
    "index": "test",
    "shards_acknowledged": true
}

  • _cat

sr@cs02:~$curl -s  "cs02:9200/_cat/indices?v"
health status index uuid                   pri rep docs.count docs.deleted store.size pri.store.size
yellow open   test  poJIPAAJQpW4hq8zXGAg3Q   1   1          0            0       226b           226b

  • 查看settings

sr@cs02:~$curl -sH "Content-Type: application/json" -XGET "cs02:9200/test/_settings/" | python -m json.tool
{
    "test": {
        "settings": {
            "index": {
                "creation_date": "1641910831087",
                "number_of_replicas": "1",
                "number_of_shards": "1",
                "provided_name": "test",
                "routing": {
                    "allocation": {
                        "include": {
                            "_tier_preference": "data_content"
                        }
                    }
                },
                "uuid": "JQKoH7sKRmi34chGt1n1jg",
                "version": {
                    "created": "7160299"
                }
            }
        }
    }
}

  • 删除index

sr@cs02:~$curl -s -XDELETE "cs02:9200/test" |  python -m json.tool
{
    "acknowledged": true
}

  • Bulk导入数据

  • Note: 每行要换行

curl -XPOST "http://cs02:9200/_bulk" -H 'Content-Type: application/json' -d'
{"index":{"_index":"test"}}
{ "k1" : 1, "k2": "2022-01-01", "k3": "Trying out Elasticsearch", "k4": "Trying out Elasticsearch", "k5": 10.0}
{"index":{"_index":"test"}}
{ "k1" : 2, "k2": "2022-01-02", "k3": "Trying out StarRocks", "k4": "Trying out StarRocks", "k5": 20.0}
{"index":{"_index":"test"}}
{ "k1" : 3, "k2": "2022-01-03", "k3": "StarRocks On ES", "k4": "StarRocks On ES", "k5": 30.0}
{"index":{"_index":"test"}}
{ "k1" : 4, "k2": "2022-01-04", "k3": "StarRocks", "k4": "StarRocks", "k5": 40.0}
{"index":{"_index":"test"}}
{ "k1" : 5, "k2": "2022-01-05", "k3": "ES", "k4": "ES", "k5": 50.0}
'
sr@cs02:~$curl -s -XGET cs02:9200/test/_search?pretty
{
  "took" : 667,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 5,
      "relation" : "eq"
    },
    "max_score" : 1.0,
    "hits" : [
      {
        "_index" : "test",
        "_type" : "_doc",
        "_id" : "uW6rSX4B8p-MWLQevhhA",
        "_score" : 1.0,
        "_source" : {
          "k1" : 1,
          "k2" : "2022-01-01",
          "k3" : "Trying out Elasticsearch",
          "k4" : "Trying out Elasticsearch",
          "k5" : 10.0
        }
      },
      {
        "_index" : "test",
        "_type" : "_doc",
        "_id" : "um6rSX4B8p-MWLQevhhA",
        "_score" : 1.0,
        "_source" : {
          "k1" : 2,
          "k2" : "2022-01-02",
          "k3" : "Trying out StarRocks",
          "k4" : "Trying out StarRocks",
          "k5" : 20.0
        }
      },
      {
        "_index" : "test",
        "_type" : "_doc",
        "_id" : "u26rSX4B8p-MWLQevhhA",
        "_score" : 1.0,
        "_source" : {
          "k1" : 3,
          "k2" : "2022-01-03",
          "k3" : "StarRocks On ES",
          "k4" : "StarRocks On ES",
          "k5" : 30.0
        }
      },
      {
        "_index" : "test",
        "_type" : "_doc",
        "_id" : "vG6rSX4B8p-MWLQevhhA",
        "_score" : 1.0,
        "_source" : {
          "k1" : 4,
          "k2" : "2022-01-04",
          "k3" : "StarRocks",
          "k4" : "StarRocks",
          "k5" : 40.0
        }
      },
      {
        "_index" : "test",
        "_type" : "_doc",
        "_id" : "vW6rSX4B8p-MWLQevhhA",
        "_score" : 1.0,
        "_source" : {
          "k1" : 5,
          "k2" : "2022-01-05",
          "k3" : "ES",
          "k4" : "ES",
          "k5" : 50.0
        }
      }
    ]
  }
}

SR 外表

  • 测试1：分词

  • ES

  • Create index
curl -sH "Content-Type: application/json" -XPUT "cs02:9200/test"  -d'
{
  "mappings": {

      "properties": {
        "k1": {
          "type": "long"
        },
        "k2": {
          "type": "date"
        },
        "k3": {
          "type": "keyword"
        },
        "k4": {
          "analyzer": "standard",
          "type": "text"
        },
        "k5": {
          "type": "float"
        }

    }
  },
  "settings": {
    "index": {
      "number_of_replicas": "0",
      "number_of_shards": "1"
    }
  }
}
'
  • 数据导入ES
curl -XPOST "http://cs02:9200/_bulk" -H 'Content-Type: application/json' -d'
{"index":{"_index":"test"}}
{ "k1" : 1, "k2": "2022-01-01", "k3": "Trying out Elasticsearch", "k4": "Trying out Elasticsearch", "k5": 10.0}
{"index":{"_index":"test"}}
{ "k1" : 2, "k2": "2022-01-02", "k3": "Trying out StarRocks", "k4": "Trying out StarRocks", "k5": 20.0}
{"index":{"_index":"test"}}
{ "k1" : 3, "k2": "2022-01-03", "k3": "StarRocks On ES", "k4": "StarRocks On ES", "k5": 30.0}
{"index":{"_index":"test"}}
{ "k1" : 4, "k2": "2022-01-04", "k3": "StarRocks", "k4": "StarRocks", "k5": 40.0}
{"index":{"_index":"test"}}
{ "k1" : 5, "k2": "2022-01-05", "k3": "ES", "k4": "ES", "k5": 50.0}
'

  • SR

mysql -uroot -hcs01 -P 9013
USE simon;

-- 对ES中字符串类型分词类型(text) fields 进行探测
CREATE EXTERNAL TABLE `soe_t1` (
 `k1` bigint(20) NULL COMMENT "",
 `k2` datetime NULL COMMENT "",
 `k3` varchar(20) NULL COMMENT "",
 `k4` varchar(100) NULL COMMENT "",
 `k5` float NULL COMMENT ""
) ENGINE=ELASTICSEARCH
COMMENT "ELASTICSEARCH"
PROPERTIES (
"hosts" = "cs02:9200",
"index" = "test",
"type" = "_doc",
"transport" = "http",
"enable_docvalue_scan" = "true",
"max_docvalue_fields" = "20",
"enable_keyword_sniff" = "true"
);
  • 需要稍等几秒，同步后再查询
MySQL [simon]> select * from soe_t1;
ERROR 1064 (HY000): EsTable metadata has not been synced, Try it later
MySQL [simon]> desc soe_t1;
+-------+--------------+------+-------+---------+-------+
| Field | Type         | Null | Key   | Default | Extra |
+-------+--------------+------+-------+---------+-------+
| k1    | BIGINT       | Yes  | true  | NULL    |       |
| k2    | DATETIME     | Yes  | true  | NULL    |       |
| k3    | VARCHAR(20)  | Yes  | true  | NULL    |       |
| k4    | VARCHAR(100) | Yes  | false | NULL    | NONE  |
| k5    | FLOAT        | Yes  | false | NULL    | NONE  |
+-------+--------------+------+-------+---------+-------+
5 rows in set (0.00 sec)

mysql> select * from soe_t1;
+------+---------------------+--------------------------+--------------------------+------+
| k1   | k2                  | k3                       | k4                       | k5   |
+------+---------------------+--------------------------+--------------------------+------+
|    1 | 2022-01-01 00:00:00 | Trying out Elasticsearch | Trying out Elasticsearch |   10 |
|    2 | 2022-01-02 00:00:00 | Trying out StarRocks     | Trying out StarRocks     |   20 |
|    3 | 2022-01-03 00:00:00 | StarRocks On ES          | StarRocks On ES          |   30 |
|    4 | 2022-01-04 00:00:00 | StarRocks                | StarRocks                |   40 |
|    5 | 2022-01-05 00:00:00 | ES                       | ES                       |   50 |
+------+---------------------+--------------------------+--------------------------+------+
5 rows in set (0.01 sec)

mysql> select * from soe_t1 where k5 > 30;
+------+---------------------+-----------+-----------+------+
| k1   | k2                  | k3        | k4        | k5   |
+------+---------------------+-----------+-----------+------+
|    4 | 2022-01-04 00:00:00 | StarRocks | StarRocks |   40 |
|    5 | 2022-01-05 00:00:00 | ES        | ES        |   50 |
+------+---------------------+-----------+-----------+------+
2 rows in set (0.01 sec)

-- 非分词列，精确匹配
mysql> select * from soe_t1 where k3 = 'ES';
+------+---------------------+------+------+------+
| k1   | k2                  | k3   | k4   | k5   |
+------+---------------------+------+------+------+
|    5 | 2022-01-05 00:00:00 | ES   | ES   |   50 |
+------+---------------------+------+------+------+
1 row in set (0.38 sec)

-- 分词类型(text)，按小写分词
mysql> select * from soe_t1 where k4 = 'es';
+------+---------------------+-----------------+-----------------+------+
| k1   | k2                  | k3              | k4              | k5   |
+------+---------------------+-----------------+-----------------+------+
|    3 | 2022-01-03 00:00:00 | StarRocks On ES | StarRocks On ES |   30 |
|    5 | 2022-01-05 00:00:00 | ES              | ES              |   50 |
+------+---------------------+-----------------+-----------------+------+
2 rows in set (0.01 sec)

mysql> select * from soe_t1 where k4 = 'starrocks';
+------+---------------------+----------------------+----------------------+------+
| k1   | k2                  | k3                   | k4                   | k5   |
+------+---------------------+----------------------+----------------------+------+
|    2 | 2022-01-02 00:00:00 | Trying out StarRocks | Trying out StarRocks |   20 |
|    3 | 2022-01-03 00:00:00 | StarRocks On ES      | StarRocks On ES      |   30 |
|    4 | 2022-01-04 00:00:00 | StarRocks            | StarRocks            |   40 |
+------+---------------------+----------------------+----------------------+------+
3 rows in set (0.01 sec)

-- 标准分词器，按小写分词
mysql> select * from soe_t1 where k4 = 'ES';
Empty set (0.01 sec)

-- esquery
mysql> select * from soe_t1 where esquery(k4, '{
        "match": {
           "k4": "es"
        }
    }');
+------+---------------------+-----------------+-----------------+------+
| k1   | k2                  | k3              | k4              | k5   |
+------+---------------------+-----------------+-----------------+------+
|    3 | 2022-01-03 00:00:00 | StarRocks On ES | StarRocks On ES |   30 |
|    5 | 2022-01-05 00:00:00 | ES              | ES              |   50 |
+------+---------------------+-----------------+-----------------+------+
2 rows in set (0.01 sec)

下一篇：

玩转StarRocks on ES-2-全文检索

StarRocks招聘：

招解决方案，DBA，数据库研发，测试，前后端开发等岗位，

有意者请投递简历到 hr@starrocks.com

八寅老爷
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
Elasticsearch搜索推荐
Tyshawn的博客
12-16 1268
本文基于Elasticsearch7.x版本. 什么是搜索推荐? 当我们在Google上搜索信息时, Google会推荐一些相关联的搜索词, 即使我们拼写错了关键词, Google仍然会推荐出我们想要的内容, 这就是搜索推荐. Elasticsearch Suggesters Elasticsearch Suggesters 包含四个功能, 下面分别介绍这四个功能及其Java Client...
用StarRocks玩转用户画像-3-传统解决方案
u013836748的博客
12-09 1774
组合标签计算-传统方案 痛点 应用角度： 筛选客群得分别在多个索引搜索后，再做聚合，比较麻烦 技术角度： 架构较重，维护复杂 Sql能力差(join和聚合等)，开发成本大， 定制开发，扩展不灵活 ES vs Hbase es主要是个查询引擎，大量存的代价较大，Hbase优势在大规模读写 1）数据量 随着数据量的增加，es的读写性能会有所下降，从存储原始数据的角度来看，hbase要优于es 2）数据更新 Es数据更新是对文档进行更新，需要先将es中的数据取出，设置更新字段后再写入es hb.
玩转 StarRocks on ES 全文检索
u013836748的博客
01-22 3465
目录 部署ES 下载 Config 系统参数 启动 Verify SR 外表 测试2：全文检索 插件 ES SR 部署ES 下载 wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.16.2-linux-x86_64.tar.gz Config sr@cs02:~/app/elasticsearch-7.16.2$grep -v ^# config/e..
大数据最全大数据StarRocks(五) ：数据类型_starrocks 数据类型(2)，真是经典中的经典
最新发布
2401_84592149的博客
05-11 816
JSON 是一种轻量级的数据交换格式，JSON 类型的数据是一种半结构化的数据，支持树形结构。JSON 支持的数据类型为数字类型（NUMBER）、字符串类型（STRING）、布尔类型（BOOLEAN）、数组类型（ARRAY）、对象类型（OBJECT），以及 NULL 值。本文介绍 JSON 的基本概念，以及 StarRocks 如何创建 JSON 类型的列、导入和查询 JSON 数据，通过 JSON 函数及运算符构造和处理 JSON 数据。可以是 StarRocks 支持的任意类型，包括复杂类型。
用StarRocks玩转用户画像-1-概述
u013836748的博客
12-09 1937
概述 演进背景 谈用户画像的发展，其实跟用户运营息息相关。用户运营由粗放式的泛运营渐渐发展到精细化运营，到今天有些企业甚至已经迈进单对单运营的阶段。 用户运营1.0时代 早期网站充当的角色和传统报纸类似，流量变现方式较为单一，主要依靠网页边栏广告进行盈利，运营重心偏重于商业诉求，对用户关注相对较少。由于当时技术的局限性，服务器后台记录的用户行为比较原始单一，用户画像体系不像今天那么丰富完善。 精细运营2.0时代 此阶段开始，流量产生的价值远高于上一阶段。流量的变现方式除了广告之外，电商、增值服务
StarRocks系列(01)--StarRocks是什么
曲奇饼的专栏
12-23 2745
本文是本系列第一篇文章，本系列主要目的是介绍StarRocks的特性，使用方法和技巧，内容以官方文档为主，会在官方文档基础上根据实际使用经验做一些扩展，使大家更方便的上手。
第2.11章：StarRocks表设计--外部表
流木的博客
01-04 6429
除了创建表、视图或者物化视图，StarRocks还支持创建外部表来访问外部数据源。所谓外部表，可以简单的理解为是在StarRocks中建立的与外部数据的映射，所有的数据还在各自的数据源中，但我们可以通过外部表向所在的数据源发起查询。目前StarRocks已支持的第三方数据源包括MySQL、ElasticSearch、Hive以及StarRocks。 外部表的创建和使用都比较简单，下面我们逐个介绍。 1 MySQL外部表 在星型模型中，我们一般将表类型划分为维度表和指标表。维度表数据量通常较小，但一般都
Elasticsearch平台中文分词词库.txt
12-17
Elasticsearch电商平台中文分词词库
elasticsearch7.17.11版本分词器插件安装包
11-13
适用于elasticsearch7.17.11版本的分词器插件安装包
elasticsearch-7.14.0+分词器+head插件一键下载
09-04
elasticsearch-7.14.0+分词器+head插件下载
elasticsearch7.17.13版本分词器插件安装包
11-13
适用于elasticsearch7.17.13版本的分词器插件安装包
elasticsearch7.17.9版本分词器插件安装包
11-13
适用于elasticsearch7.17.9版本的分词器插件安装包
10分钟带你全面了解StarRocks
hellozhxy的博客
07-19 5352
StarRocks 是一款极速全场景 MPP 企业级数据库产品，具备水平在线扩缩容，金融级高可用，兼容 MySQL 5.7 协议和 MySQL 生态，提供全面向量化引擎与多种数据源联邦查询等重要特性。StarRocks 致力于在全场景 OLAP 业务上为用户提供统一的解决方案，适用于对性能，实时性，并发能力和灵活性有较高要求的各类应用场景。
大数据技术8：StarRocks极速全场景MPP数据仓库
何哥的博客
12-10 2033
StarRocks 是一款高性能分析型数据仓库，使用向量化、MPP 架构、CBO、智能物化视图、可实时更新的列式存储引擎等技术实现多维、实时、高并发的数据分析。StarRocks 既支持从各类实时和离线的数据源高效导入数据，也支持直接分析数据湖上各种格式的数据。StarRocks 兼容 MySQL 协议，可使用 MySQL 客户端和常用 BI 工具对接。同时 StarRocks 具备水平扩展，高可用、高可靠、易运维等特性。广泛应用于实时数仓、OLAP 报表、数据湖分析等场景。
大数据平台测试-elasticsearch、mysql、kudu、starrocks、print、hive、Datagen、hbase、tidb、hudi
全村的希望的博客
06-10 1501
最近在测试flink实时计算平台最近迭代增加了 elasticsearch 7的 Connector ，所以要把平台内所有的数据源实例类型测试一遍。flink中的数据源实例类型有elasticsearch、mysql、kudu、starrocks、print、hive、Datagen、hbase、tidb。。。证明新增的Connector对其他的Flink SQL 写入其他数据库无影响。或者说其他数据源的写入正常。这里写下job写入对应的表后该怎么查询1、elasticsearch 6 与 elastics
StarRocks实战——多点大数据数仓构建
爱吃辣条的博客
03-28 1743
StarRocks实战——多点大数据数仓构建
大数据分析&数据仓库关于数据库选型方面的感触
偶尔写些东西，意思一下我也参与了内卷
08-16 878
文章为本人主观感受，如有错误，欢迎批评指正！（仅供参考使用，不绝对）
上下级平台之间数据同步方案_Alluxio与底层存储系统之间的元数据同步机制
weixin_35583709的博客
12-22 773
请点击上方蓝字，关注我们哦！作者简介：林意群，Apache Hadoop PMC member，Apache Ozone PMC member，拥有多年参与开源社区经验，主要专注于存储领域的研究和学习，目前任eBay Hadoop team 大数据研发工程师。前 言Alluxio作为一套构建于底层存储系统之上的中间层，它必不可少的会涉及到与底层系统之间metadata之间的同步问题。外部...
滴滴 x StarRocks：极速多维分析创造更大的业务价值
StarRocks的博客
09-26 307
** 滴滴 x StarRocks：极速多维分析创造更大的业务价值 ** 滴滴集团作为生活服务领域的头部企业，正在全面测试和上线StarRocks。其中橙心优选经过一年多的数据体系建设，我们逐渐将一部分需要实时交互查询、即席查询的多维数据分析需求由ClickHouse迁移到了StarRocks中，StarRocks在稳定性、实时性方面也给了我们良好的体验，接下来以StarRocks实现的漏斗分析为例介绍StarRocks在橙心优选运营数据分析应用中的实践。 “ 作者：王鹏 滴滴橙心优选数据架构部资
elasticsearch ik分词器使用
10-20
Elasticsearch的IK分词器是一个功能强大、易于使用的中文分词器插件，可以显著改善Elasticsearch在中文文本上的分词效果。IK分词器通过细粒度的分词、多种分词模式、自定义词典等功能，能够更好地满足中文语境下的搜索需求。安装IK分词器的步骤包括下载IK分词器插件、安装插件并重启Elasticsearch服务。在使用IK分词器时，可以选择不同的分词模式，包括最细粒度分词、智能分词、搜索引擎分词等，以满足不同的需求。同时，IK分词器还支持自定义词典，可以根据具体的业务需求添加或删除词汇。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值