程序人生
文章平均质量分 91
死敌wen
这个作者很懒,什么都没留下…
展开
-
Elastic stack 认证:可观测性认证工程师 (ECOE, elastic certified observability engineer)考点说明
可观测性认证summary可观测性认证考试主要是考察你能否用 elastic 全家桶,通过对指标、日志、APM和心跳信息等维度的数据进行采集,并在 kibana 里构建 machine learning 任务和告警。主要考点Uptime通过配置和使用 Heartbeat 对进程或服务的生存状况进行监控通过 Heartbeat 来监控服务是否可以通过 ICMP、TCP、HTTP 等方式进行访问通过 Kibana 里的 Uptime 功能来监控服务的存活和可用性Metrics通过配置原创 2022-01-17 18:55:46 · 413 阅读 · 0 评论 -
搜索系列:普通搜索和向量搜索之间那些不得不说的故事
普通搜索 VS 向量搜索https://wolfgarbe.medium.com/vector-search-vs-keyword-search-data-structures-and-algorithms-f29320c4fcb0向量搜索已经在黑暗中成长了有些年头了,但是随着近几年机器学习和深度学习的蓬勃发展,“特别是万物皆可 embedding“的观点越来越流行之后,向量搜索才逐渐从小众的技术走入人们的视野之中。相较于普通搜索(基于词元和倒排索引),向量搜索会成为一个革命者代替它(们)的位置,还是会原创 2022-01-12 16:31:35 · 1395 阅读 · 1 评论 -
搜索引擎简介之数据采集篇
背景随着互联网上的信息持续爆发式的增长,依靠人类的力量去收集和查找想要的信息已经越来越不可能实现,所以人们开始通过搜索引擎技术来帮助人们更快更准确的筛选和寻找自己所需要的信息。痛点互联网上的信息分布具有以下一些特点,其中任意一个都会对人类用户的信息搜寻带来很大的困扰分布的范围广,动辄几百上千万的网站中都可能存在想要的信息分布的位置零散,没有合适的索引能够帮助用户快速的找到想要的信息内容良莠不齐,大量重复、错误、谬误等信息的存在,让用户很难判断所需内容的准确性爬虫发展简史上古时期:简单爬原创 2022-01-07 16:50:54 · 415 阅读 · 0 评论 -
Elasticsearch 向量搜索的工程化实战
背景作为一家搜索引擎公司,我们会很倚赖 ES 帮忙处理包括文章召回,数据源划分,实体、标签管理等任务,而且都收到了不错的结果。最近我们需要对行业知识库进行建模,其中可能会涉及到实体匹配、模糊搜索、向量搜索等多种召回和算分方式,最终我们选择了通过 ES 7.X (最终选择 7.10)里的新功能,Dense vector 帮忙一起完成这部分的需求。技术选型解决方案需求支持向量搜索支持多维度筛选、过滤吞吐速率学习、使用成本运维成本使用场景设计离线数据准备在离线数据构建完成后,存入该原创 2021-12-18 17:16:32 · 1902 阅读 · 5 评论 -
Elastic Certified Engineer复习记录-复习题详解篇-聚合
EXAM OBJECTIVE: AGGREGATIONS考点:聚合GOAL: Create metrics, bucket, and pipeline aggregations考试目标:使用 metrics、bucket和 pipeline 聚合REQUIRED SETUP:初始化步骤:建议docker-compose文件:1e1k_base_cluster.ymla running Elasticsearch cluster with at least one node and a Kib原创 2021-12-17 15:15:21 · 308 阅读 · 0 评论 -
Elastic Certified Engineer复习记录-复习题详解篇-搜索数据(3)
EXAM OBJECTIVE: QUERIES考点:queriesGOAL: Use scroll API, search templates, script queries考试目标:使用 scroll API, search templates, script queriesREQUIRED SETUP:初始化步骤:建议docker-compose文件:1e1k_base_cluster.ymla running Elasticsearch cluster with at least on原创 2021-12-16 10:53:51 · 275 阅读 · 0 评论 -
Elastic Certified Engineer复习记录-复习题详解篇-搜索数据(2)
EXAM OBJECTIVE: QUERIES考点:queriesGOAL: Create search queries for terms, numbers, dates, fuzzy, and考试目标:构建terms、数字、日期、模糊匹配及符合查询语句REQUIRED SETUP:初始化步骤:建议docker-compose文件:1e1k_base_cluster.ymla running Elasticsearch cluster with at least one node and原创 2021-12-16 10:51:50 · 120 阅读 · 0 评论 -
Elastic Certified Engineer复习记录-复习题详解篇-搜索数据(1)
EXAM OBJECTIVE: QUERIES考点:queriesGOAL: Create search queries for analyzed text, highlight, pagination, and sort考试目标:创建搜索语句以对文档进行分析、高亮、分页和排序REQUIRED SETUP:初始化步骤:建议docker-compose文件:1e1k_base_cluster.ymla running Elasticsearch cluster with at least on原创 2021-12-07 12:57:34 · 155 阅读 · 0 评论 -
搜索引擎介绍系列——数据采集
搜索引擎数据采集背景随着互联网上的信息持续爆发式的增长,依靠人类的力量去收集和查找想要的信息已经越来越不可能实现,所以人们开始通过搜索引擎技术来帮助人们更快更准确的筛选和寻找自己所需要的信息。痛点互联网上的信息分布具有以下一些特点,其中任意一个都会对人类用户的信息搜寻带来很大的困扰分布的范围广,动辄几百上千万的网站中都可能存在想要的信息分布的位置零散,没有合适的索引能够帮助用户快速的找到想要的信息内容良莠不齐,大量重复、错误、谬误等信息的存在,让用户很难判断所需内容的准确性爬虫发展简史原创 2021-08-27 17:40:51 · 589 阅读 · 0 评论 -
Elastic Certified Engineer复习记录-复习题详解篇-索引数据(2)
MAPPINGS AND TEXT ANALYSIS索引和文档的分析(分词)GOAL: Model relational data目标:规整带关系的数据模型REQUIRED SETUP:初始化步骤建议docker-compose文件:1e1k_base_cluster.ymla running Elasticsearch cluster with at least one node and a Kibana instance,运行一个至少有1个节点的ES集群,以及1个kibana节点原创 2021-02-23 16:05:01 · 307 阅读 · 0 评论 -
Elastic Certified Engineer复习记录-复习题详解篇-索引数据
Mapping & analysis索引和分析(数据)GOAL: set the mapping and analyzer on data index against requirements目标:按要求创建索引建议docker-compose文件:1e1k_base_cluster.yml第1题,按要求创建索引Create the index hamlet_1 with one primary shard and no replicas创建一个叫hamlet_1的具有1分片0副本原创 2021-02-23 16:04:23 · 149 阅读 · 0 评论 -
Elastic Certified Engineer复习记录-复习题详解篇-分词
Analysis分析(分词)GOAL: set the analyzer on data index against requirements目标:按要求创建索引建议docker-compose文件:1e1k_base_cluster.yml第1题,为数据字段指定分词器Create the index hamlet_1 with one primary shard and no replicas创建一个1分片0副本的索引hamlet_1Define a mapping for the原创 2021-02-23 16:03:54 · 170 阅读 · 0 评论 -
ES 引入基础鉴权
背景主搜几个集群发生过删库,继而引发大规模的数据修复重建,浪费了开发、运维同学的大量时间精力。为了能从访问上对人员的操作进行限制和记录,需要引入对ES集群进行权限校验的机制。思路开启ES本身的权限校验及相关配置接入Ldap的权限校验体系migrate所有应用中的ES链接创建方式通过公用的cerebro和kibana对ES集群进行访问实施路径ES集群在配置文件中开启包括集群SSL、安全性认证等在内的配置需要通过统一的认证中心生成证书根据需要设置不同权限的用户组为每个既存应用原创 2021-01-28 10:38:40 · 1250 阅读 · 2 评论 -
Elastic Certified Engineer复习记录-配套docker文件
1e1k_base_cluster.ymlversion: "3.6"networks: bigdata: external: truevolumes: es721data1: driver: localservices: es721Node1: image: elasticsearch:${es_version:-7.2.1} restart: always container_name: es721Node1 environment原创 2020-12-21 20:44:52 · 168 阅读 · 0 评论 -
Elastic Certified Engineer复习记录-复习题详解篇-索引数据(3)
Analyze & Save分析和保存(数据)GOAL: analyze and save data against requirements目标:按要求分析(分词)和保存数据建议docker-compose文件:1e1k_base_cluster.yml第1题,索引与别名Create the indices hamlet-1 and hamlet-2, each with two primary shards and no replicas创建两个索引,hamlet-1 和 ha原创 2020-12-17 16:30:18 · 150 阅读 · 0 评论 -
Elastic Certified Engineer复习记录-复习题详解篇-索引数据(2)
INDEX TEMPLATE索引模板GOAL: build index template and index some documents目标:按要求创建索引模板并存入数据建议docker-compose文件:1e1k_base_cluster.yml第1题,按要求创建索引模板Create the index template hamlet_template, so that the template:创建一个叫hamlet_template的索引模板,满足以下要求matches any原创 2020-12-17 16:27:47 · 98 阅读 · 0 评论 -
Elastic Certified Engineer复习记录-复习题详解篇-索引数据(1)
INDEXING DATA存储(索引)数据GOAL: Create, update and delete indices while satisfying a given set of requirements目标:按照题目要求创建、更新、删除索引REQUIRED SETUP:初始化步骤建议docker-compose文件:1e1k_base_cluster.ymla running Elasticsearch cluster with at least one node and a Kib原创 2020-12-17 16:27:17 · 220 阅读 · 0 评论 -
Elastic Certified Engineer复习记录-复习题详解篇-集群管理(2)
CLUSTER ADMINISTRATION集群管理GOAL: Backup and cross-cluster search目标:备份和跨集群搜索REQUIRED SETUP:建议docker-compose文件:2e2k_two_clusters.yml需求几步骤:Let’s create a one-node cluster and index some data in it.让我们先搞一个但节点的集群,然后存点数据进去Download the exam version of El原创 2020-11-17 14:39:26 · 405 阅读 · 0 评论 -
Elastic Certified Engineer复习记录-复习题详解篇-集群管理(1)
LUSTER ADMINISTRATION集群管理GOAL: Allocate the shards in a way that satisfies a given set of requirements目标,根据要求把分配放置在合适的位置REQUIRED SETUP: /建议docker-compose文件:1m2d1k_normal_cluster.yml前期准备:Download the exam version of Elasticsearch下载考试版本的ES包Deplo原创 2020-11-17 14:37:32 · 392 阅读 · 5 评论 -
Elastic Certified Engineer复习记录-复习题详解篇-集群的安装和配置(2)
INSTALLATION AND CONFIGURATION集群安装和配置GOAL: Secure a cluster and an index using Elasticsearch Security目标:用ES的安全模块保护集群和索引REQUIRED SETUP第0题,按要求创建集群a running Elasticsearch cluster with at least one node and a Kibana instance创建一个最少拥有1个ES节点1个Kibana节点的集群原创 2020-11-13 14:31:32 · 1169 阅读 · 0 评论 -
Elastic Certified Engineer复习记录-复习题详解篇-集群的安装和配置(1)
INSTALLATION AND CONFIGURATION集群安装和配置GOAL: Setup an Elasticsearch cluster that satisfies a given set of requirements目标: 根据给定需求配置一个ES集群。过程略,官方链接REQUIRED SETUP第0题,按要求配置集群Download the exam version of Elasticsearch下载考试版本的ES(7.2 官方页面)Deploy the clus原创 2020-11-10 10:10:09 · 199 阅读 · 0 评论 -
Elastic Certified Engineer复习记录-考试说明篇
Elastic 认证工程师考试官方页面官方QA页面考试环境FAQ页面:链接Which version of Elasticsearch is the exam using?Elastic Certified Engineer: 7.2Elastic Certified Analyst: 7.6Elastic Certified Observability Engineer: coming soon!考试考纲及翻译考试介绍页面1. Installation and Configura原创 2020-11-10 10:08:37 · 579 阅读 · 0 评论 -
在CentOS机器上搭建Java服务
Git运行命令yum -y install gitLoaded plugins: fastestmirrorbase ...原创 2018-12-22 18:34:28 · 224 阅读 · 0 评论 -
如何优雅的滚犊砸
如何优雅的滚犊砸很遗憾,走到这一步,说明你和公司的缘分到了,希望你在未来的道路上越来越牛逼。交接以下内容,特别是位置信息仅供参考。项目部分把当前手边的task、代码跟交接的同事传达清楚。对task的分析、整理当前的进度开发/调研的结果,demo,架构、设计思路等未来的发展路径提交所有代码到对应分支移交各种文件包括而不仅限于测试case、mock数据...原创 2018-11-23 14:36:00 · 274 阅读 · 0 评论