系统内核
文章平均质量分 89
死敌wen
这个作者很懒,什么都没留下…
展开
-
Elastic stack 认证:可观测性认证工程师 (ECOE, elastic certified observability engineer)指标采集(Metric)
指标监控elastic stack 的指标监控可以通过 metricbeat 配合几十种的 module 对各种服务器环境及服务实例自身的状态信息进行采集和上报。配置启动安装修改相关配置输出到 ES output.elasticsearch: hosts: ["myEShost:9200"] username: "metricbeat_internal" password: "YOUR_PASSWORD" (可选)初始化 Kibana(如果 Kibana原创 2022-02-12 20:28:28 · 955 阅读 · 0 评论 -
Elasticsearch 基础:数据索引流程
ES 数据索引流程ES 的数据从接收、存储到能够支持检索是一个相对比较复杂的过程,这一过程中的每一步都是为了性能、分布式支持、并行、高可用和可拓展等特点作出的设计。整体流程通过接口接收数据数据路由寻址数据索引让数据支持检索后面我们来详细了解下整个流程。通过接口接收数据ES 会通过 POST/PUT _doc、POST _bulk 等接受数据,区别只是前者一次性只会发送/接收一条数据,而后者会一次性处理多条数据。在 bulk 的处理中,ES 会自行对数据列表进行遍历,并按单条数据的方式继原创 2022-01-21 09:29:05 · 694 阅读 · 0 评论 -
搜索系列:普通搜索和向量搜索之间那些不得不说的故事
普通搜索 VS 向量搜索https://wolfgarbe.medium.com/vector-search-vs-keyword-search-data-structures-and-algorithms-f29320c4fcb0向量搜索已经在黑暗中成长了有些年头了,但是随着近几年机器学习和深度学习的蓬勃发展,“特别是万物皆可 embedding“的观点越来越流行之后,向量搜索才逐渐从小众的技术走入人们的视野之中。相较于普通搜索(基于词元和倒排索引),向量搜索会成为一个革命者代替它(们)的位置,还是会原创 2022-01-12 16:31:35 · 1395 阅读 · 1 评论 -
Elasticsearch 聚合系列:adjacency matrix aggregation(邻接矩阵聚合)
定义对某个字段的值做矩阵,返回单独满足一个/同时满足两个的结果ABCAAA&BA&CBBB&CCC测试:环境准备初始化一个带 Kibana 的 ES 集群参考 环境搭建攻略本文使用的是 ES 7.16,与上文中的集群版本不一致在首页中添加示例数据 add sample data测试执行分别执行以下命令,可以得到以下结果POST kibana_sample_data_ecommerce/_sear原创 2022-01-10 09:52:41 · 1385 阅读 · 0 评论 -
搜索引擎介绍系列——数据采集
搜索引擎数据采集背景随着互联网上的信息持续爆发式的增长,依靠人类的力量去收集和查找想要的信息已经越来越不可能实现,所以人们开始通过搜索引擎技术来帮助人们更快更准确的筛选和寻找自己所需要的信息。痛点互联网上的信息分布具有以下一些特点,其中任意一个都会对人类用户的信息搜寻带来很大的困扰分布的范围广,动辄几百上千万的网站中都可能存在想要的信息分布的位置零散,没有合适的索引能够帮助用户快速的找到想要的信息内容良莠不齐,大量重复、错误、谬误等信息的存在,让用户很难判断所需内容的准确性爬虫发展简史原创 2021-08-27 17:40:51 · 589 阅读 · 0 评论 -
JuiceFS Mac docker 环境文件读写测试
JuiceFSJuiceFS 是一款高性能 POSIX 文件系统,针对云原生环境特别优化设计,在 GNU Affero General Public License v3.0 开源协议下发布。使用 JuiceFS 存储数据,数据本身会被持久化在对象存储(例如,Amazon S3),而数据所对应的元数据可以根据场景需求被持久化在 Redis、MySQL、SQLite 等多种数据库引擎中。JuiceFS 可以简单便捷的将海量云存储直接接入已投入生产环境的大数据、机器学习、人工智能以及各种应用平台,无需修改代码原创 2021-08-23 09:25:50 · 425 阅读 · 0 评论 -
ES 引入基础鉴权
背景主搜几个集群发生过删库,继而引发大规模的数据修复重建,浪费了开发、运维同学的大量时间精力。为了能从访问上对人员的操作进行限制和记录,需要引入对ES集群进行权限校验的机制。思路开启ES本身的权限校验及相关配置接入Ldap的权限校验体系migrate所有应用中的ES链接创建方式通过公用的cerebro和kibana对ES集群进行访问实施路径ES集群在配置文件中开启包括集群SSL、安全性认证等在内的配置需要通过统一的认证中心生成证书根据需要设置不同权限的用户组为每个既存应用原创 2021-01-28 10:38:40 · 1250 阅读 · 2 评论 -
聊聊PID 那些事儿
PId?计算机里,每个进程在创建的时候会有一个唯一标识(process identifier)所以我们一般都管他们叫Process ID或者直接缩写PID。这个ID一般是由操作系统内核创建的(比如Unix、MacOS、Windows .etc),用来唯一标记一个活跃的进程。在函数调用时,这个PID可以作为一个参数来使用,比如调整进程的优先级,或者终止进程等。Unix系系统在Unix系的操作...翻译 2018-11-19 20:54:37 · 209 阅读 · 0 评论