笔记
文章平均质量分 57
童小绿
这个作者很懒,什么都没留下…
展开
-
es-从搜索中检索选定的字段
(1)fields 使用fields 选项提取索引映射中存在的字段的值(2)_source 使用_source选项访问在索引时传递的原始数据(3)docvalue_fields 使用docvalue_fields参数获取选定字段的值。doc value类型主要是keyword和date。(4)stored_fields 使用stored_fields参数获取特定存储字段(使用store映射选项的字段)的值。行式存储。(5)script_fields 使用script_fields参数来提取字段...原创 2022-07-18 03:02:43 · 12873 阅读 · 0 评论 -
Pipeline aggregations管道聚合- parent-2
管道聚合工作于其他聚合产生的输出结果而不是文档集,用于向输出树添加信息。有不同类型的管道聚合,每一种从其他聚合中计算不同的信息,但这些类型可以分为以下两个类型:基于父聚集的管道聚集包括moving_avg、moving_fn、bucket_script、bucket_selector、bucket_sort、derivative、cumulative_sum、serial_diff等。基于兄弟聚集的管道聚集包括avg_bucket、max_bucket、min_bucket、sum_bucket、stat原创 2022-06-28 05:03:31 · 354 阅读 · 0 评论 -
Pipeline aggregations管道聚合-Sibling-1
管道聚合工作于其他聚合产生的输出结果而不是文档集,用于向输出树添加信息按管道聚集运算来源分类,管道聚集可以分为基于父聚集结果和基于兄弟聚集结果两类。##前者使用父聚集的结果并将运算结果添加到父聚集结果中,后者则使用兄弟聚集的结果并且结果会展示在自己的聚集结果中。基于父聚集的管道聚集包括moving_avg、moving_fn、bucket_script、bucket_selector、bucket_sort、derivative、cumulative_sum、serial_diff八种。基于兄弟聚集的管原创 2022-06-26 23:45:26 · 454 阅读 · 0 评论 -
es-object vs nested vs has_child and has_parent
1.object query 2.nested query 3.has_child and has_parent原创 2022-06-19 23:21:04 · 262 阅读 · 0 评论 -
es-mapping-parameters-6
是否单独存储该字段store配置值其实不管你将store设置为true or false, elasticsearch都将为我们存储这些field, 不同的是:1.当store为false时(默认配置),这些field只存储在"_source" field中。2.当store为true时,这些field的value会存储在一个跟 _source 平级的独立的field中。同时也会存储在_source中,所以有两份拷贝。store应用场景1._source field在索引的mapping 中disa原创 2022-06-01 09:31:34 · 153 阅读 · 0 评论 -
es-mapping-parameters-5
null_value参数默认值为null,可以指定值来替换显式的空值,以便对其进行索引和搜索。22.position_increment_gap文本字段在分析时会考虑词条的位置,以便能够支持邻近或短语查询。当索引具有多个值的文本字段时,在值之间添加一个“假”间隙,以防止大多数短语查询在值之间匹配。这个间隙的大小使用position_increment_gap配置,默认值为100。23.properties类型映射、object字段和nested字段包含的子字段称为属性(properties)。这些属原创 2022-06-01 09:24:16 · 137 阅读 · 0 评论 -
es-mapping-parameters-4
配置:17.index 设置字段是否indexe对应值为false的字段不能被搜索,默认为true18.metameta参数设置附加到字段的元数据。这个元数据对Elasticsearch来说是不透明的,它既不会存储于_source字段,也不会用于搜索、排序等操作,它只对在相同索引上工作的多个应用程序有用,以共享关于字段的元信息。19.normalizer 归一化在 es 中,对于一些我们不想切分的字符串,我们通常会将其设置为 keyword,搜索时候也是使用整个词进行搜索。如果在索引前没有做原创 2022-06-01 08:51:39 · 172 阅读 · 0 评论 -
es-mapping-parameters-3
date是es中的基础数据类型,在es内部其实存储的时间戳,put写入的时候标准UTC时间或者时间戳。具体而言,mapping设置字段的type是date,则写入数据的格式是按照默认的方式识别-strict_date_optional_time||epoch_millis,这表明只接受符合strict_date_optional_time格式的字符串值,或者long型数字,否则会写入失败。经过测试strict_date_optional_time是如下其中一种格式都可以,并不支持我们常用的格式yyyy-原创 2022-06-01 08:06:22 · 1368 阅读 · 0 评论 -
es-mapping-parameters-2
6.dynamic 动态映射新字段的类型检测新字段并将其添加到映射中的详细信息。Elasticsearch默认是可以直接新增数据时,自动生成mapping映射,是因为默认设置dynamic属性为true。动态设置控制是否可以动态添加新字段。它接受三种设置:1.true 新检测到的字段被添加到映射中。(默认)2.false 新检测到的字段将被忽略。这些字段将不会被索引,因此无法搜索,但仍会出现在返回的点击的_source字段中。这些字段不会添加到映射中,必须显式添加新字段。3.strict如果原创 2022-05-30 03:34:35 · 321 阅读 · 0 评论 -
es-mapping-parameters-1
mapping parameters 参数1.analyzer 文本分析器analyzer来实现文本分析,从而实现将非结构化文本(例如文章正文、邮件内容等)转换为结构化数据,便于检索。默认 “standard” 分词器分析输入文本。Analyzer包含3个部分:(1).Character filters,字符过滤器,接收原始文本,添加、删除或者改变原始文本的字符。例如HTML标签过滤等。1个Analyzer中可以有0个或者多个字符过滤器。(2).Tokenizer, 分词器,接收经过字符过滤器后的原创 2022-05-29 21:54:29 · 283 阅读 · 0 评论 -
es-Ingest pipelines
Ingest pipelinesnode为ingest角色,对indexing request做预处理,主要用于数据转换为合规、期望值的场景官方地址:https://www.elastic.co/guide/en/elasticsearch/reference/7.13/ingest.html#ingest使用pipeline必要条件node角色必须为:ingestpipeline的组成{ "description" : "...", "processors" : [ ... ]}原创 2022-05-22 23:46:08 · 820 阅读 · 0 评论 -
ES-node节点
官方文档:https://www.elastic.co/guide/en/elasticsearch/reference/7.13/modules-node.html概念 含义: 一个es实例就是一个node 多个node组成Cluster 协议: node与node之间:transport层协议 node与客户端之间:http协议 查看node命令: GET _cat/nodes?vnode roles1.master(1)主节点 active node 功能:原创 2022-05-08 23:51:56 · 1340 阅读 · 0 评论 -
es笔记-mac版本安装elasticsearch kbn ik elasticsearch-head
一.前置条件 java省略java安装 ,用命令检查一下java -version二. elasticsearch方法一:多版本(elasticsearch-7.13.4)下载官方安装包https://www.elastic.co/cn/downloads/past-releases#elasticsearch解压下载的安装包tar -zxvf elasticsearch-7.13.4-darwin-x86_64.tar.gz启动./bin/elasticsearch浏原创 2022-04-28 19:44:53 · 1938 阅读 · 0 评论 -
设计模式-创建者模式
创建型模式这些设计模式提供了一种在创建对象的同时隐藏创建逻辑的方式,而不是使用 new 运算符直接实例化对象。这使得程序在判断针对某个给定实例需要创建哪些对象时更加灵活。类型工厂模式(Factory Pattern)抽象工厂模式(Abstract Factory Pattern)单例模式(Singleton Pattern)建造者模式(Builder Pattern)原型模式(Prototype Pattern)实例化实例化是用类创建对象的过程,有以下4种方式实现: 1.new原创 2022-04-24 23:56:10 · 254 阅读 · 0 评论 -
idea安装Yapi
yapi地址:https://github.com/ymfe/yapi1.jetbrains官方的插件仓库进行安装。地址:https://plugins.jetbrains.com/plugin/12276-yapiupload在线安装:左上角的“Install to Intellij IDEA” 支持在线安装离线安装:获取“Version Histroy”将目标版本插件进行下载,再进行安装。2.在项目的文件路径中找到 .idea隐藏文件夹,打开misc.xml文件增加如下内容。其中token原创 2022-04-03 22:46:48 · 2070 阅读 · 0 评论 -
ng-高性能
ng具备的优势,其他的服务也在采用,而且ng在功能全面上并不占优势,那么为什么ng会被很多企业采用。首先,ng的高性能是企业最常使用的,而且也是最需要的。其次,ng具备优轻量级势。那么,我们先说说高性能的优势。一,采用IO多路复用epoll模型1.什么IO复用比如http请求到应用程序的时候,网卡接收后会转化成Socket流,一个Socket流就是对应IO流,计算机开始的时候并不是很智能,基本是一个http请求,转化成一个Socket流,一个Socket流对应一个IO流,一个CPU单核也这么完原创 2022-03-13 23:57:59 · 1812 阅读 · 0 评论 -
nginx-1-安装(mac、Linux)
下载Nginx。(以最新版本为例)下载地址:https://nginx.org/en/download.htmlMainline version:现在最新的版本Stable version:最新的稳定版本Legacy versions:以前的版本mac:homebrew使用安装brew install nginxwhich nginx服务的管理服务启动brew services start nginx服务重启brew services restart nginx服务停止br原创 2022-03-06 23:54:17 · 2950 阅读 · 0 评论 -
第五章-基金职业道德
第五章 基金职业道德一 道德与职业道德1、道德定义 是一种社会意识形态,是由一定的社会经济基础决定并形成的,以是与非、善与恶、美与丑、正义与邪恶、公正与偏私、诚实与虚伪等范畴为评价标准,依靠社会舆论、传统习俗和内心信念等约束力量,实现调整人与人之间、人与社会之间关系的行为规范的总和特征 差异性 继承性 约束性 具体性道德与法律的联系与区别 联系原创 2022-02-27 23:57:30 · 852 阅读 · 0 评论 -
Skywalking-2-服务以APM接入方式接入Skywalking
Apache Skywalking 下载启动后,服务接入探针,配置需要监控的应用的agent探针。1.下载agent解压下载的skywalking-agent.zip文件,探针包含整个目录,请不要改变目录结构,可修改agent.config配置agent.application_code=xxl-job为自己的应用名。如果是第一次安装的话,最好验证服务连接, 如果连接不上需要找,启动Skywalking 的服务。cat agent.config 查看collector.backend_servic原创 2022-02-20 23:54:28 · 1155 阅读 · 0 评论 -
1.1计算机网络基本概念
第一章 计算机网络概述第一节:计算机网络基本概念一、计算机网络的定义互连的 自治的 计算机的集合最大的、应用最广泛的计算机网络就是Internet (因特网)。全球的移动设备通过有线方式、无线方式连接ISP网络,进而进入Internet。二、网络协议:计算机网络中的实体在进行数据交换的过程中遵循的一些规则或约定即为网络协议。,协议是计算机网络有序运行的重要保证。协议三要素:(1)语法:定义了实体之间交换信息的格式与结构,或者定义实体(比如硬件设备)之间传输信号的电平等。(2)语义:信息交换原创 2022-02-13 23:48:05 · 1189 阅读 · 0 评论 -
elastic译文解读1
https://www.elastic.co/guide/en/welcome-to-elastic/current/welcome-to-elastic.html原创 2022-01-30 23:59:17 · 294 阅读 · 0 评论 -
redis的基本结构总览
原创 2022-01-30 23:29:33 · 1403 阅读 · 0 评论 -
redis-对象结构体robj
Redis是一个key-value型数据库,key只能是字符串,value可以是字符串、列表、集合、有序集合和散列表,这5种数据类型用结构体robj表示,我们称之为Redis对象。结构体robj的type字段表示对象类型,5种对象类型在server.h文件中定义:#define OBJ_STRING 0#define OBJ_LIST 1#define OBJ_SET 2#define OBJ_ZSET 3#define OBJ_HASH 4针对某一种类型的对象,Redis在不同情况下可能采原创 2022-01-23 23:58:40 · 733 阅读 · 0 评论 -
netty-内存规格-1
线程首次分配/回收内存时,首先会为其分配一个固定的Arena。线程选择Arena时使用round-robin的方式,也就是顺序轮流选取。各个线程保存各种Arena和缓冲池信息,这样可以减少竞争并提高访问效率。Arena将内存分为很多Chunk进行管理,Chunk内存保存Page,以页为单位申请。申请内存分配时,会将分配到的规格分为几类:TINY,SMAILL,NORMAL和HUGE,分别对应不同的范围,处理过程也不相同。目的:Netty更好的管理内存,减少碎片化。内存规格:不能让用户随意的进行各原创 2021-12-26 23:53:36 · 301 阅读 · 0 评论 -
压测工具-wrk
这周压测了http接口复现Channel问题的shutdown的问题,可惜没有复现出来,不过有得有失,但是发现了另外一个压测工具wrk,之前都是用ab命令,现在记录一下使用情况。mac首次安装brew install wrkLinux时候需在wrk目录下执行查找一下wrk目录: which wrk基本用法mac直接执行:wrk -t5 -c1000 -d10m ‘http://localhost:8070/internal/queryClient1?num=1113’wrk -t30原创 2021-12-19 23:39:19 · 617 阅读 · 0 评论 -
oom killer
首先了解一下什么是oom killer?简单理解是, Linux内核里出于保护其他资源,不致于让系统立刻崩溃,采取了一种保护进程手段,当linux系统所剩的内存空间不足以满足系统正常运行时,把使用内存异常服务进行kill。具体而言,oom killer的操作,主要有以下步骤:当系统内存不足的时候,out_of_memory()被触发,然后调用select_bad_process()选择一个”bad”进程杀掉。如何判断和选择一个”bad进程呢?linux选择”bad”进程是通过调用oom_badness(原创 2021-12-12 23:56:17 · 683 阅读 · 0 评论 -
搜索引擎索引的策略
1.建立索引(1)两遍文档遍历法来建立索引。第一遍扫描文档集合,收集并统计信息,比如 文档集合中有多少个文档(N),包含多少个不同单词(M),单词在多少个文档中出现过的信息(DF),估计出最终最终索引的存储的内存第二遍开始真正建立每个单词的倒排列表信息。ID TF 信息,建立索引后存储到磁盘缺点:吃内存。文档大的时候容易出现内存不足问题(2)排序法在内存分配固定大小。存放词典信息和索引的中间结果。当内存快要消耗完,把中间结果存盘,清空进入下一轮的计算。依次往复,最后对中间结果做内存排序。缺点:原创 2021-11-21 23:59:28 · 366 阅读 · 0 评论 -
Alibaba sentinel-1
最近项目上要加上熔断,稍微看了点熔断知识。做一下总结:DegradeRule/SystemRule/ParamFlowRule参数:SystemRule 系统规则https://github.com/alibaba/Sentinel/wiki/如何使用{“resource”: “restrictAccessFreqRpc”,“count”: 0.5,“grade”: 1,“limitApp”: “default”,“timeWindow”: 2}指标含义备注grad原创 2021-10-31 23:46:38 · 162 阅读 · 0 评论 -
从业4-证券投资基金的监管
基金监管概念定义 有法定监管权的政府机构、基金行业自律组织、基金机构内部监督部门以及社会力量,对基金市场、基金市场主体及其活动的监督或管理特征 内容全面性 对象广泛性 时间连续性 主体、权限的法定性 活动强制性目标 1.保护投资人及相关当事人的合法权益 首要目标 2.规范证券投资基金活动 3.促进证券投资基金和资本市场的健康发展基本原则 1.保障投资人利益原则 2.适度监管原则 3.高效监管原则 4.依法监管原则 5.审慎监管原则 .原创 2021-10-24 23:59:08 · 158 阅读 · 0 评论 -
基金从业-3
证券投资基金的类型分类的意义基金的分类则是进行基金评级的基础分类1.法律形式 契约型基金:我国的公募基金 公司型基金:美国绝多大证券投资基金2.运作方式 封闭式 开放式3.投资对象股票(80%以上投资于股票) - 目标追求长期的资本增值 - 股票基金 VS 股票 (1)交易价格变动 (2)股票价格、股票基金份额净值会不会受到购买数量、赎回数量多少而变化 (3)基本面估值 (4)风险 - 细分 - - 投资市.原创 2021-10-17 23:58:33 · 11137 阅读 · 0 评论 -
基金从业-(1、2)
第一章 金融、资产管理与投资基金 金融市场与资产管理行业 金融 货币资金的融通 居民理财 主要类型 货币储蓄 投资 金融市场 货币资金融通市场 分类 1.交易工具的期限 一年分界线 短期 长期 2、交易标的 票据市场 证券市场 衍生工具市场 外汇市场 黄金市场 3、交割期限 现货市场 期货市场 构成要素 参与者原创 2021-10-10 23:59:17 · 8911 阅读 · 0 评论 -
es笔记-ES-node
ES-nodeMaster:主节点,每个集群都有且只有一个尽量避免Master节点做查询, node.data = true保持心跳检查最活跃的,转发。不要让他干重活voting:投票节点Node.voting_only = true(仅投票节点,即使配置了data.master = true,也不会参选, 但是仍然可以作为数据节点)。coordinating:协调节点每一个节点都隐式的是一个协调节点,如果同时设置了data.master = false和data.data=fa原创 2021-10-03 23:37:27 · 343 阅读 · 0 评论 -
es学习笔记-搜索引擎基本概念
一.搜索引擎分类:全文、垂直(1)全文搜索引擎应用于:NLP、爬虫、大数据处理、网页处理、大数据处理代表:Google、百度(2)垂直搜索引擎应用在有明确的搜索目的行为代表:电商平台、OA、视频网站、地图网站搜索引擎的要求(1)查询快高效的压缩算法快速的编码和解码速度(2)搜索准符合用户期待值高评分算法:BM25,TF-IDF(3)检索结果丰富召回率要求高二.Lucene(全文搜索引擎)目的:解决关系型数据库:性能差、不可靠、结果不准确(相关度低)等问题,实现原创 2021-09-26 23:28:57 · 190 阅读 · 0 评论 -
redis学习笔记-磁盘、内存、IO
磁盘、内存、IO数据存在磁盘秒的单位 秒>毫秒>微妙>纳秒磁盘的两个指标:1.寻址:寻址的速度是ms级别的2.带宽:单位时间内有多少字节流。内存的指标1.寻址:速度是ns,磁盘比内存在寻址上满了10w倍2.带宽:很大,走的是cpu的前总线I/O buffer:成本问题磁盘中的磁道和扇区,一扇区512字节byte,如果磁盘容量很大,而扇区很小,势必会增大索引成本。操作系统无论从磁盘读取多少数据都是以4K为单位。随着文件变大,速度会越慢,磁盘IO会成为瓶颈。磁盘和磁道原创 2021-09-12 23:46:54 · 341 阅读 · 0 评论 -
oauth2.0学习笔记-03-模式选型
客户端是资源所有者吗?第一个决定点是需要访问资源的一方是否是一台机器。在机器对机器授权的情况下,客户端也是资源所有者,因此不需要最终用户授权。一个例子是使用API将信息导入数据库的cron作业。在本例中,cron作业是客户端和资源所有者,因为它保存客户端ID和客户端秘密,并使用它们从授权服务器获取访问令牌。这种情况下通常使用Client Credentials Flow。客户端是在服务器上执行的web应用程序吗?如果你的客户端是一个单独运行的服务,那么Authorization Code Flow.原创 2021-09-05 23:34:11 · 103 阅读 · 0 评论 -
Outh2.0学习笔记-OAuth Flow和选型
OAuth Flow和选型四种oath2.0授权类型(flows)客户端必须得到用户的授权(authorization grant),才能获得令牌(access token)。OAuth 2.0定义了四种授权方式。• 授权码模式(authorization code)• 简化模式(implicit)• 密码模式(resource owner password credentials)• 客户端模式(client credentials)一、授权码模式授权码模式(authorization c原创 2021-08-29 23:49:35 · 1955 阅读 · 0 评论 -
Outh2.0的学习笔记01
提出的背景:开发系统时间授权的需求解决思路:方法1:各系统之间密码用户复制方法2:万能钥匙方法3:特殊令牌那么目前的方案:1.传统单块应用安全问题代表:Cookie登录工程:传统web应用中的身份验证技术:https://insights.thoughtworks.cn/traditional-web-app-authentication/2.现代微服安全:OauthOauth1.0实现复杂。OAuth2.0简单。什么是OAuth2.01.用于REST/APIs的代理授权框架(d原创 2021-08-22 23:56:26 · 221 阅读 · 1 评论 -
关于幂等性
1、什么是幂等性2、 为什么需要幂等呢?3、哪些场景需要保证幂等4、幂等有什么缺点呢5、如何保证幂等?6、重复提交表单如何解决?1、什么是幂等性数学概念:软件概念:服务执行一次和任意次的结果是一样的通俗而言:多次请求。结果保持一致2、 为什么需要幂等呢?比如:付款功能。成功一次。 一次成功一次失败。3、哪些场景需要保证幂等适用范围:新增、修改、少部分删除.场景举例:消息消费、接口重试等select * from xXX where version id =1232131u原创 2021-07-18 23:55:53 · 512 阅读 · 1 评论 -
http协议 https协议
Http 协议的组成一个http请求,然后可以看到如下的请求数据和响应数据。分为两部分,一个是客户端的请求信息,一个是服务端的响应信息。抓包得到的信息如下requestPOST https://re.csdn.net/csdnbi HTTP/1.1方法 url/uri 协议的版本号 1.1Host: re.csdn.netConnection: keep-aliveContent-Length: 167Accept: /Origin: https://www.csdn.netUser-A原创 2021-07-11 23:26:07 · 386 阅读 · 0 评论