- 博客(104)
- 收藏
- 关注
原创 _update_by_query简单使用
"source": "ctx._source.remark= '测试'"是要更新的字段和内容。query是限制查询条件。
2024-02-20 15:12:59
390
原创 StarRocks简单使用
从clickhouse迁移到StarRocks,研究讨论后,决定使用flink进行kafka同步到StarRocks。StarRocks可以选择固定分区和动态分区,考虑到数据增长,故选按天进行动态分区。4、写同步数据的flink sql,配置source和sink。4、使用mybatis的多数据源框架,配置多数据源进行查询。因数据都是日志类数据,帮选择了Duplicate。连接StarRocks可视化工具:SQLyog。在查询的方法前配置注解。
2023-03-29 10:11:48
1929
2
原创 golang语言中简单操作es几个例子
使用库(olivere/elastic/v7)操作es。1、初始化es操作客户端。2、使用must查询数据。4、查询后,根据字段排序。
2022-11-10 19:35:32
1697
原创 数据清洗-使用es的ingest
通常es产品里面,数据清洗的logstash,这里使用另外的ingest做简单的数据处理。还可以使用ScriptPrcessor,这种自由度更大,可以处理稍微复杂点数据。这里是根据逗号分隔数据,变成数组。
2022-07-24 10:11:37
703
原创 go 同步 kafka 数据程序
简单用go手了一个kafka同步到另外一个kafka程序package mainimport ( "logcopy/config" "logcopy/utils/kafka" "context" "encoding/json" "errors" "flag" "fmt" "io" "os" "os/signal" "syscall" "time" kafkago "github.com/segmentio/kafka.
2022-05-31 16:06:01
379
原创 spring boot整合clickhouse入门
1、前提条件使用mybatis plus,实现多数据源,毕竟实际项目中,不会只用clickhouse2、添加maven依赖包<dependency> <groupId>com.baomidou</groupId> <artifactId>dynamic-datasource-spring-boot-starter</artifactId> <version>3.5.1</version>&
2022-05-23 20:03:48
1198
原创 es 聚合查询,cardinality 去重
SearchRequest searchRequest = new SearchRequest("order");SearchSourceBuilder searchSourceBuilder = new SearchSourceBuilder();BoolQueryBuilder boolQueryBuilder = new BoolQueryBuilder();boolQueryBuilder.must(QueryBuilders.matchQuery("userCode", userCode).
2022-05-12 19:27:55
1149
原创 go写es简单例子
package mainimport ( "context" "fmt" "github.com/olivere/elastic/v7")type Person struct { Name string `json:"name"` Age int `json:"age"` Married bool `json:"married"`}func main() { client, err := elastic.NewClient(elastic.SetUR.
2022-04-07 10:56:13
326
原创 es更新部分字段-java实现
POST esindex/_doc/id/_update{ "script" : "ctx._source.bussinesData.remark='test'",}es的restful接口 UpdateRequest updateRequest = new UpdateRequest(dto.getEsIndex(), dto.getId()); Map<String, Object> params = new HashMap<String, Object>(.
2022-03-12 18:18:40
5153
原创 es分组后,过滤符合条件数量的记录
GET es-index/_search{ "size": 0, "aggs": { "group_by_data_domain": { "terms": { "field": "data.domain.keyword" }, "aggs": { "count_domain": { "bucket_selector": { "buckets_path": { .
2022-02-21 21:53:26
2750
原创 go利用channel控制并发数
package mainimport ( "fmt" "time")//最大并发数const MAX_PROCESS = 10var ch = make(chan string, MAX_PROCESS)func main() { for i := 0; i < MAX_PROCESS; i++ { //启动go runtine go recive() } time.Sleep(1 * time.Hour) close(ch)}func recive().
2022-02-19 21:36:56
388
原创 es聚合统计查询
#基数统计GET kibana_sample_data_ecommerce/_search{ "size": 0, "aggs": { "customer_id_card": { "cardinality": { "field": "customer_id", "precision_threshold": 80 } } }}#字段数量统计GET kibana_sample_data_ecommerce/_sea...
2022-01-15 12:21:02
1450
原创 es的searchtemplate简单使用
POST _scripts/kibana-flight{ "script": { "lang": "mustache", "source": { "_source": [ "Dest","DestRegion" ], "size": 20, "query": { "multi_match": { "query": "{{q}}", "fields": ["Dest",...
2022-01-08 18:50:03
682
原创 es 单字符串多字段查询 multi_match
1.best_fieldsGET /kibana_sample_data_flights-1227/_search{ "query": { "multi_match": { "query": "Sydney Kingsford", "type": "best_fields", "fields": [ "Dest", "DestCityName" ] } }}2.most_fields.
2022-01-06 21:44:58
902
原创 clickhouse日志表清除数据
clickhouse系统里面自带了query_log和query_thread_log表,这两个表不清除的话,时间久了,会挺大的,可以通过设置ttl时间来处理保存一个月的数据ALTER TABLE query_log MODIFY TTL event_date + toIntervalMonth(1);ALTER TABLE query_thread_log MODIFY TTL event_date + toIntervalMonth(1);保存15天的数据ALTER TAB...
2022-01-06 21:44:22
3299
原创 es 单字符串多字段查询(Dis_Max_Query)
只提供一个输入框,查询相关的多个字段,使用DisjunctionMaxQuery --- 最佳字段查询,tie_breaker参数调整POST kibana_sample_data_flights-1227/_search{ "query": { "dis_max": { "tie_breaker": 0.7, "boost": 1.2, "queries": [ { "match": { "
2021-12-29 23:39:28
1116
原创 istio安装
下载istio的tar包wget https://github.com/istio/istio/releases/download/1.8.1/istio-1.8.1-linux-amd64.tar.gztar zxvf istio-1.8.1-linux-amd64.tar.gz -C /usr/local/sudo apt install snapdsudo systemctl restart snapd解压tar包tar -sxvf istio-1.12.1-linux-am
2021-12-26 20:38:00
269
原创 es的query查询(term,prefix,exists,match,matchprase,range)
//查询前缀包含的内容POST /products/_search{ "query": { "prefix": { "desc.keyword": { "value": "iP" } } }}POST /products/_search{ "query": { "term": { "productID.keyword": "XHDK-A-1293-#fJ3" } }}//不查询为空的数据.
2021-12-25 21:36:31
3595
1
原创 es Dynamic mapping的机制和内置analyzers
Dynamic mapping的机制,使得无需手动定义mappings,es会自动根据文档信息,推算出字段类型,但这也存在不好的地方,无法控制结构。如果将Dynamic设置为true,mapping会被更新,如果设置为false,mapping 不会被更新,但信息会存储在_source中,如果设置为Strict,文档写入失败(strict_dynamic_mapping_exception)自带的char_filter:html_strip、mapping、pattern replacemen.
2021-12-15 23:32:15
1023
原创 go重写数据清洗踩坑记
字典也就是map,是遍历时,顺序是随机的,如果对内容顺序有要求的话,需要引用第三方包 在用本地缓存时,一定要用读写锁RWmutex,来提高性能,并保证goruntime下,内容的正确性 在用struct转json格式时,属性变量一定要大写,这样反射才能取到值 string类型或数字类型,都有默认值,但不是nil 用gorm查询数据库,比使用原生的,避不少坑,比如取第一条数据,排序等 map的interface,在强转在特定类型时,要注意类型不兼容...
2021-12-14 23:07:10
479
原创 Log4j 安全漏洞已得到解决
最佳方式是替换jar包,现在2.15.0已经发布,在maven公共仓库已经可以下载第二种是修改启动参数, -Dlog4j2.formatMsgNoLookups=true个人推荐第一种方式,不要下载2.15.0-rc2这种了
2021-12-11 11:44:54
788
原创 用户画像体系建设
一、数据治理管控域:组织、制度、流程、绩效 过程域:分析、设计、实施、评估 价值域:数据价值、数据共享、数据变现 治理域:标准体系、质量、安全 技术域:元数据管理、数据指标管理、主数据管理、数据模型管理、数据质量管理、数据安全管理二、数据中台数据汇聚:异构数据源、离线同步、实时接入,可视化配置 数据开发:离线开发、实时开发、算法开发,智能调度、智能运维、监控告警 数据体系:贴源数据(ODS)、统一数仓、标签数据、应用数据 数据资产管理:元数据、数据质量、数据血缘、数据安全 数据服务
2021-12-09 23:37:54
1280
原创 es的query-string和simple-query-string
GET kibana_sample_data_flights/_search{ "query": { "query_string": { "default_field": "OriginCityName", "query": "Frankfurt and Airport" } }}GET kibana_sample_data_flights/_search{ "query": { "query_string": { "fiel...
2021-12-09 23:36:52
1776
原创 es的URI Search详解
#泛查询GET kibana_sample_data_flights/_search?q=2021{ "profile": true}#指定字段查询GET kibana_sample_data_flights/_search?q=timestamp:2021{ "profile": true}#布尔操作符GET /kibana_sample_data_flights/_search?q=Dest:(Sydney AND Mind){ "profile": "true"}...
2021-12-07 23:37:07
527
原创 kubernetes的app,service,ingress
app.yamlapiVersion: v1kind: Podmetadata: labels: app.kubernetes.io/name: talensz-httpserver-app app.kubernetes.io/instance: talensz-httpserver-app app.kubernetes.io/version: 1.0.0 app.kubernetes.io/component: controller name: tale.
2021-11-29 22:01:36
781
原创 腾讯云安装kubernetes(ubuntu20.4)
1、安装dockersudoapt install docker.io2、修改 cgroupdriver to systemdsudo vi /etc/docker/daemon.json添加以下内容:{ "exec-opts": ["native.cgroupdriver=systemd"]}sudo systemctl daemon-reloadsudo systemctl restart docker3、更新apt-getsudo apt-get upd.
2021-11-28 13:02:42
936
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人