
搜索引擎
文章平均质量分 95
东方狱兔
最怕碌碌无为,还安慰自己平凡可贵,像优秀的人看齐
展开
-
大数据量query,QP意图理解搜索引擎算法测试
搜索引擎质量指标(nDCG) 参考博客https://blog.csdn.net/LintaoD/article/details/82661206特征feature:相关性 时效性 质量 点击率 权威度 冷启动搜索/推荐业务哪一些场景要放到缓存搜索:特征大页cache和小页cache 实现区别小页缓存是为了提高进入搜索结果页的加载速度,是渐进加载或者叫预加载,将原来的1页内容分两页返回,第一页请求回30个,分为两页返回,第一页返回10个,第二页返回20个。大页缓存是对一次完整的请求结原创 2021-08-04 17:20:48 · 827 阅读 · 0 评论 -
大数据量query,QP意图理解搜索引擎算法测试
需求:给一批query,保证每个query下都返回卡片A的a字段(数据脱敏)设计:query准备,PM提供的Excel格式,转换为txt格式,但是没有,shell命令处理:把文件1.txt的内容在每行结尾添加,写到2.txt➜ ~ sed 's/$/&,/g' 1.txt > 2.txt...原创 2020-07-13 22:40:08 · 1005 阅读 · 0 评论 -
【java爬虫】jsoup爬取网页数据-搜索算法评测/竞品评测
参考资料:https://www.jianshu.com/p/fd5caaaa950d//// Source code recreated from a .class file by IntelliJ IDEA// (powered by Fernflower decompiler)//package org.jsoup.nodes;import java.io.IOEx...原创 2020-04-25 22:01:25 · 1243 阅读 · 0 评论 -
埋点治理&埋点回归&实时埋点自动化&离线数据监控
1. 埋点相关文档:埋点涉及到的各种平台UT平台:抓取实时埋点日志正则平台:埋点case正则表达式FBI监控平台:关注埋点监控日报BI埋点数据监控平台:大盘数据OneData报警平台:但暂不支持正则报警,待RD完善2. 搜索埋点测试方法背景由于搜索埋点数据过于老化,导致统计方面的一些工作的不方便。经过产品评估后决定需要重构部分埋点字段的参数,所以搜索的iO...原创 2020-01-07 20:24:48 · 7266 阅读 · 2 评论 -
埋点治理-埋点SQL监控
================================================================================背景:SQL监控接入dpc,日期为云自带的函数,但在本地odps调试时候不可以走云函数,需要自己获取当前时间-1,格式为yyyymmdd 如20191213mysql中的DATE_FORMAT(NOW(),'%Y-%m-%d')函数...原创 2019-12-25 21:28:26 · 2497 阅读 · 0 评论 -
基于SpringBoot的接口开发以及报警信息入库
背景:监控线上客户端传参日志,详见https://blog.csdn.net/weixin_42498050/article/details/94219831计划:提供接口,报警信息入库报警信息入库-未完待续odps数据迁移至idbodps的DDL语句:CREATE TABLE `table_A` ( `content` STRING, `rowkey` STRING ) C...原创 2019-11-19 20:12:50 · 1178 阅读 · 0 评论