1.must查询此bug关联的固件
{
"query":{
"nested":{
"path":"s25_kernel_check",
"query":{
"bool":{
"must":[
{
"match":{
"s25_kernel_check.cve_id":"value"
}
},
{
"match":{
"s25_kernel_check.exploit-db":"value"
}
}
]
}
}
}
}
}
同时满足must下的条件才可以被返回
java代码
BoolQueryBuilder must = QueryBuilders.boolQuery();
if (cvesById.getCveId()!=null){
must.must(QueryBuilders.matchQuery("s25_kernel_check.cve_id", cvesById.getCveId()));
}
if (cvesById.getExploitDb()!=null){
must.must(QueryBuilders.matchQuery("s25_kernel_check.exploit-db", cvesById.getExploitDb()));
}
HashMap<String, Object> map2 = new HashMap<>();
NestedQueryBuilder s25_kernel_check = QueryBuilders.nestedQuery("s25_kernel_check", must,ScoreMode.Max);
SearchQuery queryBuilder = new NativeSearchQueryBuilder()
.withQuery(s25_kernel_check)
.withFields("firmware_id")
.build();
AggregatedPage<Cvesdd> page = template.queryForPage(queryBuilder, Cvesdd.class, new SearchResultMapper() {
@Override
public <T> AggregatedPage<T> mapResults(SearchResponse searchResponse, Class<T> aClass, Pageable pageable) {
map2.put("total", searchResponse.getHits().totalHits);
List<T> list = new ArrayList<>();
return new AggregatedPageImpl<T>(list);
}
});
Integer total= new Integer(String.valueOf((Long) map2.get("total")));
if (total == 0){
total = 10;
}
NestedQueryBuilder new_s25_kernel_check = QueryBuilders.nestedQuery("s25_kernel_check", must,ScoreMode.Max);
SearchQuery new_queryBuilder = new NativeSearchQueryBuilder()
.withQuery(new_s25_kernel_check)
.withFields("firmware_id")
.withPageable(PageRequest.of(0,total))
.build();
List<Cvesdd> list = template.queryForList(new_queryBuilder, Cvesdd.class);
2.mustNot查询此bug未关联的固件
{
"size": 200,
"query": {
"bool": {
"must_not": [
{
"nested": {
"path": "s25_kernel_check",
"query": {
"bool": {
"must": [
{
"match": {
"s25_kernel_check.cve_id": "value"
}
},
{
"match": {
"s25_kernel_check.exploit-db": "value"
}
}
]
}
}
}
}
]
}
}
}
排除同时满足must下条件的数据并返回
java代码
HashMap<String, Object> totalMap = new HashMap<>();
BoolQueryBuilder must = QueryBuilders.boolQuery();
if (cvesById.getCveId()!=null){
must.must(QueryBuilders.matchQuery("s25_kernel_check.cve_id", cvesById.getCveId()));
}
if (cvesById.getExploitDb()!=null){
must.must(QueryBuilders.matchQuery("s25_kernel_check.exploit-db", cvesById.getExploitDb()));
}
NestedQueryBuilder nestedQuery = QueryBuilders.nestedQuery("s25_kernel_check", must,ScoreMode.Max);
BoolQueryBuilder newBool = QueryBuilders.boolQuery();
newBool.mustNot(nestedQuery);
SearchQuery queryBuilder = new NativeSearchQueryBuilder()
.withQuery(newBool)
.withFields("firmware_id")
.build();
AggregatedPage<Cvesdd> page = template.queryForPage(queryBuilder, Cvesdd.class, new SearchResultMapper() {
@Override
public <T> AggregatedPage<T> mapResults(SearchResponse searchResponse, Class<T> aClass, Pageable pageable) {
totalMap.put("total", searchResponse.getHits().totalHits);
List<T> list = new ArrayList<>();
return new AggregatedPageImpl<T>(list);
}
});
Integer total= new Integer(String.valueOf((Long) totalMap.get("total")));
SearchQuery new_queryBuilder = new NativeSearchQueryBuilder()
.withQuery(newBool)
.withFields("firmware_id")
.withPageable(PageRequest.of(0,total))
.build();
List<Cvesdd> list = template.queryForList(new_queryBuilder, Cvesdd.class);
查询语句跟代码的对应关系
3.劫后余生
OK,上面是满足了我想要的效果,但是发现在关联后,在es中再增加一条不同任务但是固件已经被某条bug关联过的数据,就会发现某条bug的未关联固件和已关联固件都会出现这个固件,原因是es中其实是存放的任务跟固件的关联关系,又因为业务关系,会存在多条相同固件但是不同任务的数据,关联之后创建的新任务已有固件数据,其中并未包含某条bug的数据,所以才会导致这样,那么ok,在查询未关联的逻辑之前,先查询一下已经关联的数据,不管它在哪个任务,只要所有的固件数据,有一条满足包含此条bug数据,那么我们就认为此条固件已经关联了这个bug了
4.闲来无事must_not跟must下的多条件关系不一样
还尝试了排除嵌套查询满足或者id存在集合中的数据,gpt说这俩是and的关系,但是怎么测都是or的关系,现在es有三条id等于137的数据,其中有两条是满足嵌套查询的条件,如果是and那么应该是给我返回只是id等于137不满足嵌套查询的数据,但是并没有。。
但是如果将must_not改成must下面的这个两个就成了and的关系,就会返回同时满足这两个条件的数据
就很奇怪!离谱它妈给离谱开门,离谱到家了~
那么我们来看看gpt对疑问的回答
4.1 es查询
{
"size": 200,
"query": {
**自我介绍一下,小编13年上海交大毕业,曾经在小公司待过,也去过华为、OPPO等大厂,18年进入阿里一直到现在。**
**深知大多数大数据工程师,想要提升技能,往往是自己摸索成长或者是报班学习,但对于培训机构动则几千的学费,着实压力不小。自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!**
**因此收集整理了一份《2024年大数据全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友。**
![img](https://img-blog.csdnimg.cn/img_convert/524dde0f489b533a61b764fb81154d3f.png)
![img](https://img-blog.csdnimg.cn/img_convert/30a123f47df2403b1d560b34ba6ce158.png)
![img](https://img-blog.csdnimg.cn/img_convert/1bbce7ef3d65a00bee820ec12d8d0666.png)
![img](https://img-blog.csdnimg.cn/img_convert/c7f5a9abc11d916e4ea6ccb292dc38b1.png)
![img](https://img-blog.csdnimg.cn/img_convert/0c4040be645bd86a23ee7b43144f03a0.png)
**既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,基本涵盖了95%以上大数据开发知识点,真正体系化!**
**由于文件比较大,这里只是将部分目录大纲截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且后续会持续更新**
**如果你觉得这些内容对你有帮助,可以添加VX:vip204888 (备注大数据获取)**
![img](https://img-blog.csdnimg.cn/img_convert/b17a6171f8a4c2dfe3bc312f051168b9.png)
**一个人可以走的很快,但一群人才能走的更远。不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎扫码加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!**
都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且后续会持续更新**
**如果你觉得这些内容对你有帮助,可以添加VX:vip204888 (备注大数据获取)**
[外链图片转存中...(img-oN4eT0yx-1712958967961)]
**一个人可以走的很快,但一群人才能走的更远。不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎扫码加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!**