黑马头条-day10

最新推荐文章于 2024-08-26 14:27:52 发布
最新推荐文章于 2024-08-26 14:27:52 发布
阅读量1.8k 收藏 15
点赞数 22
分类专栏： 黑马头条 文章标签： jenkins 运维
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hmmmgo/article/details/136192026
版权

文章目录

app端文章搜索

1、文章搜索

1.1 ElasticSearch环境搭建

1、启动ElasticSearch

docker start elasticsearch

2、启动Kibana

docker start kibana

3、kibana测试分词效果

1.2 索引库创建

①需求分析

在这里插入图片描述

  • 用户输入关键词 比如java只要文章titile、content包含此关键词就可以搜索出来，搜索黑马程序员能把黑马、程序员相关都搜索出来
  • 搜索的文章结果里词条要高亮显示
  • 用户点击搜索结果任意一条可查看文章详情
②ES导入数据场景分析

在这里插入图片描述

③创建索引和映射

搜索结果页面展示什么内容？

  • 标题
  • 布局
  • 封面图片
  • 发布时间
  • 作者名称
  • 文章id
  • 作者id
  • 静态url

哪些字段需要索引和分词？

  • 标题
  • 内容

使用Kibana添加映射
索引库名称：app_info_article

PUT /app_info_article
{
    "mappings":{
        "properties":{
            "id":{
                "type":"long"
            },
            "publishTime":{
                "type":"date"
            },
            "layout":{
                "type":"integer"
            },
            "images":{
                "type":"keyword",
                "index": false
            },
            "staticUrl":{
                "type":"keyword",
                "index": false
            },
            "authorId": {
                "type": "long"
            },
            "authorName": {
                "type": "keyword"
            },
            "title":{
                "type":"text",
                "analyzer":"ik_max_word"
            },
            "content":{
                "type":"text",
                "analyzer":"ik_max_word"
            }
        }
    }
}

1.3 索引数据同步

①app文章历史数据导入ES

1、创建es索引和映射
前面创建过了
2、文章微服务集成es功能
导入es服务的依赖
3、编写单元测试将历史状态正常的文章数据同步到es中
数据量特别少一次导入
数据量特别多分批导入，一次一两千条

mapper接口和sql语句

/**
* 查询es需要的全部文章数据
 * @return
 */
List<SearchArticleVo> loadSearchArticleList();

<select id="loadSearchArticleList" resultType="com.heima.model.search.vos.SearchArticleVo">
        select aa.*, aacc.content from ap_article aa
    left join ap_article_config aac on aa.id=aac.article_id
    LEFT JOIN ap_article_content aacc on aa.id = aacc.article_id
where aac.is_down=0 and aac.is_delete=0
    </select>

测试类代码

@Autowired
private RestHighLevelClient client;
/**
 * 将历史文章数据导入ES中
 */
@Test
public void testImportES() throws IOException {
	// 1. 查询所有状态正常的文章列表
	List<SearchArticleVo> searchArticleVoList = apArticleMapper.loadSearchArticleList();
	// 2. 构建BulkRequest批量请求对象
	BulkRequest bulkRequest = new BulkRequest();
	// 3. 遍历文章列表逐一添加IndexRequest
	for (SearchArticleVo searchArticleVo : searchArticleVoList) {
		IndexRequest indexRequest = new IndexRequest("app_info_article");
		indexRequest.source(JSON.toJSONString(searchArticleVo), XContentType.JSON).id(String.valueOf(searchArticleVo.getId()));
		bulkRequest.add(indexRequest);
	}
	// 4. 执行restHighLevelClient的bulk批量插入文档请求
	BulkResponse bulk = client.bulk(bulkRequest, RequestOptions.DEFAULT);
	// 5. 获取响应结果数据并输出
	int status = bulk.status().getStatus();
	System.out.println("导入完成，响应状态码"+status);
	System.out.println("==============================================================================================");
	BulkItemResponse[] items = bulk.getItems();
	for (BulkItemResponse item : items) {
		String result = item.getResponse().getResult().getLowercase();
		System.out.println(result);
	}
}
②文章实时数据导入ES

跨服务调用的异步，要使用mq
在这里插入图片描述
生产者

kafka:
    bootstrap-servers: 192.168.200.130:9092
    producer:
      retries: 10
      key-serializer: org.apache.kafka.common.serialization.StringSerializer
      value-serializer: org.apache.kafka.common.serialization.StringSerializer

// 5. 封装es所需的数据转为JSON，生产到Kafka中
SearchArticleVo searchArticleVo = new SearchArticleVo();
BeanUtils.copyProperties(apArticle,searchArticleVo);
searchArticleVo.setStaticUrl(url);
searchArticleVo.setContent(contentStr);
String articleJson = JSON.toJSONString(searchArticleVo);
kafkaTemplate.send(ArticleConstants.ARTICLE_ES_SYNC_TOPIC,articleJson);

消费者

spring:
  kafka:
    bootstrap-servers: 192.168.200.130:9092
    consumer:
      group-id: ${spring.application.name}
      key-deserializer: org.apache.kafka.common.serialization.StringDeserializer
      value-deserializer: org.apache.kafka.common.serialization.StringDeserializer

@Component
@Slf4j
public class ApArticleImportESListener {
	@Autowired
	private RestHighLevelClient client;

	@KafkaListener(topics = ArticleConstants.ARTICLE_ES_SYNC_TOPIC)
	public void msg (ConsumerRecord<String,String> consumerRecord) {

		if (consumerRecord != null) {

			String articleJSON = consumerRecord.value();
			SearchArticleVo searchArticleVo = JSON.parseObject(articleJSON, SearchArticleVo.class);

			IndexRequest indexRequest = new IndexRequest("app_info_article");
			indexRequest.source(articleJSON, XContentType.JSON).id(searchArticleVo.getId().toString());

			try {
				IndexResponse indexResponse = client.index(indexRequest, RequestOptions.DEFAULT);
				String result = indexResponse.getResult().getLowercase();
				String desc = result.equals("created") ? "导入成功" : "导入失败";
				log.info("[异步导入APP文章到ES]，导入结果：{}", desc);
			} catch (IOException e) {
				throw new RuntimeException(e);
			}
		}
	}
}

1.4 文章搜索多条件复合查询

①关键词搜索

在这里插入图片描述

②搜索接口定义

在这里插入图片描述

2、搜索历史记录

2.1 需求说明

在这里插入图片描述

  • 异步保存搜索记录
  • 默认查询10条搜索记录，按照搜索关键词的时间倒序
  • 可以删除搜索记录

2.2 数据存储说明

用户的搜索记录，需要给每一个用户都保存一份，数据量大，要求加载速度快，通常这样的数据存储到mongodb更合适，不建议直接存储到关系型数据库中

2.1 异步保存搜索历史

①实现思路

保存的数据量太大，不想同步影响效率，采用异步保存
在这里插入图片描述

@Service
@Slf4j
public class ApUserSearchServiceImpl implements ApUserSearchService {

	@Autowired
	private MongoTemplate mongoTemplate;

	@Async("taskExecutor")
	@Override
	public void insert(String keyword, Integer userId) {
		// 1. 查询搜索记录
		Query query = Query.query(Criteria.where("keyword").is(keyword).and("userId").is(userId));
		ApUserSearch apUserSearch = mongoTemplate.findOne(query, ApUserSearch.class);
		// 2. 如果搜索记录不存在，则保存搜索记录
		if (apUserSearch == null) {
			apUserSearch = new ApUserSearch();
			SnowflakeIdWorker isWorker = new SnowflakeIdWorker(10, 10);
			apUserSearch.setId(isWorker.nextId());// 使用雪花算法的值当做主键ID
			apUserSearch.setUserId(userId);
			apUserSearch.setKeyword(keyword);
			apUserSearch.setIsDeleted(0); // 未删除
			apUserSearch.setCreatedTime(new Date());
			apUserSearch.setUpdatedTime(new Date());
			mongoTemplate.save(apUserSearch);
			return;
		}
		// 3. 如果搜索记录存在且未删除,则更新updatedTime
		if (apUserSearch.getIsDeleted() == 0) {
			apUserSearch.setUpdatedTime(new Date());
			mongoTemplate.save(apUserSearch);
			return;
		}
		// 4. 如果搜索记录存在且已删除，则更新为未删除及更新updateTime
		apUserSearch.setIsDeleted(0);
		apUserSearch.setUpdatedTime(new Date());
		mongoTemplate.save(apUserSearch);

	}
}

2.2 查看搜索历史列表

①接口定义

按照当前用户，按照时间倒序查询
在这里插入图片描述

@Override
	public ResponseResult findUserSearch() {

		// 根据条件查询搜索记录列表（条件：userId和isDeleted 结果：updateTime倒序）
		Query query = Query.query(Criteria.where("userId").is(ThreadLocalUtil.getUserId()).and("isDeleted").is(0)).with(Sort.by(Sort.Direction.DESC,"updateTime"));
		query.limit(10);
		List<ApUserSearch> apUserSearchList = mongoTemplate.find(query, ApUserSearch.class);


		return ResponseResult.okResult(apUserSearchList);
	}

2.3 删除搜索历史

根据搜索历史id删除
在这里插入图片描述

@Override
	public ResponseResult delUserSearch(HistorySearchDto dto) {

		ApUserSearch apUserSearch = mongoTemplate.findById(dto.getId(), ApUserSearch.class);
		if (apUserSearch == null) {
			return ResponseResult.errorResult(AppHttpCodeEnum.DATA_NOT_EXIST,"搜索记录不存在");
		}
		// 更新记录为已删除
		apUserSearch.setIsDeleted(1);
		apUserSearch.setUpdatedTime(new Date());
		mongoTemplate.save(apUserSearch);
		return ResponseResult.okResult(AppHttpCodeEnum.SUCCESS);
	}

3、联想词查询

需求分析

根据用户输入的关键字展示联想词
在这里插入图片描述

3.1 联想词的来源

通常是网上搜索频率比较高的一些词，通常在企业中有两部分来源：
第一：自己维护搜索词
通过分析用户搜索频率较高的词，按照排名作为搜索词

第二：第三方获取
关键词规划师（百度）、5118、爱站网

3.2 联想词功能实现

接口定义

在这里插入图片描述

正则表达式说明

在这里插入图片描述

@Service
@Slf4j
public class ApAssociateWordsServiceImpl implements ApAssociateWordsService {

	@Autowired
	private MongoTemplate mongoTemplate;

	@Override
	public ResponseResult search(UserSearchDto dto) {

		// 替换一切特殊字符
		dto.setSearchWords(dto.getSearchWords().replaceAll("[^\u4e00-\u9fa5a-zA-z0-9]", ""));

		List<ApAssociateWords> apAssociateWordsList = mongoTemplate.find(Query.query(Criteria.where("associateWords").regex(".*?\\" + dto.getSearchWords() + ".*")).limit(dto.getPageSize()), ApAssociateWords.class);

		return ResponseResult.okResult(apAssociateWordsList);
	}
}
hmmmgo
关注
  • 22
    点赞
  • 踩
  • 15
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
toutiao-m:黑马头条-移动端
04-10
【标题】"toutiao-m:黑马头条-移动端"是一个针对移动设备优化的新闻阅读应用项目。这个项目基于前端开发框架，旨在提供一个高效、流畅且用户体验良好的新闻浏览平台。通过这个项目，我们可以深入理解移动端应用的...
《黑马头条》 ElectricSearch 分词器 联想词 MangoDB day08-平台管理[实战]作业
我亦无他，唯手熟尔
07-10 2182
* APP用户搜索信息表 前端控制器*
ElasticSearch黑马学习笔记（超详细）搜索引擎ElasticSearch7.x笔记
weixin_43494537的博客
07-02 1121
match和multi_match的区别是什么？match：根据一个字段查询multi_match：根据多个字段查询，参与查询字段越多，查询性能越差query：查询条件from和size：分页条件sort：排序条件highlight：高亮条件查寻有四种；全文查询，精确查询，地理查询，符合查循，其中符合查询包含bool与functions；
黑马头条学习笔记
qq_55695456的博客
06-04 975
文章创建后会审核，审核成功后会创建article，创建article时会创建html然后保存到minio，可以在把html文件上传到minio中时发送消息、创建索引，因为此时已经有了静态url信息。搜索无非就是从es中获取数据。kafka：1. 自媒体端上下架后放入kafka，app端拿数据进行上下架2. 文章创建后会审核，审核成功加入消息队列，等待同步到es中。4.将计算后的数据放入kafka，然后供article 服务进行计算分数redis：1.使用zset和list实现定时任务。
黑马Elasticseach教程学习笔记
CWL_YL的博客
05-21 2045
心血来潮学习一下es, 哔哩哔哩上找了找课程，综合筛选了一下，选择了黑马的视频. 一下是视频过程中，记录的笔记！！！
微服务项目实战-黑马头条（八）：App端-文章ES搜索、MongoDB搜索记录和关键词联想
shendaiyan的博客
04-23 1329
文章目录一、今日内容介绍1.1 App端搜索-效果图1.2 今日内容二、搭建ElasticSearch环境2.1 拉取镜像2.2 创建容器2.3 配置中文分词器 ik2.4 使用postman测试三、app端文章搜索3.1 需求分析3.2 思路分析3.3 创建索引和映射3.4 数据初始化到索引库3.4.1 导入es-init到heima-leadnews-test工程下3.4.2 查询所有的文章信息，批量导入到es索引库中3.4.3 测试3.5 文章搜索功能实现3.5.1 搭建搜索微服务3.5.2 搜索接口
IK中文分析器
limengshi138392的博客
07-02 178
IK中文分析器 https://github.com/medcl/elasticsearch-analysis-ik> 将elasticsearch-analysis-ik-5.6.16.zip 复制到虚拟机中 scp elasticsearch-analysis-ik-5.6.16.zip python@10.211.55.7:~/ 安装 sudo /usr/share/ela...
黑马头条-第2天.md
01-14
黑马头条-第2天.md
toutiao-m：黑马头条移动端
02-11
【标题】"toutiao-m：黑马头条移动端"是一款基于JavaScript技术构建的移动应用，旨在提供类似于今日头条的新闻阅读体验。这个项目使用了现代化的前端开发工具和框架，以实现高效、响应式的用户界面和流畅的功能。 ...
黑马头条后台接口API.md
10-30
黑马头条后台接口：用户登录，注册，编辑关注取消，评论；新闻文章：搜索，推荐，详情，列表获取，发布，收藏，点赞，编辑，文件上传；首页栏目获取和添加
黑马头条（day03）
07-16
day03需要用到的sql脚本，实体类，前端后端初始项目，day03完整代码
【黑马头条之app端文章搜索ES-MongoDB】
蛋饼吧的博客
08-07 1137
用户的搜索记录，需要给每一个用户都保存一份，数据量较大，要求加载速度快，通常这样的数据存储到mongodb更合适，不建议直接存储到关系型数据库中
黑马头条案例（基于vue2）
qq_53767416的博客
12-07 2950
html、前端，基于vue2，黑马头条案例内容展示
初探Elasticsearch（强大的开源搜索引擎）
qq_44484910的博客
05-24 440
简介与原理 简介 Elasticsearch是一个基于Lucene库的搜索引擎。 它提供了一个分布式、支持多用户的全文搜索引擎，具有HTTP Web接口和无模式JSON文档。所有其他语言可以使用 RESTful API 通过端口 9200 和 Elasticsearch 进行通信 Elasticsearch是用Java开发的，并在Apache许可证下作为开源软件发布。官方客户端在Java、.NET（C#）、PHP、Python、Apache Groovy、Ruby和许多其他语言中都是可用的。 根据DB-En
头条--day13_项目优化黑马头条
xiaorui的博客
04-30 913
项目优化 目标 能够完成图片微服务开发及应用 改造app文章查询列表，主推热点文章数据 能够掌握联想词优化改造的思路及trie树算法的应用 能够改造登录接口，进行秘密验证 1 图片缓存开发 1.1 功能需求 随着热文章的访问越来越频繁，文章内的图片频繁的访问图片服务器，对图片服务器造成了很大的压力，因此决定把热文章相关的图片缓存到redis： 监听热文章主消息缓存图片功能 本案例开发功能包...
黑马头条学习
目不识丁
05-26 8453
申明：本教程收集于网络，请勿商用，仅供个人学习使用，如有侵权，请联系作者删除。 1. 项目介绍 1.1项目背景 随着智能手机的普及，人们更加习惯于通过手机来看新闻。由于生活节奏的加快，很多人只能利用碎片时间来获取信息，因此，对于移动资讯客户端的需求也越来越高。黑马头条项目正是在这样背景下开发出来。黑马头条项目采用当下火热的微服务+大数据技术架构实现。本项目主要着手于获取最新最热新闻资讯，通过大数据分析用户喜好精确推送咨询新闻 1.2 项目概述 黑马头条项目是对在线教育平台业务进行大数据.
linux配置jenkins环境
最新发布
weixin_41981080的博客
08-26 122
如果无法使用ssh-copy-id命令，可以手动将公钥内容复制到目标主机的授权文件中。打开本地主机上.ssh目录下的id_rsa.pub文件，将其中的内容复制到目标主机上的~/.ssh/authorized_keys文件中。其中，username是目标主机上的用户名，remote_host是目标主机的IP地址或域名。执行该命令后，系统会要求输入目标主机的密码，然后将公钥添加到目标主机上的授权文件中。该命令将生成一对RSA密钥，默认情况下保存在用户的主目录下的.ssh目录中。然后重启SSH服务，使配置生效。
jenkins 开启控制台详细日志
GSON的博客
08-26 93
经查询是shell脚本格式不对，是由于在win电脑上编写的sh文件,然后再linux上执行编码不一致导致的。使用jenkins再次构建，查看控制台日志。
黑马头条xxl-job
08-21
黑马头条是一个开源的任务调度平台，而xxl-job是黑马头条团队开发的一款基于Java的分布式任务调度框架。它具有易用性、高可靠性和高可扩展性的特点，在互联网应用中被广泛使用。 xxl-job提供了丰富的功能，包括定时任务、任务调度监控、任务执行日志、报警和告警等等。它支持分布式任务调度，可以集群部署，提供了可视化的管理界面，方便用户进行任务的配置和管理。 使用xxl-job，可以轻松实现任务的定时调度和执行，并且可以通过监控和日志查看任务的执行情况，保证任务的可靠性和稳定性。 总之，xxl-job是一个功能强大的任务调度框架，适用于各种规模的项目和任务调度需求。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值