基于Springboot的社区开发项目

最新推荐文章于 2024-06-20 15:25:25 发布

byteyoung

最新推荐文章于 2024-06-20 15:25:25 发布

阅读量971

点赞数 2

分类专栏：项目

from byteyoung

本文链接：https://blog.csdn.net/qq_40126686/article/details/115286844

版权

项目专栏收录该内容

1 篇文章 1 订阅

订阅专栏

Community


本项目是个人独立开发的后端项目，这要涉及到Spring、SpringMVC、Mybatis的整合，以及SpringBoot去简化Spring的配置开发。
主要的技术点：
登录注册功能：使用kaptcha去生成验证码，使用邮件完成注册，Redis优化验证码的保存，解决分布式session问题
使用拦截器拦截用户请求，将用户信息绑定在ThreadLocal上
构建Trie数据结构，实现对发表帖子评论的敏感词过滤
支持对帖子评论，也支持对评论进行回复
利用AOP对service的业务代码实现日志记录
利用Redis的zset并结合Redis实现点赞关注的功能
点赞关注后的系统通知，实时性不需要特别高，使用kafka实现异步的发送系统通知
使用ElasticSearch实现对帖子的搜索功能，以及结果的高亮显示
SpringQuartz实现定时任务，完成热门帖子的分数计算模块
使用本地缓存Quartz缓存热门帖子优化热门帖子页面，提高了QPS（10 - 200）

• 评论：id user_id entity_type entity_id      target_id      content     status     create_time
        ○ user_id:评论作者；
        ○ entity_type:评论目标类型：1表示帖子，2表示评论 支持回复评论；
        ○ target_id 记录回复指向的人 (只会发生在回复中 判断target_id==0)
        ○ user_id 评论的作者
        ○ status：0存在，1表删除
        
• 私信：id  form_id      to_id conversion_id   content status  create_time
        ○ form_id : 发送者，其中from_id=1表示系统通知
        ○ To_id :收信人
        ○ Coversion_id：111_112(id小的在前)111与112 之间的会话。
        ○ status：0未读，1已读，2删除
• 帖子：id, user_id, title, content, type, status, create_time, comment_count, score
• 用户 user：id, username, password, salt, email, type, status, activation_code, header_url, create_time


1. 第一范式
确保数据表中每列（字段）的原子性。
2. 第二范式
在第一范式的基础上更进一步，目标是确保表中的每列都和主键相关。
3. 第三范式
在第二范式的基础上更进一步，目标是确保表中的列都和主键直接相关，而不是间接相关。
例如：一个用户可以对应多个角色，一个角色也可以对应多个用户。则可以按如下方式建立数据表关系，使其满足第三范式。

项目准备

准备工作就是一些工作环境的配置，IDE使用IntellijIDEA，具体的框架的版本与配置，以及mysql，redis，kafka，es的安装与配置，视频里都会有详细的介绍，kafka，es在mac系统上的安装我也有写博客介绍，在此就不必再做详细的说明。下面介绍一些关于此项目的主要模块后端代码的实现部分。

注册与登录功能的实现

注册是登录功能是每个网站最基本的功能，实现的主要难点我觉得在于怎么解决分布式Session问题，密码安全问题，以及怎么优化登录的问题。

用户表实现

id	username	password	salt	email	type

密码MD5加密

为了保证安全，密码不能明文的在网络中进行传输，也不能以明文的形式存到数据库中。存在数据库的密码 = MD5( 密码 + salt ) 防止密码泄露

Session和Cookie的区别？
1、数据存储位置：cookie数据存放在客户的浏览器上，session数据放在服务器上。

2、安全性：cookie不是很安全，别人可以分析存放在本地的cookie并进行cookie欺骗，考虑到安全应当使用session。

3、服务器性能：session会在一定时间内保存在服务器上。当访问增多，会比较占用你服务器的性能，考虑到减轻服务器性能方面，应当使用cookie。

4、数据大小：单个cookie保存的数据不能超过4K，很多浏览器都限制一个站点最多保存20个cookie。

5、信息重要程度：可以考虑将登陆信息等重要信息存放为session，其他信息如果需要保留，可以放在cookie中。

Kaptcha生成验证码

Loginticket生成凭证记录登录状态

本项目中先采用将用户登录信息存到数据库的login_ticket表中，后续采用存到redis中优化。

V1 将用户登录凭证ticket存到mysql的login_ticket表中

由于Http是无状态的，为了保证用户每次请求不用重新输入账号密码，

登陆成功的时候生成登录凭证，生成Loginticket往数据库login_ticket存，并且被设置为cookie，下次用户登录的时候会带上这个ticket，ticket是个随机的UUID字符串，有过期的时间expired和有效的状态status。

用login_ticket存储用户的登录信息，每次请求会随着cookie带到服务端，服务端只要与数据库比对携带的ticket，就可以通过表中的used_id字段查到用户的信息。用户退出时将status更改为0即可。

id	user_id	ticket	status	expired

在这里插入图片描述

V2：使用Redis优化登录模块

使用Redis存储验证码
1. 验证码需要频繁的访问与刷新，对性能要求比较高
2. 验证码不需要永久保存，通常在很短的时间后就会失效（redis设置失效时间）
3. 分布式部署的时候，存在Session共享的问题（之前验证码是存到session里面，使用redis避免session共享问题）
Key Value
kaptcha:owner string

Key	Value
kaptcha:owner	string

owner : 由于此时用户还未登录，owner为临时生成的凭证,存到cookie中发送给客户端。登录的时候从cookie中取值构造redisKey,再从redis中取值。并与用户输入的验证码进行比对。

使用Redis存储登录凭证，作废login_ticket
- 处理每次请求的时候，都要从请求的cookie中取出登录凭证并与从数据库mysql中查询用户的登录凭证作比对，访问的频率非常高（原来登录凭证ticket是存到mysql里面，ticket如果用redis存，mysql就可以不用存了，login_ticket可以作废）
Key Value
ticket:ticket Loginticket
第二个ticket为实际的ticket字符串，Loginticket被序列化为Json字符串。
- 退出登录的是，需要让登录凭证失效，此时根据key将Loginticket取出来，在更改其状态为1失效态，再重新存回Redis中。（不删除可以保留用户登录的记录）
使用Redis缓存用户信息
- 处理每次请求的时候，都要根据登录凭证查询用户信息，访问的评率非常高（每次请求的时候需要根据凭证中的用户id查询用户）
- 查询User的时候，先尝试从缓存中取值，如果没有的话，就需要初始化，有些地方会改变用户数据，需要更新缓存，可以直接把该用户的缓存删除，下一次请求的时候发现没有用户的信息，就会重新查一次再放到缓存中

Key	Value
ticket:ticket	Loginticket

拦截器的使用

声明拦截器（实现HandleInterceptor）并在spring中配置拦截信息

在请求开始时查询登录用户
在本次请求中持有用户数据

使用拦截器Interceptor来拦截所有的用户请求，判断请求中的cookie是否存在有效的ticket，如果有的话就将查询用户信息并将用户的信息写入ThreadLocal在本次请求中持有用户，将每个线程的threadLocal都存在一个叫做hostHolder的实例中，根据这个实例就可以在本次请求中全局任意的位置获取用户信息。

发布帖子与敏感词过滤

使用AJAX异步发帖

*     AJAX - Asychronous JavaScript and XML
*     异步的JavaScript与XML, 不是一门新的技术，只是一门新的术语
*     使用AJAX，网页能够将改变的量更新呈现在页面上，而不需要刷新整个页面
*     虽然X代表XML,但是目前JSON的使用比XML更加普遍

发布帖子的时候需要对帖子的标题和内容进行敏感词，通过Trie实现敏感词过滤算法，过滤敏感词首先需要建立一颗字典树，并且读取一份保存敏感词的文本文件，并用文件初始化字典树，最后将敏感词作为一个服务，让需要过滤敏感词的服务进行调用即可。

指针1.遍历前缀树（将敏感词串起来），找出各个敏感词

指针2，3遍历帖子中的词，指针2找到第一个敏感词，指针3按指针1找到的敏感词遍历对比，若相同则屏蔽

防止xss注入：防止xss注入直接使用HTMLUtils的方法即可实现。

发表评论以及私信

评论的是每一个帖子都评论，并且支持对评论进行评论，也就是评论的回复，能够显示评论的数量，具体的内容，以及评论人回复人等等。

评论表的实现：

id	user_id	entity_type	entity_id	target_id	content	status	create_time

entityType; 评论类型 1帖子 2 用户 3 课程 entityId;具体那个帖子 targetId;记录指向的人

其中

Entity_type 评论的目2标的类别 1：帖子 2: 评论支持回复评论
entity_id 评论具体的目标
target_id 记录回复指向的人 (只会发生在回复中判断target_id==0)
user_id 评论的作者

添加评论时：(将添加评论和更新评论数量放在一个事务中)使用spring声明式事务管理@Transactional实现

输入图片说明

私信

私信是支持两个用户之间发送消息，有一个唯一的会话id，以用户id小的开头，id大的结尾比如12_111，以varchar的形式存储到数据库中，这个会话里可以有多条两个用户交互的消息。

私信表的实现

id	form_id	to_id	conversion_id	content	status	create_time

form_id 112 其中id = 1代表的是：系统通知
to_id 111
conversion_id 111_112(id小的在前)111与112 之间的会话
status 0：未读 1:已读 2：删除

复杂sql 这块的sql编写是相对比较复杂的，主要是在会话列表中显示每条会话中最新的消息内容。显示未读消息的数量。根据时间顺序排列会话

查询当前用户的会话列表，针对每个会话只返回一条最新的私信

select id, from_id, to_id, conversion_id, content, status, create_time from message
where id in(
    select max(id) from message 
    where status != 2 
    and from_id != 1 
    and (from_id = user_id or to_id = user_id)
    group by conversion_id
)
order by id desc
limit 0, 10

同样这里也采用异步请求的方式发送私信，发送成功后刷新私信列表

Spring aop记录日志

aop实现对service层所有的业务方法记录日志

Aop是一种编程思想，是对OOP的补充，可以进一步提升效率
Aop解决纵向切面的问题，主要实现日志和权限控制的功能
aspect实现切面，并且使用Logger来记录日志。用该切面的切面方法来监听controller
拦截器主要针对的是控制层controller

输入图片说明

使用Redis实现点赞关注

点赞和关注从功能上来说用传统的关系型数据库实现，但是其关系性并非很强，而且也是非常频繁的操作，用简单快速的Nosql也可以实现。

点赞功能

支持对帖子、评论点赞
第一次点赞，第2次取消点赞(判断userId在不在set集合中，就可以判断用户有否点过赞，如果已经点过赞了，就将用户从集合中删除)
在查询某人对某实体的点在状态时，用可以用boolean作为返回值，但项目中使用int（支持业务扩展，可以支持是否点踩）

Key	Value
like:entity:entityType:entityId	set(userId)

value使用set集合存放userId是为了能看对谁点了赞。

我收到的赞：

点赞时同样需要记录点赞实体的用户id

某个用户收到的赞

Key	Value
like:user:userId	int

关注、取消关注功能

使用Redis实现了每一个用户的粉丝列表，以及每一个用户的关注列表。

由于关注成功以及添加粉丝成功需要在同一个事务中，Redis的事务主要是由multi与exec两个命令实现。

关键点：

A关注了B，则A是B的Follwer，B是A的Followee(目标）
关注的目标，可是用户、帖子、题目，在是现实将这些目标抽象为实体

某个用户关注的实体

Key	Value
followee:userId:entityType	zset(entityId,now)

使用zset以当前时间作为分数排序

某个实体拥有的粉丝

Key	Value
follower:entityType:entityId	zset(userId,now)

Kafka，实现异步消息系统

在项目中，会有一些不需要实时执行但是是非常频繁的操作或者任务，为了提升网站的性能，可以使用异步消息的形式进行发送，再次消息队列服务器kafka来实现。kafka的具体配置与使用可参考下文：

mac下消息队列服务器kafka（结合springboot）的配置与使用

发送系统通知

评论，点赞，关注等事件是非常频繁的操作，发送关系其的系统通知却并不是需要立刻执行的。主要实现分为下面几步：

触发事件
- 评论后，发布通知
- 点赞后，发布通知
- 关注后，发布通知
处理事件
- 封装事件对象（Event）
```
private String topic;
private int userId;
private int entityType;
private int entityUserId;
private Map<String,object> data;
```
- 开发事件的生产者向特定的主题（评论，点赞，关注）发送事件
```
  //处理事件(发送事件)
public void fireEvent(Event event){
    //将事件发布到指定的主题
    kafkaTemplate.send(event.getTopic(), JSONObject.toJSONString(event));
}  
```
- 开发事件的消费者使用@KafkaListener注解监听事件，如果监听成果并进行相应的处理，最后调用messageService添加到数据库中，下次用户显示消息列表的时候就可以看到系统消息了。

 @KafkaListener(topics = {TOPIC_COMMENT, TOPIC_LIKE, TOPIC_FOLLOW})
    public void handleCommentMessage(ConsumerRecord record) {
        Event event = JSONObject.parseObject(record.value().toString(), Event.class);
       
        //发送站内的通知
        Message message = new Message();
        message.setFromId(SYSTEM_USER_ID);
        message.setToId(event.getEntityUserId());
        message.setConversationId(event.getTopic());//comment like follow
        message.setCreateTime(new Date());
              
    message.setContent(JSONObject.toJSONString(content));

        System.out.println(content);
        //调用messageService添加到数据库中
        messageService.addMessage(message);
    }

在这里插入图片描述

Elastic Search 实现网站的搜索功能

项目中的搜索服务采用的是ES来实现，有关es的介绍与使用可以点击下文。 mac下Elasticsearch的安装与简单使用，结合命令行和postman SpringBoot整合Elasticsearch配置与使用

搜索服务
- 将帖子保存到Elasticsearch服务器
- 从 Elasticsearch 服务器中删除帖子
- 从 Elasticsearch 服务器搜索帖子
发布事件（将发帖或者更改帖子的事件存到kafka中，消费事件并将帖子存到es服务器中）
- 发布帖子时，将帖子异步的提交到Elasticsearch服务器
- 增加评论的时候，将帖子异步的提交到Elasticsearch服务
- 在kafka消费组件中增加一个方法，消费帖子发布事件
显示结果
- 在控制器中处理搜索请求，在HTML高亮显示搜索结果

##Redis高级数据类型，实现网站数据统计项目中的数据统计功能如独立访客，以及日活跃用户，需要使用redis的高级数据类型超级日志以及位图来实现。

输入图片说明

高级数据类型

HyperLogLog（超级日志）
- 采用一种基数算法，用于完成独立总数（独立访客）的统计
- 占据空间小，我无论统计多少个数据，只占有12k的内存空间
- 不精确的统计算法，标准误差为0.81%
Bitmap（位图）
- 不是一种独立的数据结构，实际上就是字符串
- 支持按位存取数据，可以将其看成是byte数据
- 适合存储所大量的连续的数据的布尔值（签到）

网站数据统计

UV(Unique Vistior)
- 独立访客，需要通过用户IP排重统计数据（可以统计游客，在拦截器中实现）
- 每次访问都要进行统计
- HyperLogLog,性能好，且存储空间小单日uv
Key Value
uv:date ip
区间UV

Key Value
uv:startData:endData ip
DAU(Daily active User)
- 日活跃用户，需要通过用户ID排重统计数据（排除游客，需要精确）
- 访问一次，则认为其活跃
- Bitmap，性能好，且可以统计精确的结果单日dau（在userId的比特位上标记为true）
Key Value
dau:date userId,true
区间DAU(在区间内，任何一天登录都算活跃，对区间内日期做异或运算)

Key Value
dau:startDate:endDate userId,true

Key	Value
uv:date	ip

Key	Value
uv:startData:endData	ip

Key	Value
dau:date	userId,true

Key	Value
dau:startDate:endDate	userId,true

Spring Quartz实现定时热帖排行

由于热帖排行功能的实现是需要定时实现的，即每隔段时间就要从数据库中查询最热门的帖子显示，所以可以使用定时任务的形式来实现，JDK自带的ScheduledExecutorService以及Spring自带的ThreadPoolTaskScheduler都可以实现定时任务的功能，但是其在分布式的环境下会出现问题，Scheduler是基于内存，服务器1和服务器2的上的Scheduler代码是相同的，会定时的做同样的事情。本项目采用的是Quartz，因为quartz实现定时任务的参数是存到数据库中的，所以不会出现重复代码的问题。

Quartz

JDK线程池
- ExecutorService
- ScheduledExecutorService
Spring线程池
- ThreadPoolTaskExecutor
- ThreadPoolTaskScheduler
分布式定时任务
- Spring Quartz

Job:定义任务 JobDetail、trigger :任务的配置类，一旦任务初始化完成就会存到数据库的表中qrtz_triggers，只在第一次时有用在这里插入图片描述

热帖排行

帖子排行的计算公式： log（精华分 + 评论数 *10 + 点赞数 *2 + 收藏数 * 2）+ （发布时间 - 纪元）

将分数发生变换的帖子丢到Redis缓存中去，每10分钟计算一下帖子的分数。

key	value
post:score	set(存帖子id）

使用本地缓存Caffeine优化网站性能

由于热门帖子数量不大，直接存储在服务器本地上并不会给服务器带来过重的存储负担，而且热门帖子的改变并不是很频繁，适合缓存存储，并且热门帖子不涉及用户信息，不会存在服务器之间的共享问题，综上比较适合使用本地缓存存储。

项目中使用了本地缓存Caffeine优化热门帖子

本地缓存
- 将数据缓存在应用服务器上，性能最好
- 常用缓存工具:Ehcache、Guava、Caffeine
分布式缓存
- 将数据缓存在NoSQL数据库上，跨服务器（登录凭证不适合直接存到服务器上
- 常用缓存工具:Redis
多级缓存
- 一级缓存（本地缓存）->二级缓存（分布式缓存）->DB
- 避免缓存雪崩（缓存失效，大量请求直达DB），提高系统的可用性

在这里插入图片描述

Key	Value
offset:limit	list(热门帖子)

offset以及limit代表的是起始行和终止行，就是某一页的热门帖子。

JMeter压力测试

使用本地缓存优化后，用JMeter做一下压力测试使用JMeter创建了100个线程请求首页热门帖子优化前：qps稳定在9.5左右：在这里插入图片描述启用缓存优化后：qps达到了189左右，可以看到性能有明显的提升

结语

以上只是对本项目的相对比较重要的功能进行了总结，当然了这个项目还有一些其他的功能，比如SpringSecurity实现权限控制,文件上传到七牛云服务器，spring统一处理异常之类的。感兴趣的同学可以参考视频以及我提供的代码敲一敲。

byteyoung

关注

2
点赞
踩
15

收藏

觉得还不错? 一键收藏
2
评论
基于Springboot的社区开发项目

Community本项目是个人独立开发的后端项目，这要涉及到Spring、SpringMVC、Mybatis的整合，以及SpringBoot去简化Spring的配置开发。主要的技术点：登录注册功能：使用kaptcha去生成验证码，使用邮件完成注册，Redis优化验证码的保存，解决分布式session问题使用拦截器拦截用户请求，将用户信息绑定在ThreadLocal上构建Trie数据结构，实现对发表帖子评论的敏感词过滤支持对帖子评论，也支持对评论进行回复利用AOP对service的业务代
复制链接

扫一扫