会话管理
Http的性质:
简单的、可扩展的、无状态的、有会话的；
Cookie:
服务器发送到浏览器时，并保存在浏览器端的一小块数据。
浏览器下次访问该服务器时，会自动携带该数据，将其发送给服务器。
Session:
是JavaEE的标准，用于在服务器端记录客户端信息
数据存放在服务器更加安全，但是也会增加服务器端的内存压力
显示登录信息
拦截器示例：
定义拦截器，实现HandlerInterceptor,配置拦截器，为它指定拦截、排除的路径
应用：
- 在请求开始时查询登录用户
- 在本次请求中持有用户数据
- 在模板视图上显示用户数据
- 在请求结束时清理用户数据
注意多线程，threadlocal的用法：此链接
检查登录状态
自定义注解：
@Target @Retention @Document @Inherited:子类是否继承父类的注解
敏感词过滤
原敏感词过滤方法如下：
import org.apache.commons.lang3.CharUtils;
import org.apache.commons.lang3.StringUtils;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.stereotype.Component;
import javax.annotation.PostConstruct;
import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStream;
import java.io.InputStreamReader;
import java.util.HashMap;
import java.util.Map;
@Component
public class SensitiveFilter {
private static final Logger logger = LoggerFactory.getLogger(SensitiveFilter.class);
// 替换符
private static final String REPLACEMENT = "***";
// 根节点
private TrieNode rootNode = new TrieNode();
//构造器之后被执行
@PostConstruct
public void init() {
try (
InputStream is = this.getClass().getClassLoader().getResourceAsStream("sensitive-words.txt");
BufferedReader reader = new BufferedReader(new InputStreamReader(is));
) {
String keyword;
while ((keyword = reader.readLine()) != null) {
// 添加到前缀树
this.addKeyword(keyword);
}
} catch (IOException e) {
logger.error("加载敏感词文件失败: " + e.getMessage());
}
}
// 将一个敏感词添加到前缀树中
private void addKeyword(String keyword) {
TrieNode tempNode = rootNode;
for (int i = 0; i < keyword.length(); i++) {
char c = keyword.charAt(i);
TrieNode subNode = tempNode.getSubNode(c);
if (subNode == null) {
// 初始化子节点
subNode = new TrieNode();
tempNode.addSubNode(c, subNode);
}
// 指向子节点,进入下一轮循环
tempNode = subNode;
// 设置结束标识
if (i == keyword.length() - 1) {
tempNode.setKeywordEnd(true);
}
}
}
/**
* 过滤敏感词
*
* @param text 待过滤的文本
* @return 过滤后的文本
*/
public String filter(String text) {
if (StringUtils.isBlank(text)) {
return null;
}
// 指针1
TrieNode tempNode = rootNode;
// 指针2
int begin = 0;
// 指针3
int position = 0;
// 结果
StringBuilder sb = new StringBuilder();
while (position < text.length()) {
char c = text.charAt(position);
// 跳过符号
if (isSymbol(c)) {
// 若指针1处于根节点,将此符号计入结果,让指针2向下走一步
if (tempNode == rootNode) {
sb.append(c);
begin++;
}
// 无论符号在开头或中间,指针3都向下走一步
position++;
continue;
}
// 检查下级节点
tempNode = tempNode.getSubNode(c);
if (tempNode == null) {
// 以begin开头的字符串不是敏感词
sb.append(text.charAt(begin));
// 进入下一个位置
position = ++begin;
// 重新指向根节点
tempNode = rootNode;
} else if (tempNode.isKeywordEnd()) {
// 发现敏感词,将begin~position字符串替换掉
sb.append(REPLACEMENT);
// 进入下一个位置
begin = ++position;
// 重新指向根节点
tempNode = rootNode;
} else {
// 检查下一个字符
position++;
}
}
// 将最后一批字符计入结果
sb.append(text.substring(begin));
return sb.toString();
}
// 判断是否为符号
private boolean isSymbol(Character c) {
// 0x2E80~0x9FFF 是东亚文字范围
return !CharUtils.isAsciiAlphanumeric(c) && (c < 0x2E80 || c > 0x9FFF);
}
// 前缀树
private class TrieNode {
// 关键词结束标识
private boolean isKeywordEnd = false;
// 子节点(key是下级字符,value是下级节点)
private Map<Character, TrieNode> subNodes = new HashMap<>();
public boolean isKeywordEnd() {
return isKeywordEnd;
}
public void setKeywordEnd(boolean keywordEnd) {
isKeywordEnd = keywordEnd;
}
// 添加子节点
public void addSubNode(Character c, TrieNode node) {
subNodes.put(c, node);
}
// 获取子节点
public TrieNode getSubNode(Character c) {
return subNodes.get(c);
}
}
}
其中filter方法存在Bug，比如敏感词为fabc和ab,但实际词为fab，那么最后一个敏感词ab则过滤不出来。根据此bug，在最后一次判断时加if条件如下：
package com.zhh.community.util;
import org.apache.commons.lang3.CharUtils;
import org.apache.commons.lang3.StringUtils;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.stereotype.Component;
import javax.annotation.PostConstruct;
import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStream;
import java.io.InputStreamReader;
import java.util.HashMap;
import java.util.Map;
@Component
public class SensitiveFilter {
private static final Logger logger = LoggerFactory.getLogger(SensitiveFilter.class);
// 替换符
private static final String REPLACEMENT = "***";
// 根节点
private TrieNode rootNode = new TrieNode();
//构造器之后被执行
@PostConstruct
public void init() {
try (
InputStream is = this.getClass().getClassLoader().getResourceAsStream("sensitive-words.txt");
BufferedReader reader = new BufferedReader(new InputStreamReader(is));
) {
String keyword;
while ((keyword = reader.readLine()) != null) {
// 添加到前缀树
this.addKeyword(keyword);
}
} catch (IOException e) {
logger.error("加载敏感词文件失败: " + e.getMessage());
}
}
// 将一个敏感词添加到前缀树中
private void addKeyword(String keyword) {
TrieNode tempNode = rootNode;
for (int i = 0; i < keyword.length(); i++) {
char c = keyword.charAt(i);
TrieNode subNode = tempNode.getSubNode(c);
if (subNode == null) {
// 初始化子节点
subNode = new TrieNode();
tempNode.addSubNode(c, subNode);
}
// 指向子节点,进入下一轮循环
tempNode = subNode;
// 设置结束标识
if (i == keyword.length() - 1) {
tempNode.setKeywordEnd(true);
}
}
}
/**
* 过滤敏感词
*
* @param text 待过滤的文本
* @return 过滤后的文本
*/
public String filter(String text) {
if (StringUtils.isBlank(text)) {
return null;
}
// 指针1
TrieNode tempNode = rootNode;
// 指针2
int begin = 0;
// 指针3
int position = 0;
// 结果
StringBuilder sb = new StringBuilder();
while (position < text.length()) {
Character c = text.charAt(position);
// 跳过符号
if (isSymbol(c)) {
// 若指针1处于根节点,将此符号计入结果,让指针2向下走一步
if (tempNode == rootNode) {
sb.append(c);
begin++;
}
// 无论符号在开头或中间,指针3都向下走一步
position++;
continue;
}
// 检查下级节点
tempNode = tempNode.getSubNode(c);
if (tempNode == null) {
// 以begin开头的字符串不是敏感词
sb.append(text.charAt(begin));
// 进入下一个位置
position = ++begin;
// 重新指向根节点
tempNode = rootNode;
} else if (tempNode.isKeywordEnd()) {
// 发现敏感词,将begin~position字符串替换掉
sb.append(REPLACEMENT);
// 进入下一个位置
begin = ++position;
// 重新指向根节点
tempNode = rootNode;
} else {
// 检查下一个字符
position++;
if(position==text.length() && begin<text.length()){
sb.append(text.charAt(begin));
position = ++begin;
tempNode = rootNode;
}
}
}
// 将最后一批字符计入结果
// sb.append(text.substring(begin));
return sb.toString();
}
// 判断是否为符号
private boolean isSymbol(Character c) {
// 0x2E80~0x9FFF 是东亚文字范围
return !CharUtils.isAsciiAlphanumeric(c) && (c < 0x2E80 || c > 0x9FFF);
}
// 前缀树
private class TrieNode {
// 关键词结束标识
private boolean isKeywordEnd = false;
// 子节点(key是下级字符,value是下级节点)
private Map<Character, TrieNode> subNodes = new HashMap<>();
public boolean isKeywordEnd() {
return isKeywordEnd;
}
public void setKeywordEnd(boolean keywordEnd) {
isKeywordEnd = keywordEnd;
}
// 添加子节点
public void addSubNode(Character c, TrieNode node) {
subNodes.put(c, node);
}
// 获取子节点
public TrieNode getSubNode(Character c) {
return subNodes.get(c);
}
}
}
事务
事务的特性（ACID）
- 原子性
- 一致性
- 隔离性
- 持久性
可能出现的异常：
Spring事务管理
- 声明式事务：XML/注解
- 编程式事务：通过TransactionTemplate
Kafka-构建TB级异步消息系统
- 阻塞队列BlockingQueue
解决线程通信的问题，阻塞方法：put、take - 生产者与消费者模式
– 产生数据的线程：生产者
– 使用数据的线程：消费者
高吞吐量、消息持久化、高可靠性、高可扩展性。
#启动zookeeper，首先cd到kafka安装目录下，例如 cd: c:\kafka2.xxx
输入命令行： bin\windows\zookeeper-server-start.bat config\zookeeper.properties
#启动kafka，同理
bin\windows\kafka-server-start.bat config\server.properties
#创建一个主题topic 名为test
kafka-topics.bat --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1 --topic test
#查看创建的主题
kafka-topics.bat --list --bootstrap-server localhost:9092
test
发送系统通知
触发事件->处理事件
容易出错的问题
项目中存在bug,关于非空判断的地方，在处理私信和系统通知时，如果当前用户缺少任何一类通知，则页面报错，提示从Map中找不到message。
原因：对数据判断的不严谨，应该在MessageController的getNoticeList方法中，将每一次messageVO的实例化都放在if之内，然后模板上只判断messageVO！=null即可。
分布式搜索引擎ES
- 一个分布式的、Restful风格的搜索引擎。
- 支持对各种数据类型的检索
- 搜索速度快，可以提高实时的搜索服务
- 便于水平扩展，每秒可以处理PB级海量数据
ES常用术语： - 索引 类型 文档 字段
- 集群 节点 分片 副本
查看当前ES运行状况：
curl -X GET "localhost:9200/_cat/health?v"
查看节点情况：
curl -X GET "localhost:9200/_cat/nodes?v"
查看索引：
curl -X GET "localhost:9200/_cat/indices?v"
创建索引：
curl -X PUT "localhost:9200/test"
删除索引：
curl -X DELETE "localhost:9200/test"
SpringSecurity
推荐学习网站：链接
CSRF攻击：窃取浏览器存的cookie相关的ticket凭证，模拟用户进行对服务器的非法访问，实现post等操作
Redis高级数据类型
HyperLogLog：
采用一种基数算法，用于完成独立总数的统计。占据空间小，只占12KB的内存空间。不精确的统计算法，标准误差为0.81%。可统计UV（unique visitor）独立访客，需要通过用户IP排重统计数据。每次访问都要进行统计。
Bitmap：
不是一种独立的数据结构，实际上就是字符串，支持按位存取数据，可以将其看做byte数组，适合存储大量的连续的数据的布尔值。可用于 统计DAU(daily acitve user)：日活跃用户，需通过用户ID排重统计数据，访问过一次，则认为其活跃。统计精确。
CH1:469
CH2:378
CH3:491
CH4:289
CH5:210
CH6:178
CH7:635
CH8:245
Total：48.5h
6172
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
