【个人随笔】2021 计划

安全性

---

涉及范围

• 数据库安全
• 代码安全
• 服务器安全

措施

• 服务器：固定IP 使用白名单IP，变动IP（家里 or 出差）使用VPN，比如深信服（easyconnect）；更改常用服务的端口 + 使用复杂密码；

• 数据库与服务器：命令限制；

• 代码安全：代码托管仓库选型，结合容器实现自动化CI、CD（GitLab、Gitee）

性能

---

kafka

1、写自动删除主题的脚本，维持主题数稳定，保证kafka稳定

2、深入了解与优化 kafka 配置，重新讨论kafka使用方法，限定可使用主题数

mysql

1、根据历史业务与以后可能的业务，优化字段数量与字段类型，做好可扩展的工作；

2、保持 数据库的数据量在一定范围，做好分库分表和归档工作；

3、理念：字段精简、易读易理解、表中尽量不要存在大字段（text类型的）、为业务的类型扩展与需求扩展做通用性设计；

DevOps

---

Docker 与 K8s

1、首先把 补信息、爬虫、视频下载、提特征、抽帧、特征比对 等业务上 Docker 与 K8s；

2、实现镜像变更自动更新与自动部署容器；

3、实现 K8s 业务的监控；

个人

1、业务代码优化（爬虫与下载调度）

2、建立个人站，对外提供服务：

• 业务常用服务：补媒体数据信息、作者信息、测下线、导出业务数据（CCTV、微博 等）；
• 大数据分析与统计：爬虫节点能力统计、任务分发量、任务侵权量、侵权率、侵权平台统计 等（大数据可视化）；
• 常用工具：时间戳、base64、编码与转码、json格式化等；
• 常用资料网站、优秀博客、优秀技术站、优秀文章；

涉及技术：前端学习（vue + elementUI 或 bootstrap）、后端（FLASK 或 Go 做微服务）

3、学习 shell 语言，学习写脚本完成常用软件的自动化部署

4、适合业务的pip库

构建适合业务的pip库，可以使用 pip install 进行下载，库中包含：

• 常用工具，比如封装 mysql 的连接、执行sql，redis 的连接，kafka的连接、生产与消费，网页各种时间格式的处理等；

• 爬虫解析，做一个根据链接解析文本或视频信息，或根据 html 源码解析这些信息的封装；做一个根据链接 或 作者主页链接解析作者信息的封装；

5、在 189 机器建 镜像仓库、pip库、文件仓库、软件仓库 等；

6、调研更多的 k8s 相关工具，比如 Rancher、Jenkins 等；

7、打通下载失败流程（统计超过分发阈值的链接 => 测试下线 => 统计并推到前端显示）