![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
年度总结
文章平均质量分 93
疯狂的帆
IT小白的求学之路
展开
-
会话存档-如何高性能存储海量聊天记录
场景每天大约500w条数据,存档消息,并对消息进行统计分析。大概计算一下:每天的工作时间是8小时,大约是8小时处理400w条数据就足够了,为避免某时刻的峰值超负荷,还按照8小时处理500w条数据的标准来搭建环境;每秒钟大概要处理180条数据;客户提供了3台应用服务器(8核16G),单台机器每秒需处理60条数据每条消息(不考虑文件等消息,只考虑文本)平均大小为1kb,每天大约产生5个G的数据思路需求已经提出来了,只做其中的一个功能,就是获取消息,保存数据(数据查询、分析是其他需求);企业微原创 2022-02-26 22:47:58 · 7764 阅读 · 1 评论 -
企业微信会话存档-一个文件下载,吹牛2小时完成,结果写了2星期?
需求:获取聊天记录里产生的文件,下载并保存,存储到文件服务器(用oss表示)中过程:看起来很简单,直接干;初步思路:请求企业微信文件下载接口,先下载到本地从本地读取文件,上传到oss看起来并没什么问题,直接干!踩坑1既然是从企业微信接口下载的,那就先看看企业微信的开发文档吧纳尼,这些参数是什么???好吧,获取这些参数的方式请参考《企业微信会话存档-如何高性能存储海量聊天记录》,这里就不深究了:获取聊天记录,消息类型有很多,如果消息包含文件类型,那就会包含以上字段;因为涉及其他业原创 2022-02-24 10:54:48 · 2168 阅读 · 9 评论