liuzeheng的专栏

消息\推送架构图： 说明部分         快讯推送逻辑：（见图最下面部分） a.        CMS系统：   发布快讯后会往收集服务器队列（kestrel）中发送一条消息，消息内容为：  推送类型+消息id 。 b.      收集collector工程   会从该队列取出消息，并启动相应的collector线程，收集需要推送的push消息并发送到相关

做数据已经1个季度了，这里再说下我们的整体构架，另外说下现在还有哪些问题。   Sohu-smc  数据处理平台基础架构图   如图，左侧是整个大数据处理流程中数据的流向。其中绿色部分是日常工作的重点，黑色部分推荐组做，灰色部分相对固定。   数据流程及说明： 1：源数据： 目前可能的数据来源，主要是一：nginx前端服务器日志（包括业务日志，和统计接口日志。 日志可以按接口做