后端服务
Mr-Bruce
专注于大数据系统研发
展开
-
创业公司做数据分析(六)数据仓库的建设
本文重点探讨了数据处理层中数据仓库的建设,旨在构建一个适于分析的数据存储系统。文章探讨了数据仓库建设中的两个重要环节:数据建模与ETL过程,根据实践谈了谈维度建模的方法,以及ETL中的增量更新机制与基于Airflow的任务流管理系统。原创 2017-02-02 19:36:58 · 15769 阅读 · 6 评论 -
Kafka下的生产消费者模式与订阅发布模式
生产消费者模式与订阅发布模式是使用消息中间件时常用的两种模式,用于功能解耦和分布式系统间的消息通信。本文在总结了Kafka基本概念的基础上,以“数据接入”和“事件分发”这两个场景为例,来探讨Kafka作为消息系统的应用方法(High Level)。原创 2017-01-21 17:27:26 · 62431 阅读 · 6 评论 -
RabbitMQ下的生产消费者模式与订阅发布模式
生产消费者模式与订阅发布模式是使用消息中间件时常用的两种模式,用于功能解耦和分布式系统间的消息通信。本文在总结了RabbitMQ核心概念的基础上,以“数据接入”和“事件分发”两个场景来探讨如何实现生产消费者模式和订阅发布模式。原创 2016-12-11 16:58:34 · 25668 阅读 · 8 评论 -
创业公司做数据分析(五)微信分享追踪系统
本文重点探讨数据采集层中的微信分享追踪系统。用户在微信中对Web H5网页进行浏览、分享,便会形成两种数据:操作行为数据和用户之间的传播关系数据,微信分享追踪系统便是对这类数据进行采集、存储,本文主要总结我们在微信分享追踪上的技术思考和方案演进。原创 2017-01-12 21:13:27 · 12017 阅读 · 3 评论 -
创业公司做数据分析(三)用户行为数据采集系统
本文将重点探讨数据采集层中的用户行为数据采集系统,分析了为什么要建设用户行为数据采集系统、采什么、前端怎么采、后端怎么存。原创 2016-12-27 17:12:46 · 21452 阅读 · 8 评论 -
创业公司做数据分析(二)运营数据系统
本文探讨数据应用层中的运营数据系统,因为运营数据几乎是所有互联网创业公司开始做数据的起点,也是早期数据服务的主要对象。本文将着重回顾下我们做了哪些工作、遇到过哪些问题、如何解决并实现了相应的功能。原创 2016-12-07 22:39:07 · 12895 阅读 · 4 评论 -
循环查询数据的性能问题及优化
本文过三个实例来阐述循环查询对性能的影响和优化的方法,涉及常用的三种数据存储:MySQL,MongoDB和Redis,更重要的是想借此传达一个观点:编程,应该设计先于写代码。原创 2016-11-13 22:36:19 · 19021 阅读 · 0 评论 -
微信公众号营销背后的技术
本文试图分析在开发者模式下,微信公众号营销背后的几个常用技术方案,包括二维码关注、账号绑定、海报数据追踪,同时总结了一些微信开发的基本规则。原创 2016-09-26 00:01:27 · 8189 阅读 · 0 评论 -
打造私人搜书系统之系统设计
作者利用业余时间打造了一个自己的搜书系统,基本的思路是:从各个小说网站爬取相关的书籍信息,通过一个手机客户端来阅读小说。本文将从系统设计的角度,来谈谈设计的思路和踩过的坑。原创 2017-08-26 19:11:11 · 5203 阅读 · 2 评论