2014年08月_anzhsoft

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创 Cassandra使用pycassa批量导入数据

本周接手了一个Cassandra系统的维护工作，有一项是需要将应用方的数据导入我们维护的Cassandra集群，并且为应用方提供HTTP的方式访问服务。这是我第一次接触KV系统，原来只是走马观花似的看过KV啊，NoSQL啊。但是实际上没有实际的使用经验。经过两天的学习和接手，终于搞明白了在生产环境中的使用方式。在此简要的笔记一下。本文主要包括的内容有： Cassandra的简介， Cassandra的相关CLI Cassandra的Python API，并且给出一个批量导入数据的例子。

2014-08-31 11:46:54 12597

原创关于2014博文大赛

写了5篇文章。其中3篇初赛，其中两篇进了决赛，另外1篇忘记微博推广了，导致网友投票没有超过50。决赛的两篇文章，第一篇我准备了挺久，虽然文字性的东西较多，但是如果仔细读的话，相信对大家会有所帮助。另外一篇写的仓促，在这里感谢各位投票的网友了。

2014-08-13 20:49:40 11172 2

原创 Spark技术内幕：Worker源码与架构解析

Worker所起的作用有以下几个： 1. 接受Master的指令，启动或者杀掉Executor 2. 接受Master的指令，启动或者杀掉Driver 3. 报告Executor/Driver的状态到Master 4. 心跳到Master，心跳超时则Master认为Worker已经挂了不能工作了 5. 向GUI报告Worker的状态

2014-08-04 21:49:29 16030 16

原创从Storm和Spark 学习流式实时分布式计算的设计

最近我在做流式实时分布式计算系统的架构设计，而正好又要参见CSDN博文大赛的决赛。本来想就写Spark源码分析的文章吧。但是又想毕竟是决赛，要拿出一些自己的干货出来，仅仅是源码分析貌似分量不够。因此，我将最近一直在做的系统架构的思路整理出来，形成此文。为什么要参考Storm和Spark，因为没有参照效果可能不会太好，尤其是对于Storm和Spark由了解的同学来说，可能通过对比，更能体会到每个具体实现背后的意义。本文对流式系统出现的背景，特点，数据HA，服务HA，节点间和计算逻辑间的消息传递，存储模型，

2014-08-02 17:06:51 46716 18