- 博客(4)
- 资源 (5)
- 收藏
- 关注
原创 Python与数据分析(一)------Python简介与安装
Python与数据分析(一)------Python简介与安装 一、为什么是Python 目前,Python语言的使用相当广泛,从国外的Google、YouTube、Mozilla到国内的豆瓣、腾讯、网易等等,都在使用Python作为开发语言。根据TIBOE 2016年编程软件排行,Python位列第五,而从长期走势来看,Python一直处于上升趋势(如图1所示)。为什么P
2017-02-20 10:36:13 1138
转载 Cassandra简介
在本文中,我们将对另外一种类型的NoSQL数据库——Cassandra进行简单地介绍。 接触Cassandra的原因与接触Neo4J的原因相同:我们的产品需要能够记录一系列关系型数据库所无法快速处理的大量数据。Cassandra,以及后面将要介绍的MongoDB,都是我们在技术选型过程中的一个备选方案。虽然说最后我们并没有选择Cassandra,但是在整个技术选型过程中所接触到的一系列内部机
2017-02-04 16:01:10 497
转载 Kafka+Spark Streaming+Redis实时计算整合实践
Kafka+Spark Streaming+Redis实时计算整合实践 基于Spark通用计算平台,可以很好地扩展各种计算类型的应用,尤其是Spark提供了内建的计算库支持,像Spark Streaming、Spark SQL、MLlib、GraphX,这些内建库都提供了高级抽象,可以用非常简洁的代码实现复杂的计算逻辑、这也得益于Scala编程语言的简洁性。这里,我们基于1.3.0版本的Sp
2017-02-04 15:08:59 560
转载 spark streaming+kafka
概述 Kafka是一个分布式的发布-订阅式的消息系统,简单来说就是一个消息队列,好处是数据是持久化到磁盘的(本文重点不是介绍kafka,就不多说了)。Kafka的使用场景还是比较多的,比如用作异步系统间的缓冲队列,另外,在很多场景下,我们都会如如下的设计: 将一些数据(比如日志)写入到kafka做持久化存储,然后另一个服务消费kafka中的数据,做业务级别的分析,然后将分析结果写入HBas
2017-02-04 14:53:08 466
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人