- 博客(8)
- 资源 (5)
- 收藏
- 关注
RSS订阅转载 强大的分布式消息系统kafka
在我们大量使用分布式数据库、分布式计算集群的时候，是否会遇到这样的一些问题： l 我想分析一下用户行为（pageviews），以便我能设计出更好的广告位 l 我想对用户的搜索关键词进行统计，分析出当前的流行趋势。这个很有意思，在经济学上有个长裙理论，就是说，如果长裙的销量高了，说明经济不景气了，因为姑娘们没钱买各种丝袜了。 l 有些数据，我觉得存数据库浪费，直接存硬
2016-12-19 09:04:12
384
转载 kafka经典教程
一、基本概念 介绍 Kafka是一个分布式的、可分区的、可复制的消息系统。它提供了普通消息系统的功能，但具有自己独特的设计。 这个独特的设计是什么样的呢？ 首先让我们看几个基本的消息系统术语： Kafka将消息以topic为单位进行归纳。 将向Kafka topic发布消息的程序成为producers. 将预订topics并消费消息的程序成为consumer. Ka
2016-12-19 09:02:35
420
原创 分享几个不错的博客
分享几个Spark和kafka比较不错的博客 http://blog.csdn.net/anzhsoft2008/article/category/2366163/2 http://blog.csdn.net/pelick http://www.cnblogs.com/fxjwind https://databricks.com/blog http://blog
2016-12-16 16:49:26
593
转载 用Apache Spark进行大数据处理四
如何安装Spark 安装和使用Spark有几种不同方式。你可以在自己的电脑上将Spark作为一个独立的框架安装或者从诸如Cloudera，HortonWorks或MapR之类的供应商处获取一个Spark虚拟机镜像直接使用。或者你也可以使用在云端环境（如Databricks Cloud）安装并配置好的Spark。 在本文中，我们将把Spark作为一个独立的框架安装并在本地启动它。最近Spar
2016-12-01 10:19:23
2512
转载 用Apache Spark进行大数据处理三
Spark体系架构 Spark体系架构包括如下三个主要组件： · 数据存储 · API · 管理框架 接下来让我们详细了解一下这些组件。 数据存储： Spark用HDFS文件系统存储数据。它可用于存储任何兼容于Hadoop的数据源，包括HDFS，HBase，Cassandra等。 API： 利用API，应用开发者可以用标准的API接口创建基于Spark的应用。Spark提供Sca
2016-12-01 10:17:35
511
转载 用Apache Spark进行大数据处理二
Spark特性 Spark通过在数据处理过程中成本更低的洗牌（Shuffle）方式，将MapReduce提升到一个更高的层次。利用内存数据存储和接近实时的处理能力，Spark比其他的大数据处理技术的性能要快很多倍。 Spark还支持大数据查询的延迟计算，这可以帮助优化大数据处理流程中的处理步骤。Spark还提供高级的API以提升开发者的生产力，除此之外还为大数据解决方案提供一致的体系架构模型。
2016-12-01 10:16:40
541
转载 用Apache Spark进行大数据处理
用Apache Spark进行大数据处理——第一部分：入门介绍 什么是Spark Apache Spark是一个围绕速度、易用性和复杂分析构建的大数据处理框架。最初在2009年由加州大学伯克利分校的AMPLab开发，并于2010年成为Apache的开源项目之一。 与Hadoop和Storm等其他大数据和MapReduce技术相比，Spark有如下优势。 首先，Spark为我们提供了一个全面
2016-12-01 10:15:37
489
转载 Hadoop、Storm和spark的区别
hadoop、storm和spark的区别、比较 一、hadoop、Storm该选哪一个？ 为了区别hadoop和Storm，该部分将回答如下问题： 1.hadoop、Storm各是什么运算 2.Storm为什么被称之为流式计算系统 3.hadoop适合什么场景，什么情况下使用hadoop 4.什么是吞吐量 首先整体认识：Hadoop是磁盘级计算，进行计算时，数据在磁盘上，需
2016-12-01 09:35:27
1257
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人