Kafka+Spark Streaming+Redis实时计算整合实践

基于Spark通用计算平台,可以很好地扩展各种计算类型的应用,尤其是Spark提供了内建的计算库支持,像Spark Streaming、Spark SQL、MLlib、GraphX,这些内建库都提供了高级抽象,可以用非常简洁的代码实现复杂的计算逻辑、这也得益于Scala编程语言的简洁性。这里,我们...

2016-03-14 14:08:31

阅读数:285

评论数:0

Apache Storm内部原理分析

本文算是个人对Storm应用和学习的一个总结,由于不太懂Clojure语言,所以无法更多地从源码分析,但是参考了官网、好多朋友的文章,以及《Storm Applied: Strategies for real-time event processing》这本书,以及结合自己使用Storm的经历...

2016-03-14 14:06:22

阅读数:528

评论数:0

Impala与HBase整合实践

我们知道,HBase是一个基于列的NoSQL数据库,它可以实现的数据的灵活存储。它本身是一个大表,在一些应用中,通过设计RowKey,可以实现对海量数据的快速存储和访问。但是,对于复杂的查询统计类需求,如果直接基于HBase API来实现,性能非常差,或者,可以通过实现MapReduce程序来...

2016-03-14 12:59:46

阅读数:926

评论数:0

kibana

安排、配置和运行 Kibana4 安装方式依然简单,你可以在几分钟内安装好 Kibana 然后开始探索你的 Elasticsearch 索引。只需要预备: Elasticsearch 1.4.4 或者更新的版本一个现代浏览器 - 支持的浏览器列表.有关你的 Elasticsearch 集群...

2016-03-08 11:09:19

阅读数:404

评论数:0

kafak、flume、elasticsearch

目标:利用Flume Agent实现,将Kafka中数据取出,送入ElasticSearch中。 分析:Flume Agent需要的工作,两点: Flume Kafka Source:负责从Kafka中读取数据;Flume ElasticSearch Sink:负责将数据送入Elast...

2016-03-07 19:15:32

阅读数:1038

评论数:0

Hbase Shell使用

HBase 为用户提供了一个非常方便的使用方式, 我们称之为“HBase Shell”。 HBase Shell 提供了大多数的 HBase 命令, 通过 HBase Shell 用户可以方便地创建、删除及修改表, 还可以向表中添加数据、列出表中的相关信息等。 备注:写错 HBase Shel...

2016-03-04 15:36:35

阅读数:207

评论数:0

Hbase介绍

HBase简介 HBase – Hadoop Database,是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。 HBase是Google Bigtable的开源实现,类似Google Bigtable利...

2016-03-04 15:33:09

阅读数:168

评论数:0

Elasticsearch学习笔记

Why Elasticsearch? 由于需要提升项目的搜索质量,最近研究了一下Elasticsearch,一款非常优秀的分布式搜索程序。最开始的一些笔记放到github,这里只是归纳总结一下。 首先,为什么要使用Elasticsearch?最开始的时候,我们的项目仅仅使用MySQ...

2016-03-04 14:08:51

阅读数:249

评论数:0

java23种设计模式

一、设计模式的分类 总体来说设计模式分为三大类: 创建型模式,共五种:工厂方法模式、抽象工厂模式、单例模式、建造者模式、原型模式。 结构型模式,共七种:适配器模式、装饰器模式、代理模式、外观模式、桥接模式、组合模式、享元模式。 行为型模式,共十一种:策略模式、模板方法模式、观察者模式、迭代...

2016-03-03 13:27:59

阅读数:167

评论数:0

github上传项目

最近需要将课设代码上传到Github上,之前只是用来fork别人的代码。 这篇文章写得是windows下的使用方法。 第一步:创建Github新账户 第二步:新建仓库 第三部:填写名称,简介(可选),勾选Initialize this repository with...

2016-03-03 13:04:34

阅读数:190

评论数:0

Java中使用Jedis操作Redis

1)功能类 package com.redis; import java.util.ArrayList; import java.util.Iterator; import java.util.List; import java.util.Set; import redis.clients.je...

2016-03-01 11:43:13

阅读数:16557

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭