排序:
默认
按更新时间
按访问量

scala 快速排序

import scala.collection.mutable.ListBuffer /** * Created by Administrator on 2016/6/25. * 快速排序:首先找一个基准元素,通常取第一个或最后一个元素作为基准元素,然后, * 从右向左遍历,找到第一...

2016-06-25 15:49:17

阅读数:456

评论数:0

Kafka 为什么比其它的消息系统快?

Kafka的消息是保存或缓存在磁盘上的,你可能会认为:在磁盘上读写数据是会降低性能的,因为寻址会比较消耗时间的。事实上,磁盘读写的快慢取决于你怎么使用它了(顺序读写、随机读写)。 Kafka的设计目标是高吞吐量,它比其它消息系统快的原因体现在以下几方面: 1、Kafka操作的是序列文件I / O(...

2016-02-05 17:50:01

阅读数:3334

评论数:0

Kafka 初识

Kafka是什么? Kafka是一个高吞吐量的、分布式的消息发布-订阅系统,官网解释为一个分布式的、可分区的、可复制的的提交日志服务。具有如下特性: 1、通过O(1)的磁盘数据结构提供消息的持久化,这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能。 2、高吞吐量:即使是非常普通的硬件,...

2016-02-03 11:57:16

阅读数:392

评论数:0

Storm Trident

Strom Trident是什么? Trident 是Storm 原语(即由若干条指令组成的,用于完成一定功能的一个过程)的一个抽象,它可以让你对一个Topology表达为“做什么,what”(声明式),而不是“如何做,how”(命令式),关于声明式编程和命令式编程的区别,可以参看这篇文章http...

2016-02-02 11:33:38

阅读数:664

评论数:0

storm 初识

Storm是什么? Storm是一个分布式的实时流处理框架。 “实时”怎么理解? “实时”一般指的是near real-time(近实时),即系统对特定事件处理的响应时间对终端用户没有明显的延迟,通常响应时间为毫秒级别。对于Storm来说,实时(sub-second time,亚秒级)和近实...

2016-01-21 17:47:58

阅读数:487

评论数:0

什么是大数据(Big Data)?

什么是大数据? 可以从四个方面描述:数据量(volume)、处理速度(velocity)、多样性(variety)、真实性(veracity),简称4V。 Volume(数据量) 数据量大是大数据的比较明显的特征。每天的数据增长块。 Velocity(速度) 要求数据的处理速度比较快,能够及时快...

2016-01-08 11:09:52

阅读数:1316

评论数:0

ZooKeeper 解惑

今年年初的时候,写了一篇ZooKeeper的入门文章《初识ZooKeeper》,一直到这一周,才有时间将ZooKeeper整个源码通读了一遍。不能说完全理解了ZooKeeper的工作原理与细节,但是之前心中一直关于ZooKeeper的疑问都得到了解释。 现在网上关于ZooKeeper的文章很多,...

2016-01-07 15:27:40

阅读数:336

评论数:0

ZooKeeper 初识

ZooKeeper是一个高可用、高性能的分布式协调服务,可用于命名服务、配置管理、分布式同步等实现。并且现在越来越多的分布式应用开始依赖ZooKeeper,如HBase、Storm等。可以把ZooKeeper看做类似文件系统的目录树,和文件系统不同的是没有目录和文件的概念,而是由一个一个节点组成的...

2016-01-07 15:24:51

阅读数:269

评论数:0

ZooKeeper 分布式锁

大家也许都很熟悉了多个线程或者多个进程间的共享锁的实现方式了,但是在分布式场景中我们会面临多个Server之间的锁的问题,实现的复杂度比较高。利用基于google chubby原理开发的开源的zookeeper,可以使得这个问题变得简单很多。下面介绍几种可能的实现方式,并且对比每种实现方式的优缺点...

2016-01-07 11:30:14

阅读数:334

评论数:0

JNDI

NDI 是什么 JNDI是 Java 命名与目录接口(Java Naming and Directory Interface),在J2EE规范中是重要的规范之一,不少专家认为,没有透彻理解JNDI的意义和作用,就没有真正掌握J2EE特别是EJB的知识。 那么,JNDI到底起什么作用? 集中管...

2016-01-05 22:04:47

阅读数:317

评论数:0

HBase 架构

数据的查找及传输 HBase 和RDBMS的底层存储结构的不同 RDBMS 的底层存储结构大多为B+树结构,这种结构可以通过主键对数据进行高效的查找、插入和删除操作,并且支持范围扫描(叶子节点之间相连并且主键有序)。 HBase 的底层存储使用的是LSM树结构,这种结构的写操作(插入/修改/删除...

2015-12-31 16:50:01

阅读数:380

评论数:0

HBase Write Path(写路径)

HBase是一个基于HDFS、低延迟的列式数据库,它支持随机访问和更改HDFS上的数据,但HDFS中的文件是只能附加的,并且一旦创建后是不能改变的,那么HBase是怎么做到低延迟读写的?该文主要介绍了HBase的写路径(Write Path),即HBase中的数据是怎么更改的? Write Pa...

2015-12-31 16:45:18

阅读数:606

评论数:0

HBase Log Splitting(日志拆分)

该文主要介绍了HBase在一个region server崩溃后,如何通过日志拆分(Log Split)的方式来恢复丢失的修改,防止数据丢失的。 Log Split(日志拆分) HBase为了提高写的性能,将数据的修改先放到memstore内存中,这样做的缺陷是当region server崩溃时,m...

2015-12-30 17:50:58

阅读数:1507

评论数:0

There are 0 datanode(s) running and no node(s) are excluded in this operation

在hive中,创建表后,使用load data命令加载数据到表中,出现“There are 0 datanode(s) running and no node(s) are excluded in this operation”错误,于是使用jps命令查看datanode节点是否都已经启动,发现都...

2015-12-13 09:18:23

阅读数:7350

评论数:2

Hive 初识

Hive是什么?干嘛用的?工作机制?优缺点?区别?为什么要用它? HIve是什么? Hive是一个基于Hadoop的数据仓库工具,提供了方便查询和管理海量数据的能力,它可以把结构化的数据文件转化为一张数据库表,并支持简单的类SQL的查询功能(这对于熟悉关系型数据库的程序员来说就大大降低了学习门槛)...

2015-12-01 16:04:19

阅读数:339

评论数:0

redis 初识

Redis是什么? Redis是一个以键值对形式存储的NoSql数据库,它的所有数据都存储在内存中,并且可以将内存中的数据持久化到磁盘上。它可以用作数据库、缓存系统和消息代理等。它支持5中数据结构String、List、Hash、Set、Sort Set。并且内置了主从复制功能、Lua脚本、

2015-11-22 17:05:55

阅读数:374

评论数:0

ImportError: No module named redis

在安装过Redis后,通过Python程序导入redis时,遇到一个“ImportError: No module named redis”错误,网上查了下原因,解决办法如下: Python默认是不支持Redis的,当引用redis时就会报错: [root@master ~]# python Py...

2015-11-05 14:41:38

阅读数:12186

评论数:1

声明式编程和命令式编程的比较

先统一一下概念,我们有两种编程方式:命令式和声明式。   我们可以像下面这样定义它们之间的不同: 命令式编程:命令“机器”如何去做事情(how),这样不管你想要的是什么(what),它都会按照你的命令实现。声明式编程:告诉“机器”你想要的是什么(what),让机器想出如何去做(how)。  ...

2015-11-04 15:24:16

阅读数:314

评论数:0

Pig 初识

Pig是什么? Pig是一个脚本语言,可以把它看作一个并行处理大数据集的平台,通过它可以对数据进行group、filter、sort、join等操作,有些类似于SQL,并且允许用户自定义函数来处理数据。它主要运行在Hadoop集群上,可以简化MapReduce程序的开发。 工作机制 那么它是怎么处...

2015-10-30 17:53:47

阅读数:343

评论数:0

Sqoop 初识

Sqoop是什么? Sqoop是一个用于在Hadoop和关系型数据库之间高效传输海量数据的工具,它可以把数据从关系型数据库中导入到HDFS中,也可以把HDFS中的数据导出到关系型数据库中。 工作机制 它是怎么在Hadoop和关系型数据库之间传输数据的呢? 先来看下它是怎么把数据导入到HDFS中的,...

2015-10-26 17:59:13

阅读数:499

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭