- 博客(18)
- 收藏
- 关注
RSS订阅原创 Jedis Cluster 扩展方案
Infra Redis ClientInfra Redis client 基于 Jedis 实现了对 Redis 集群的访问封装。Redis Client 能做什么？Infra Redis client 提供如下特性:支持双机房集群 failover 方案支持以 pipeline 方式访问 Redis 集群支持 Redis 访问实时监测怎么使用 Redis ...
2016-09-28 10:58:37
191
1
原创 Java Collections 中的通用实现
Java Collections 框架中的接口，有很多方法被标注为可选的（optional），这意味着允许具体的实现类不实现这些方法，被调用到的时候直接抛出一个 UnsupportedOperationException 异常。 同时 Java 也提供了一系列的通用实现（general purpose implementations），这些实现适用于所有通用的场景，它们实现了对应接口的...
2016-01-06 12:47:17
173
原创 Java Collections 框架
Collection（下称"对象集"） 指一个能够表示一组对象的对象（比如数组）。Java 平台提供了一个 Collections 框架，它是一个统一的架构，用来表示和处理对象集，同时又对每一个具体的对象集做了很多实现上的算法优化。 Collections 框架的主要优点有：降低编程成本：这些数据结构和算法都已经摆在那里，你就不用自己实现了。提升性能：提供的数据结构和算法...
2015-12-30 17:07:24
175
原创 Scala 简介
可扩展的语言Scala 是“Scalable Language”的首字母缩写，scala即可提供所见即所得的编程体验，也可以用在高性能的关键系统中。Twitter、LinkedIn和Intel都在用。 面向对象Scala 是一门存粹的面向对象的语言，每一个变量都是对象，每一个操作都是对象的方法调用。语言支持基于类特性的高级组件结构。很多传统的设计模式都在 Scala 中内部...
2015-12-30 13:11:39
253
原创 Redis (二) -- List 数据类型
列表（List）通常有两种实现方案：链表和数组。Redis 的列表是通过链表方式实现的，其优点是在列表头部或尾部的插入操作时间复杂度是 O(1) ；缺点是通过下标访问元素的效率不及数组列表。如果需要频繁地访问一个很大集合的中间部分数据，可以采用 Sorted sets 数据结构。 小试牛刀LPUSH 命令从左边（队列头）插入一个元素，RPUSH 命令从右边（队列尾）插入...
2015-12-15 14:26:01
120
原创 Redis (一) -- 基本介绍和 String 类型
Redis 支持丰富的数据格式，下面是 Redis 支持的数据格式列表： Binary-safe strings 二进制安全的字符序列Lists 按插入时间排序的字符串集合，基本上是链表。（从字面意思看，如果列表过长时会换用其他数据结构）Sets 唯一的无序的字符串集合Sorted sets...
2015-12-11 13:45:29
125
Hive (二) 系统架构
下图是 hive 系统的整体结构图Hive 体系结构上图显示了 Hive 的主要组件以及 Hive 跟 Hadoop 的交互过程，这些组件分别是：UI：用户提交查询和其他操作到系统的用户接口。Driver：接收查询的组件，负责 session 管理，提供基于 JDBC/ODBC 接口的执行和数据拉取 API。Compiler：解析查询，对查询的不同部分做语法分析，生...
2015-12-10 13:53:39
165
原创 Hive (一) 简介
Hive 是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的 sql 查询功能，可以将 sql 语句转换为 MapReduce 任务进行运行。 其优点是学习成本低，可以通过类 SQL 语句快速实现简单的 MapReduce 统计，不必开发专门的 MapReduce 应用，十分适合数据仓库的统计分析。 适用场景Hive 的最佳...
2015-12-10 11:51:51
88
原创 Kafka（五） -- 数据导入导出
用命令行方式读写 Kafka 玩玩还行，真正投入实际使用时，往往需要把数据导入到 Kafka 或导出 Kafka 数据到本地文件中。这里我们学习一下怎么实现这个功能。 先创建一个本地源数据文件： echo -e "foo\nbar" > test.txt 然后我们启动一个独立（standalone）模式的连接： bin/connect-standa...
2015-12-09 11:15:13
2410
2
原创 Kafka（四） -- 创建多实例集群
这一节我们看下怎么创建一个多实例的集群（以三个节点为例）。 一、 创建配置文件 进入到 Kafka 主目录，以 config/server.properties 为原型，创建两个新的节点配置文件 cp config/server.properties config/server-1.propertiescp config/server.propertie...
2015-12-08 22:42:29
670
原创 Kafka（三） -- 安装和使用
以下我们分五个步骤来说明 Kafka 系统的安装和使用（命令行方式） （一）下载代码 下载链接：https://www.apache.org/dyn/closer.cgi?path=/kafka/0.9.0.0/kafka_2.11-0.9.0.0.tgz 下载后解压： tar -xzf kafka_2.11-0.9.0.0.tgzcd kafka...
2015-12-08 21:11:12
99
原创 Kafka（二） -- Kafka 用在哪
从 Kafak 官网介绍来看，它适用于如下七类场景 消息分发(Messaging)Kafka 可以替代传统的消息中间代理系统，相比之下 Kafka 有更高的吞吐量，内置的数据划分、多副本、容错机制使得它是大规模消息处理应用的一个很好选择。这个领域里比较传统的系统是 ActiveMQ 和 RabbitMQ。 网络行为跟踪（Website Activity...
2015-12-08 11:07:31
527
原创 Kafka（一） -- Kafka 简介
时过境迁，Kafka 已经把自己的定位改为日志提交服务。现在官方的说法是： Kafka是一个分布式的、分片的、多副本的日志提交服务。基于一个统一的设计，它同样也提供消息系统的功能。 （之前的说法是：Kafka 本质上是一个分布式的消息队列，但是也可以用来做日志传输的中转组件。它的主要特点如下：分布式。内部包含多个Broker，在客户端使用分片机制来实现负载均衡...
2015-12-07 13:41:47
212
原创 怎样改进英式中文
LeanCloud 推荐的余光中先生的文章，讲了很多英式中文的问题，在工作中经常碰到。 原文链接：http://open.leancloud.cn/improve-chinese.html 阅读笔记： ...
2015-11-30 15:37:01
280
原创 Maven Profile（一）-- Profile 简介
为了解决程序可移植性的问题，Maven 2.0 开始引入了 profile 的概念。 那什么是程序的可移植性问题呢？简单来说就是在一个地方构建和运行是成功的，但是在另一个地方构建或运行却失败了，这样的程序就出了可移植性问题。在基于 Maven 的 java 工程中，我们经常遇到的可移植性问题主要有如下几种：插件可能会被配置一些本地路径 比如 maven-protoc-p...
2015-11-19 18:27:21
171
原创 Maven Profiles 使用
本文是译文，原文链接 http://maven.apache.org/guides/introduction/introduction-to-profiles.html Introduction to Build Profiles Apache Maven 2.0 竭尽全力去保证构建是可移植的，这意味着允许构建配置在 POM 文件中，从而避免所有的文件系统引用。Maven 倾向...
2015-11-19 13:35:15
418
原创 Maven filter 配置的使用
目标通过 Maven 的 filters 机制对不同环境（开发、预发布、生产）应用不同的配置信息 步骤1. 首先需要配置 profile 信息，在不同的 profile 中指定变量 “env”为不同的值<profiles> <!-- 开发/测试环境，默认激活 --> <profile> &l...
2015-10-31 15:39:56
617
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人