码农_程序员-CSDN博客

原创 Kafka（一）： Kafka 入门

Kafka是一种分布式的发布（producer）/订阅（consumer）的消息系统，并支持实时和离线的数据处理、可扩展、持久的。Kafka Server 是分布式部署(Broker)，Kafka 的消息（Topic）存储在Kafka Server上并以Topic进行分类的，而且可以设置消息（Topic）分区（partition），不会造成消息都存储在同一个磁盘从而导致磁盘空间慢的问题，同个partition里的数据是有顺序的（FIFO先进先出）。

2017-05-14 08:47:49 1627

原创 Titan （一）：gremlin.sh 出现错误：java.lang.VerifyError

运行gremlin console 连接hbase+elastricseach 测试操作titan，titan运行的环境是jdk1.8，Linux环境有安装了jdk1.8.0_11环境，符合titan所需的jdk1.8环境，运行./bin/gremlin.sh 报错了，运行不起来。

2017-02-07 21:53:06 1501

原创 Hadoop 2.5.2+hbase1.0.0+zookeeper 3.4.6 集群安装配置

HDFS采用master/slave架构，一个HDFS集群是由一个Namenode和一定数目的Datanodes组成。Namenode是一个中心服务器，负责管理文件系统的名字空间(namespace)以及客户端对文件的访问。集群中的Datanode一般是一个节点一个，负责管理它所在节点上的存储。HDFS暴露了文件系统的名字空间，用户能够以文件的形式在上面存储数据。从内部看，一个文件其实被

2016-11-05 12:45:12 2530

原创 Linux 虚拟机：Network error: Connection refused 排查

我在自己电脑安装了Linux 虚拟机，然后设置了Linux 虚拟机IP，windows上能正常ping 通Linux 虚拟机上IP，采用了FileZilla连接Linux 虚拟机，出现错误: Network error: Connection refused 无法连接到服务器。

2016-10-29 19:10:28 77212 6

原创 Spring Data MongoDB七：进阶Aggregation操作（下）

上一篇已经Aggregation 做了很详细的介绍，这边就不在介绍，Spring Data MongoDB 项目提供与MongoDB文档数据库的集成，Spring Data MongoDB 提供org.springframework.data.mongodb.core.MongoTemplate是对Connection进行封装，提供了连接管理，Spring Data MongoDB 像hibernate等一样提供了模板，mongoTemplate提供调用Aggregation 方法。

2016-10-15 10:31:38 33270 1

原创 Spring Data MongoDB 六：进阶Aggregation操作（上）

1、db.collection.aggregate()可以多个管道，能方便的进行数据的处理。 2、db.collection.aggregate()使用了MongoDB内置的原生操作，聚合效率非常高,支持类似于SQL Group By操作的功能，而不再需要用户编写自定义的JavaScript例程。 3、每个阶段管道限制为100MB的内存。如果一个节点管道超过这个极限,MongoDB将产生一个错误。为了能够在处理大型数据集,可以设置allowDiskUse为true来在聚合管道节点把

2016-10-15 09:36:04 24835

原创 Srping Data Redis 四：Srping Data Redis 入门

Spring Data Redis 提供Jedis，Jredis,rjc等客户端的封装，可以根据需求更换换客服端，使业务代码比较稳定性。以及提供对连接池管理（timeout、maxActive、maxIdle等参数），org.springframework.data.redis.connection包中的RedisConnection和RedisConnectionFactory类来获取Redis连接，Spring Data Redis 提供RedisTemplate是对RedisConnection

2016-10-07 16:36:41 1951

转载 Redis 三：redis.conf 配置详细解析

# redis 配置文件示例 # 当你需要为某个配置项指定内存大小的时候，必须要带上单位，# 通常的格式就是 1k 5gb 4m等酱紫：## 1k => 1000 bytes# 1kb => 1024 bytes# 1m => 1000000 bytes# 1mb => 1024*1024 bytes# 1g => 1000000000 bytes

2016-10-07 09:57:16 1698

原创 Spring Data Redis 二：RedisTemplate实现事物问题剖析和解决

Redis为单进程单线程模式，采用队列模式将并发访问变成串行访问，Redis对事物支持不会很复杂，当一个客服端连接Redis服务时，发出了MULTI命令时，这个连接会进入事物，在执行MULTI命令之后，执行所有的命令都不会执行，会先放到一个队列中，会提示正在Query，当最后执行EXEC命令之后，Redis会按照之前的进入队列的顺序，执行命令。 Spring Data Redis 是对JRedis的客服端进行很好的封装， Spring Data Redis的RedisTemplate提供了MUL

2016-10-04 22:33:30 33027 4

原创 Redis 一：Linux下安装Redis并配置服务

1、 Redis为单进程单线程模式，采用队列模式将并发访问变成串行访问。 2、 Redis不仅仅支持简单的k/v类型的数据，同时还提供list，set，zset，hash等数据结构的存储。 3、 Redis支持数据的备份，即master-slave模式的数据备份。 4、Redis支持数据的持久化，可以将内存中的数据保持在磁盘中，重启的时候可以再次加载进行使用。

2016-10-03 23:57:59 9369 2

原创学习MongoDB 十二： MongoDB聚合（Aggregation Pipeline基础篇-下）（四）

上一篇我们对 db.collection.aggregate(pipeline, options)介绍，我们接下来介绍pipeline 参数和options参数的基础认识

2016-06-09 11:33:44 18291 7

原创学习MongoDB 十一： MongoDB聚合（Aggregation Pipeline基础篇上）（三）

db.collection.aggregate()是基于数据处理的聚合管道，每个文档通过一个由多个阶段（stage）组成的管道，可以对每个节点的管道进行分组、过滤等功能，然后经过一系列的处理，输出相应的结果。

2016-06-09 10:47:10 34576

原创学习MongoDB 十： MongoDB聚合（Map-Reduce）（二）

MapReduce要实现两个函数：Map和Reduce。Map函数调用emit(key,value)遍历一个或多个集合中所有的记录,进行分组（group by），然后将key与value传给Reduce函数进行处理，输出结果。（1）MapReduce使用自定义JavaScript函数执行map和reduce操作，所以是基于js引擎，单线程执行，效率不高，比Aggregation复杂，适合用做后台统计等。（2）MapReduce支持分片操作，可以进行

2016-05-21 17:57:36 8712

转载 MongoDB MapReduce 性能提升20倍的优化宝典

自从MongoDB被越来越多的大型关键项目采用后，数据分析也成为了越来越重要的话题。人们似乎已经厌倦了使用不同的软件来进行分析（这都利用到了Hadoop），因为这些方法往往需要大规模的数据传输，而这些成本相当昂贵。 MongoDB提供了2种方式来对数据进行分析：Map Reduce（以下简称MR）和聚合框架（Aggregation Framework）。MR非常灵活且易于使用，它可以很好地与分片（sharding）结合使用，并允许大规模输出。尽管在MongoDB v2.4版本中，由于JavaS

2016-05-16 21:57:08 6774 2

原创学习MongoDB 九： MongoDB聚合（单一用途的聚合方法）（一）

聚合指各种可以处理批量记录并返回计算结果的操作，并MongoDB提供了丰富的聚合操作，MongoDB提供了进行聚合的三种方式：聚集管道（Aggregation）,Map-Reduce方法,和单一用途的聚合方法。单一用途的聚合方法:db.collection.count(), db.collection.group(), db.collection.distinct()。

2016-05-15 22:03:34 3465

转载 Redis与Memcached的区别

在Redis中，并不是所有的数据都一直存储在内存中的。这是和Memcached相比一个最大的区别。Redis只会缓存所有的 key的信息，如果Redis发现内存的使用量超过了某一个阀值，将触发swap的操作，Redis根据“swappability = age*log(size_in_memory)”计算出哪些key对应的value需要swap到磁盘。然后再将这些key对应的value持久化到磁盘中，同时在内存中清除。这种特性使得Redis可以保持超过其机器本身内存大小的数据。当然，机器本身的内存必须要

2016-03-16 11:17:19 1586

原创 Spring Data MongoDB 五：进阶文档查询（分页、Morphia）（二）

SpringData MongoDB提供了org.springframework.data.mongodb.core.MongoTemplate对MongoDB的find的操作，我们上一篇介绍了基本文档的查询，我们今天介绍分页查询，分页查询是返回到匹配文档的游标，可以随意修改查询限制、跳跃、和排序顺序的功能。

2015-08-13 23:25:05 24937 14

原创 Spring Data MongoDB 四：基本文档修改（update）（一）

Spring Data MongoDB提供了org.springframework.data.mongodb.core.MongoTemplate对MongoDB的update的操作，可以对在存储数据时是以键-值对的集合键是字符串,值可以是数据类型集合里的任意类型,包括数组和文档进行修改，我们今天介绍对基本文档的修改的方法、参数进行介绍。

2015-08-08 12:31:27 56276 5

原创 Spring Data MongoDB 三：基本文档查询（Query、BasicQuery）（一）

Spring Data MongoDB提供了org.springframework.data.mongodb.core.MongoTemplate对MongoDB的CRUD的操作，上一篇我们介绍了对MongoDB的新增和删除，今天我们要介绍Java代码实现对MongoDB实现查询操作。我们回顾一下，我们在之前介绍了MongoDB的基本文档查询，MongoDB的查询语法：

2015-08-01 08:37:16 82201 8

原创 Spring Data MongoDB 二：添加、删除操作

Spring Data MongoDB 项目提供与MongoDB文档数据库的集成，Spring与Hibernate集成时，Spring提供了org.springframework.orm.hibernate3.HibernateTemplate实现了对数据的CRUD操作， Spring Data MongoDB提供了org.springframework.data.mongodb.core.MongoTemplate对MongoDB的CRUD的操作，包括对集成的对象映射文件和POJO之间的CRUD的操

2015-07-26 07:55:47 17574 3

原创学习MongoDB 八： MongoDB索引（索引限制条件）（二）

我们上一篇介绍了索引基本操作，通过db.collection.createIndex(keys, options)语法创建索引，我们继续介绍地理空间索引、索引的限制，使我们在MongoDB时能提高查询效率。

2015-07-20 23:27:44 6317

原创学习MongoDB 七： MongoDB索引（索引基本操作）（一）

在MongoDB建立索引能提高查询效率，只需要扫描索引只存储的这个集合的一小部分，并只把这小部分加载到内存中，效率大大的提高，如果没有建立索引，在查询时，MongoDB必须执行全表扫描，在数据量大时，效率差别就很明显，对于包括一个没有索引的排序操作的查询，服务器必须在返回任何结果之前将所有的文档加载到内存中来进行排序。索引是特殊的数据结构，索引存储在一个易于遍历读取的数据集合中，索引是对数据库表中一列或多列的值进行排序的一种结构。索引项的排序支持高效的相等匹配和基于范围的查询操作。

2015-07-19 15:23:35 12729 1

原创学习MongoDB 六： MongoDB查询（游标操作、游标信息）（三）

db.collection.find()可以实现根据条件查询和指定使用投影运算符返回的字段省略此参数返回匹配文档中的所有字段。并返回到匹配文档的游标，可以随意修改查询限制、跳跃、和排序顺序的功能。

2015-07-17 22:23:20 20780

原创学习MongoDB 五： MongoDB查询（数组、内嵌文档）（二）

我们上一篇介绍了db.collection.find()可以实现根据条件查询和指定使用投影运算符返回的字段省略此参数返回匹配文档中的所有字段，我们今天介绍了对数组和内嵌文档的查询操作，尤其是对$elemMatch 同样可以用在find方法的第二个参数来限制返回数组内的元素，只返回我们需要的文档的介绍。我们经常在查询条件查询内嵌文档数组时，只需要返回主文档并返回内嵌文档数组中我们只需要的值，而不是把内嵌文档的数组都返回。

2015-07-16 23:32:47 35929

原创学习MongoDB 四： MongoDB查询（一）

MongoDB提供了db.collection.find() 方法可以实现根据条件查询和指定使用投影运算符返回的字段省略此参数返回匹配文档中的所有字段。

2015-07-11 12:44:55 15021

原创学习MongoDB 二：MongoDB添加、删除、修改

MongoDB是一个高性能，开源，无模式的文档型数据库，是当前NoSQL数据库产品中最热门的一种。数据被分组存储在数据集中，被称为一个集合（Collenction）和对于存储在MongoDB数据库中的文件，我们不需要知道它的任何结构定义的自由模式，在存储数据时是以键-值对的集合键是字符串,值可以是数据类型集合里的任意类型,包括数组和文档。 MongoDB存储在集合中的所有文件，集合是一组有一组共享公共索引的相关文档，集合类似于关系数据库中的表。在MongoDB中，这些操作修改单个采集数据，为更新和

2015-07-07 00:09:33 24048 1

原创学习MongoDB 三： MongoDB无法启动的解决方法

我们之前介绍了MongoDB入门（安装与配置），我们今天在打开MongDB时，我们先运行cmd.exe进入dos命令界面,然后进入cd D:\mongodb\bin目录下，启动服务或者mongo命令都报了错误。

2015-07-05 19:09:48 30582 3

原创通过Velocity模板实现了Hibernate sql-query的动态（SQL/HQL)

Hibernate对数据库结构提供了较为完整的封装，Hibernate的O/R Mapping实现了POJO 和数据库表之间的映射，以及SQL 的自动生成和执行。而MyBatis是一个支持普通SQL查询，存储过程和高级映射的优秀持久层框架，MyBatis需要使用简单的XML或注解用于配置和原始映射，将接口和Java的POJO（Plain Old Java Objects，普通的Java对象）映射成数据库中的记录。在编写比较复杂的动态SQL语句时，Mybatis的SQL是手动编写的，所以可以按需求指定查询的字

2015-06-29 23:19:21 5265

原创 MongoDB 聚合Group(一)

db.collection.group()使用JavaScript，它受到了一些性能上的限制。大多数情况下，$ group在Aggregation Pipeline提供了一种具有较少的限制适用的替代。可以通过指定的键的集合中的文档和执行简单的聚合函数。在2.2版本中，返回的数组可以包含最多20000个元素；即最多20000个独特的分组。我们比较熟悉的group by 的sql语句select key from table groupby key,而mongoDB没提供SQL那样通过Group B

2015-04-12 18:53:54 32708 3

原创 Spring Data MongoDB 一：入门篇（环境搭建、简单的CRUD操作）

Spring Data MongoDB 项目提供与MongoDB文档数据库的集成。Spring Data MongoDB POJO的关键功能区域为中心的模型与MongoDB的DBCollection轻松地编写一个存储库交互数据访问。

2015-03-22 23:08:28 63700 10

原创学习MongoDB 一：MongoDB 入门（安装与配置）

MongoDB一种非关系型数据库(NoSql)，是一种强大、灵活、可扩展的数据存储方式，因为MongoDB是文档模型，自由灵活很高，可以让你在开发过程中畅顺无比，对于大数据量、高并发、弱事务的互联网应用，MongoDB可以应对自如，MongoDB内置的水平扩展机制提供了从百万到十亿级别的数据量处理能力，还对MapReduce式聚合的支持,以及对地理空间索引的支持。

2015-03-15 15:29:02 29215 16

原创 SpringMVC与Easyui（实现了JSON的展示）、FreeMarker的整合

最近项目一直在用SpringMVC+ Easyui +FreeMarker,最近比较有时间，重新复习一下，整个的搭建的过程，以及使用。 FreeMarker是模板引擎，是一种基于模板的、用来生成输出文本的通用工具,是基于Java的开发包和类库的。FreeMarker被设计用来生成HTML Web页面，特别是基于MVC（Model View Controller）模式的应用程序，FreeMarker与Web容器无关，即在Web运行时，它并不知道Servlet或HTTP，使用Servlet提供的数据动

2015-02-26 14:52:39 10219 1

转载 Spark：一个高效的分布式计算系统

概述什么是SparkSpark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架，Spark基于map reduce算法实现的分布式计算，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是Job中间输出和结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需

2015-01-09 22:37:52 1840

原创 windows编译hadoop 2.x Hadoop-eclipse-plugin插件

Hadoop2.x之后没有Eclipse插件工具，我们就不能在Eclipse上调试代码，我们要把写好的java代码的MapReduce打包成jar然后在Linux上运行，所以这种不方便我们调试代码，所以我们自己编译一个Eclipse插件，方便我们在我们本地上调试，经过hadoop1.x的发展，编译hadoop2.x版本的eclipse插件比之前简单多了。接下来我们开始编译Hadoop-eclipse-plugin插件，并在Eclipse开发Hadoop

2014-12-23 08:59:35 11921 4

原创解决Exception: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z 等一系列问题

Windows下的 Eclipse上调试Hadoop2代码，所以我们在windows下的Eclipse配置hadoop-eclipse-plugin-2.6.0.jar插件，并在运行Hadoop代码时出现了一系列的问题，搞了好几天终于能运行起代码。接下来我们来看看问题并怎么解决，提供给跟我同样遇到的问题作为参考。

2014-12-20 15:38:45 62749 30

原创 Hadoop2 伪分布式部署

Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求，可以以流的形式访问（streaming access）文件系统中的数据，则MapReduce为海量的数据提供了计算。Hadoop 容易开发和运行处理大

2014-12-19 08:42:52 1958

原创 Nginx+Tomcat+Memcached 实现集群部署时Session共享

我们系统经常要保存用户登录信息，有Cookie和Session机制，Cookie客户端保存用户信息，Session在服务端保存用户信息，如果浏览器不支持Cookie或者用户把Cookie禁掉了，Cookie就用不了，还有不同的浏览器采用不用方式保存Cookie,所以我们采用Session服务端来保存，上一节我们有介绍了Tomcat集群部署，怎么样集群的Tomcat对同个用户请求的都能获取保存在Session的用户信息，采用了Memcached管理Session，Memcached 是一个高性能的分布式内存对

2014-12-11 16:59:49 3887

nginx+tomcat+memcached

空空如也