大数据
codepython
这个作者很懒,什么都没留下…
展开
-
zookeeper客户端 和服务器连接时版本问题
在使用kafka 和zookeeper 实现实时分析程序时,由于zookeeper部署版本和分析程序导入jar包的版本不一致,导致了当实时分析程序从远程服务器连接kafka集群的zookeeper时报错,错误信息如下: [html] view plaincopy 2012-12-31 10:51:41,562-[TS] INFO main-E转载 2015-01-26 17:03:29 · 2596 阅读 · 1 评论 -
对互联网海量数据实时计算的理解
1. 实时计算的概念 互联网领域的实时计算一般都是针对海量数据进行的,除了像非实时计算的需求(如计算结果准确)以外,实时计算最重要的一个需求是能够实时响应计算结果,一般要求为秒级。个人理解,互联网行业的实时计算可以分为以下两种应用场景: 1) 数据源是实时的不间断的,要求对用户的响应时间也是实时的。 主要用于互联网流式数据处理。所谓流式数据是指将数据看作是数据流的形式来处理。数据流则是在时转载 2015-01-13 23:19:19 · 935 阅读 · 0 评论 -
Mapreduce读取和写入Hbase(从A表读取数据,统计结果放入B表,非常详细,附有代码说明以及流程)
Hbase Map Reduce Example – Frequency Counter This is a tutorial on how to run a map reduce job on Hbase. This covers version 0.20 and later. Recommended Readings: – Hbase home, – Hbas转载 2015-01-14 16:18:00 · 2705 阅读 · 1 评论 -
15个nosql数据库
1、MongoDB 介绍 MongoDB是一个基于分布式文件存储的数据库。由C++语言编写。主要解决的是海量数据的访问效率问题,为WEB应用提供可扩展的高性能数据存储解决方案。当数据量达到50GB以上的时候,MongoDB的数据库访问速度是MySQL的10倍以上。MongoDB的并发读写效率不是特别出色,根据官方提供的性能测试表明,大约每秒可以处理0.5万~1.5万次读写请求。Mong转载 2014-12-13 14:39:22 · 542 阅读 · 0 评论 -
HTablePool简单使用例子
HTablePool用在经常要创建表关闭表的程序中,可以大大优化性能,提高效率。 HTablePool() HTablePool(Configuration config, int maxSize) HTablePool(Configuration config, int maxSize, HTableInterfaceFactory tableFactory) maxSize并非转载 2015-01-21 20:07:31 · 872 阅读 · 0 评论 -
Jedis使用示例
Jedis 是 Redis 官方首选的 Java 客户端开发包。 工作过程总结的一个示例,贴出来,如下: Java代码 package com.wujintao.redis; import java.util.Date; import java.util.HashMap; import java.util.Iterator; import java.util.转载 2015-09-06 17:00:52 · 655 阅读 · 0 评论 -
redis读写性能测试
性能测试服务器性能存储 一、基础测试: redis读写性能测试redis官网测试读写能到10万左右,非常吸引人,我在研发环境对redis进行测试,发现redis的速度的确很快,此测试是为日后应用优化提供研发参考。由于受到网络环境的限制,本机是100M的网卡,最高10M/s的传输速度,所以当测试到每秒读取45000条时,测试机和测试服务器上传或者下载速度已经达到转载 2015-09-06 17:02:41 · 2476 阅读 · 0 评论