buptsyqx-CSDN博客

翻译数据导入导出的几个关键点

将海量数据移进移出hadoop时，有很多逻辑上的问题需要考虑，比如一致性保证，对数据来源和目的地的资源影响。在研究具体技术之前，需要实现讨论以下几个在进行数据导入和导出时的设计要素：1. 幂等性 An idempotent operation produces the same result no matter how many times it’s executed. In

2014-03-07 16:27:43 945

利用EPHEMERAL_SEQUENTIAL类型节点的特性。允许所有请求都能够创建成功，但是有创建顺序，于是所有的请求最终在zookeeper 上创建结果的一种可能情况是这样：/currentMaster/{sessionId}-1 ,?/currentMaster/{sessionId}-2,?/currentMaster/{sessionId}-3 ….. 每次选取序列号最小的那个机器作为ma

2014-02-21 16:59:45 1431

翻译 HDFS异构存储

本文主要是对http://hortonworks.com/blog/heterogeneous-storages-hdfs/的学习笔记，由于水平所限，领悟不到位的地方，请多多指教。可以搭建各种存储类型，每个应用可根据自身的性能或者成本要求选择一个最合适的。每种存储类型可以主要从三类性能指标进行衡量：1. 每M字节成本2. 持久性该指标是对数据成功写入介质

2014-01-11 16:49:46 1783

原创 c++的new(std::nothrow)

采用 new(std::nothrow）方式创建对象或数组，内存分配失败时将返回一个空指针： A *pa = new (std::nothrow) A(); if (pa == NULL) { //添加处理 }

2014-01-02 15:59:51 1183

原创 c++ new handler机制

所谓new handler机制，就是可以要求系统在内存配置需求无法被满足时，调用一个由用户指定的函数。具体说来，一旦::operator new 无法完成任务，在抛出std::bad_alloc异常状态之前，会先调用由用户指定的处理程序，该处理程序就是 new-handler。new-handler有特定的模式来解决内存不足的问题。

2013-08-04 20:58:05 1270

原创 js端实现jqgrid列动态生成

一般情况下，前端表的格式都是固定的；但是有些业务要求表格的列能够根据不同条件动态变化。对于jqgrid，我曾采用过两种方式满足该需求，第一种是在后端拼接好 colModel、 colNames、datastr的值返回给前端，在前端对jqgrid的相应参数进行赋值；第二种是在前端根据不同参数获得对应的colModel、url的值赋给jqgrid, jqgrid再根据url去请求数据。相比较而言，

2013-07-10 14:20:30 5689 1

原创 hbase与hive整合

1. 原理图1Hive与HBase交互原理图Hive与HBase的整合功能的实现是利用两者本身对外的API接口互相进行通信，相互间依靠hive-hbase-handler.jar工具类 (Hive Storage Handlers )进行通信。注意事项：1、需

2013-07-09 13:58:07 1557

原创 MongoDB Java 客户端占用大量内存

刚开始客户端每个连接都单建一个Mongo实例，7张表的连接高峰期占用内存接近9G，后面Mongo改用单例，内存稳定在2G左右。具体原因待续。。。

2013-06-05 17:21:23 1519

原创 PHP向HBASE同时查询多行多列的信息

$records = $this->hmodel->getRowsWithColumns('web_base_stat', $rows, $columns) 其中$rows是存有多个rowkey的一维数组，$columns是所要读取的多个列。

2013-06-05 17:06:48 1148

原创 hadoop下map获得输入路径的名称

@Override protected void setup(Context context) throws IOException, InterruptedException { FileSplit fs = (FileSplit) context.getInputSplit(); Path pat

2013-05-27 19:57:49 977

转载 HBase性能调优

本文转自：http://kenwublog.com/hbase-performance-tuning配置优化zookeeper.session.timeout默认值：3分钟（180000ms）说明：RegionServer与Zookeeper间的连接超时时间。当超时时间到后，ReigonServer会被Zookeeper从RS集群清单中移除，HMaster收到移除通知后，会

2013-03-29 15:28:11 646

转载 Hbase写路径

转自 http://ptsolmyr.com/index.php/2012/07/21/hbase-write-path/ Apache HBase是基于Hadoop的数据库，底层依赖的是Hadoop DFS。尽管HDFS只支持追加写(append)操作，而且数据一旦被创建，就是不可变(immutable)的，但是HBase却能够支持随机访问，并且可以更新存储在HDFS上的数据。你

2013-03-27 10:55:06 1405

转载 HBase简介

转自 http://www.searchtb.com/2011/01/understanding-hbase.htmlHBase简介HBase – Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。HBase是Google Bigtable的开源实现，类似Google B

2013-03-27 10:02:42 655

原创 Hbase安装小记

按着官网的步骤安装好Hbase-0.94.1的单机版，启动时一直提示找不到相关类的奇怪错误，找了很久才发现是因为原先机器上已经装了另外版本的Hbase，并已经配好了环境变量，虽然已经进入到Hbase-0.94.1的路径下执行启动命令，还是会执行环境变量里配置的命令，启动另一个版本的Hbase，而另一个版本存在找不到相关Jar包的问题。以后要记得仔细观察日志的输出，减少不必要的折腾~

2012-09-29 15:52:35 449

原创解压同一个路径下的多个tar.gz文件

解压当前路径下的所有 .tar.gz 结尾的文件：for log in ./*.tar.gz; do tar xvf $log; done

2012-09-29 15:37:46 886

原创 php导出CSV的实现

public function exportCSV($title, $info) { $count = count(explode(',', $title)); $content = $title; $content = iconv("utf-8", "gb2312", $content) . "\n"; foreach ($

2012-06-01 10:05:53 541

原创 jqgrid中建立subgrid以及操作行数据

$(document).ready(function(){ $("#grid").jqGrid({ url:testurl, datatype: 'json', mtype: 'POST',

2012-05-31 17:56:28 4322 1

原创 ThinkPHP实现登录

首先配置好ThinkPHP，可以参考官网手册，这里使用的数据库是mongodb，记得选择合适的ThinkPHP版本，这里使用的是ThinkPHP3.0RC1_full版本，否则会连不上mongodb，本人就因为这个问题折腾了一个晚上。以下是登录的实现：入口文件，如果未登录则转到登录页面： 2 class IndexAction extends A

2012-05-21 20:08:58 1226

原创 PHP学习笔记

在双引号中，变量名称将被变量值所替代。而在单引号中，变量名称，或者任何其他文本都会不经修改而发送给浏览器。 php的基本数据类型有：Integer、Float(Double)-表示所有实数、String、Boolean、Array、Object；两个特殊的类型：NULL和resource(资源)。没有被赋值、已经被重置或者被赋值为特殊值NULL的变量就是NULL类型的变量。特

2012-05-18 18:17:00 518

原创 java.io.IOException: Broken pipe

Hadoop Streaming编程：采用Python脚本来编写map和reduce脚本时必须注意对异常情况的处理，比如：#!/usr/bin/pythonimport sysfor eachLine in sys.stdin: eachLine = eachLine.strip() Seg = eachLine.split('\x01') if

2012-04-25 16:25:42 5238

转载 FileFilter

本文转载自JAVA-CN.COM. java.io.FileFilter用于迅速地从一个文件结构中找出指定类型的全部文件。FileFilter是JDK 1.2的许多附加部分之一。这个简单的接口用于一个文件是否被接受。它一个非常一般的方法，去找出一个文档系统。在FileFilter和其早期接口FilenameFilter间最大的不同就是：FileFilter使文件作为一个文件对

2012-01-04 22:07:09 493

buptsyqx的专栏