自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

碧波海天

皓月星空

  • 博客(64)
  • 资源 (10)
  • 收藏
  • 关注

原创 ToolRunner与eclipse hadoop 插件的替代品,简化M/R程序的开发

目前开发的时候测试M/R程序有三种方式1.  直接打成jar包,然后放到服务器中去执行。此方法步骤繁琐,每次都要打包上传。2.  使用Hadoop的Ecilpse插件,但是对于N多的Hadoop版本总替换插件,是不是也是一种痛苦呢?3.  使用Hadoop的测试框架,这种情况我使用的比较少,感觉不太方便,每都相当于在本地启动各个服务(我电脑配置不好,压力啊!!汗一个

2012-09-11 12:44:44 2549

原创 String.split()方法的一点说明

今天在进行开发时结果总是不正确。调试发现如下内容:原字符串valStr="1.txt\\*\\&\\*5" 想拆分成1.txt与5,方法如下String[] splitVal = valStr.split("\\*\\&\\*");String rowkey = splitVal[0];可是实际结果却是没有拆分成功,结果还是splitVal.length=1

2012-07-31 16:23:16 1003

转载 hbase的replication使用

原地址:http://koven2049.iteye.com/blog/983633hbase-0.90.0的一个重要改进是引入了replication机制,使它的数据完整性得到了进一步的保障。虽然这一功能还不太完善,但是今后必然会变得更加重要。 hbase的replication机制很像mysql statement-based replication。它是通过WALEdit和hlo

2012-07-06 16:54:23 5316

转载 Mongodb VS Hbase

转载:http://hi.baidu.com/i1see1you/blog/item/a8038399d9a777286e068c8a.html1.Mongodb bson文档型数据库,整个数据都存在磁盘中,hbase是列式数据库,集群部署时每个familycolumn保存在单独的hdfs文件中。2.Mongodb 主键是“_id”,主键上面可以不建索引,记录插入的顺序和存放的顺序一样,h

2012-07-06 16:23:55 30376 3

转载 hadoop作业调优参数整理及原理

原地址:http://www.tbdata.org/archives/14701 Map side tuning参数1.1 MapTask运行内部原理当map task开始运算,并产生中间数据时,其产生的中间结果并非直接就简单的写入磁盘。这中间的过程比较复杂,并且利用到了内存buffer来进行已经产生的部分结果的缓存,并在内存buffer中进行一些预排序来优

2012-06-18 15:44:54 1025

转载 使用Hive读取Hbase中的数据

原地址:http://victorzhzh.iteye.com/blog/972406第一步,启动hadoop,命令:./start-all.sh第二步,启动hive,命令:./hive --auxpath /home/dream-victor/hive-0.6.0/lib/hive_hbase-handler.jar,/home/dream-victor/hi

2012-06-18 14:29:08 2814

转载 Hadoop MapReduce容错性分析

转载自董的博客 作者:Dong 网址:http://dongxicheng.org/mapreduce/hadoop-mapreduce-failure-tolerance/本文讲述Hadoop-0.21.0 以及以上版本中MapReduce的容错机制。包括JobTracker,TaskTracker,Job,Task,Record等级别的容错机制。1. JobTracker

2012-06-15 17:09:56 2821

转载 关于NoSQL,你必须知道的九件事

翻译:http://blog.nosqlfan.com/html/1535.html原文:NOSQL DB BASICS FOR THE RDBMS-SAVVY本文提到的列表来源于一篇文章,文章标题是关系型数据库使用者必须知道的一些NoSQL知识。其中总结的九点NoSQL与RDBMS的区别联系非常不错。NoSQLFan为大家翻译在此。原文链接:NOSQL DB BASI

2012-06-15 14:48:20 615

转载 关于HBase的一些零碎事

原地址:http://www.ningoo.net/html/2011/some_tips_about_hbase.html        目前稳定版本的HBase0.90.2只能基于Hadoop0.20.x系列版本,暂不支持最新的0.21.x。而且官方版本的Hadoop0.20.2(或者0.203.0)缺少一个重要的特性,HDFS不支持sync模式的持久,这样HBase就有较大的丢失数据

2012-06-15 13:14:53 502

转载 Region Server意外退出之后…

原地址:http://www.spnguru.com/2011/04/region-server%E6%84%8F%E5%A4%96%E9%80%80%E5%87%BA%E4%B9%8B%E5%90%8E/早晨上班好好的,突然nagios报出一台regionserver挂了。顿时忙碌起来。上去一看,从log中看到这样一条信息2011-04-08 04:02:22,083

2012-06-15 10:42:05 1405

转载 Linux和开源软件的商业化历程

原地址:http://www.oschina.net/news/19409/linux-opensource-commerceLinux和开源软件的商业化历程大致经历了以下几个阶段。1.萌芽阶段(1995年以前)在1995年以前,开源社区基本上没有考虑过商业化运行的问题。与开源软件有关的商业活动仅限于出售开源软件安装盘、书籍及印有开源软件标志的 文化衫等小物品。但是这种商业行为当时

2012-06-14 13:49:35 1995

转载 Hadoop压缩算法说明与选择

原地址:http://yjhexy.iteye.com/blog/565334压缩是否支持多文件和分割:hadoop默认用压缩算法的本地实现===============================邪恶的分割线======================= 压缩是否有本地实现:hadoop的mapReduce算方法需要Splittable的压缩算法支

2012-06-13 10:10:37 2201

转载 Hadoop一些参数以及问题解悉

原地址:http://hi.chinaunix.net/?uid-9976001-action-viewspace-itemid-48380有时候DFSClient 操作hdfs总报连接超时的time out错,不一定都是因为网络原因造成,还有一种比较大的可能性是由于namenode的dfs.namenode.handler.count配置参数太低,默认为10。对hdfs和name

2012-06-13 10:06:34 1812

转载 redis.conf中文版(基于2.4)

原地址:http://my.oschina.net/liuxd/blog/61034?from=20120610# Redis示例配置文件# 注意单位问题:当需要设置内存大小的时候,可以使用类似1k、5GB、4M这样的常见格式:## 1k => 1000 bytes# 1kb => 1024 bytes# 1m => 1000000 bytes# 1mb => 1024*

2012-06-11 09:39:32 842

原创 Hadoop杂解

Hadoop其他开发方法:HadoopStreaming 允许用任何 shell 命令作为 map 或 reduce 函数。libhdfs 是一种基于 JNI 的 C 语言版 API(仅用于 HDFS)。Hadoop Pipes 是一种兼容 SWIG 的 C++ API (非 JNI),用于编写 MapReduce 作业。  Map读入文件不会切割:自己完成InputF

2012-06-08 15:26:00 448

转载 写给15岁的女儿

近日,乐嘉在发布一篇长文,题为《写给15岁的女儿》。他在文章中就恋爱、做人、学习、阅读等问题以信件的方式跟女儿交流,原因是“丫头你不知,爹也害羞,有很多话,一直没和你说,今日和你聊聊”。该文章被网友广泛转发和评论,不少网友表示,读了之后泪流满面,“刚读前两段就眼眶发热了”,“那颗慈父心让人感动”。    文章里,乐嘉以一个正在过37岁生日的父亲的身份,寄语1

2012-06-04 10:46:45 7563

转载 配置Hadoop的机架感知

原地址:http://datasearch.ruc.edu.cn/~boliangfeng/blog/?p=525我们都知道Hadoop的拓扑结构是机架感知的,这样在分配、请求数据副本时,可以根据机架感知的拓扑结构取得选取节点进行操作的权重(参考Hadoop拓扑结构中关于距离的定义)。事实上默认Hadoop是没有机架感知的,要想使用它,需要我们额外的配置,配置过程如下:首先修改na

2012-06-04 10:45:19 2329

原创 为什么移动计算比移动数据更便宜?

首先我们要先弄清楚什么是移动计算,什么是移动数据。假如你是财务的经理,你手下有两名员工:负责商务的小李与负责研发部门的小王。每月统计各部门财务情况时,会发生以下两种情况:小李与小王是新来的,还不懂业务所有事都需要你来做,小李与小王能作的的工作就是将各部门的帐本每天记录好,并在月底交给你,你算出结果交给BOSS,这就是移动数据小李与小王每个月将自已负责部门的帐本记录好,你抽个时间教会

2012-06-03 23:09:09 3426 2

原创 M/R的数据源为HBase时须关闭Speculative Execution

在HBase使用Speculative Execution会加重regionserver的load。 因为用Hadoop map/reduce操作HBase的时候,会尽量采用本地原则,即相应的task尽量使用本地的数据。 而如果另起一个task,则会导致数据不在本地,凭空浪费IO和网络资源。 强烈建议关闭 Speculative Execution 方法是在jobconf中设定

2012-05-30 15:40:04 1020

转载 Hadoop容错性

使用Hadoop来运行你的作业的其中一个主要原因就是它的高容错性,就算在由高失败率的节点或网络组成的大集群内运行的作业,Hadoop都可以让作业成功完成。  Hadoop实现容错的主要方法就是重新执行任务,单个任务节点(TaskTracker)会不断的与系统的核心节点(JobTracker)进行通信,如果一个TaskTracker在一定时间内(默认是1分钟)无法与JobTracker进行通信,

2012-05-30 15:30:14 3477

转载 M/R推测性的执行(Speculative execution)

Hadoop系统有一个问题,它把任务分派到很多个节点,其中很有可能有一些慢的节点会限制剩下程序的执行速度。举个例子,如果有个节点内有一个比较慢的磁盘控制器,那它读取输入数据的速度可能只有所有其它节点的速度的10%。所以当99个map任务都已经完成了,系统仍在等待最后那个比较耗时的map任务完成。  通过强迫任务独立运行于其它的任务,使得单个任务之间不会知道它们的输入数据来自哪里。任务相信Had

2012-05-30 15:29:09 3435

转载 关于Java的23种设计模式的有趣见解

原文地址:http://my.oschina.net/wu2leng/blog/59790在网上看见了这篇文章,作者以轻松的语言比喻了java的32种模式,有很好的启发作用。好东西不得不转创建型模式1、FACTORY—追MM少不了请吃饭了,麦当劳的鸡翅和肯德基的鸡翅都是MM爱吃的东西,虽然口味有所不同,但不管你带MM去麦当劳或肯德基,只管向服务员说“来四个鸡翅”

2012-05-29 17:00:13 437

转载 JAVA String.format 方法使用介绍

原地址:http://www.cnblogs.com/xytop/archive/2008/08/26/1277125.html1.对整数进行格式化:%[index$][标识][最小宽度]转换方式        我们可以看到,格式化字符串由4部分组成,其中%[index$]的含义我们上面已经讲过,[最小宽度]的含义也很好理解,就是最终该整数转化的字符串最少包含多少位数字。我

2012-05-27 15:44:05 351

转载 为什么Firefox的Javascript速度无法超越其它浏览器

来源:http://software.solidot.org/article.pl?sid=10/03/05/0249220九尾火狐 写道 "Firefox在速度上暂时落后于chrome safari和opera。原因并不是Mozilla技术差,而是因为其他浏览器支持的javascript,只是Firefox的一个子集,有很多东西,被其他浏览器忽略了。1) 只有Firefox支持E

2012-05-23 15:57:43 523

原创 java小程序

结果图:代码:import java.awt.Color;import java.awt.Graphics;import java.awt.event.MouseAdapter;import java.awt.event.MouseEvent;import java.io.IOException;import java.util.ArrayList;import javax

2011-06-02 14:34:00 652

转载 WIN7 tortoiseSVN安装后不显示svn图标的处理办法

<br />打开注册表:HKEY_LOCAL_MACHINE/SOFTWARE/Microsoft/Windows/CurrentVersion/explorer/ShellIconOverlayIdentifiers,把TortoiseXXX的提前。

2011-03-07 09:52:00 5974 1

原创 Swing第六刀:老婆不能换,窗户框可以

原地址:http://twaver.servasoft.com/?p=1259<br /><br />闲话<br />到了第六刀,这股刚刚被掀起的Swing学习热情,似乎正如天上飘过的这朵小乌云,在狂暴的烈日暴晒中,已迅速消散殆尽。刚才驻足抬首、啧啧称奇的人群已经迅速消散,继续在每天忙忙碌碌中烦躁,浮躁中无聊。写程序的生活,似乎总少那么一丝颜色,一股激情,一抹精彩。<br />谈论别人的精彩使我们永恒的话题。可是精彩却从未在我们身上发生,这似乎成了我们普通人的宿命。程序员有一个聪明的大脑和颗追求精彩的年轻的

2010-09-06 11:51:00 3174

转载 JavaGUI应用程序发布&数字签名

<br />原地址  http://twaver.servasoft.com/?p=1919<br />avaGUI应用程序部署 JavaGUI程序发布分类<br /> 1) Applet:可以嵌入到浏览器中,通过网页的方式展示给用户<br /> 2) application :有两种发布方式<br /> ü 打包成jar包通过bat的方式运行,或者通过第三方软件打成exe(后续会再详细介绍)<br /> ü 通过Java Web Start的方式发布到服务器端,通过JNLP运行

2010-09-06 11:19:00 1351

原创 元素 float:right 后右对齐换行原因

<br />当非float的元素和float的元素在一起的时候,如果非float元素在先,那么float的元素将被排斥 <br />也就是说,你的span是float:right,但是你文本还是float:none<br />如果要让两者占据同一行:要么你把span先于文本显示 :<span style="float: right">2007-08-18</span> (示例第3行)要么把文本也设成float:<span style="float: left">新闻新闻新闻</spa

2010-06-08 03:28:00 578

转载 多种Spring.jar详解

Spring.jar是包含有完整发布的单个jar包,Spring.jar中包含除了Spring-mock.jar里所包含的内容外其它所有jar包的内容,因为只有在开发环境下才会用到Spring-mock.jar来进行辅助测试,正式应用系统中是用不得这些类的。除了Spring.jar文件,Spring还包括有其它13个独立的jar包,各自包含着对应的Spring组件,用户可以根据自己的需

2010-04-14 17:50:00 419

转载 全面接触Java集合框架

 Java平台提供了一个全新的集合框架。“集合框架”主要由一组用来操作对象的接口组成。不同接口描述一组不同数据类型。 Java 2集合框架图  集合接口:6个接口(短虚线表示),表示不同集合类型,是集合框架的基础。   抽象类:5个抽象类(长虚线表示),对集合接口的部分实现。可扩展为自定义集合类。   实现类:8个实现类(实线表示),对接口的具体实现。  在很大程度上,一旦您理解了接口,您就理解了

2010-04-07 09:38:00 405

转载 Java集合类详解

http://pagead2.googlesyndication.com/pagead/show_ads.js" type="text/javascript">   集合类说明及区别Collection├List│├LinkedList│├ArrayList│└Vector│ └Stack└SetMap├Hashtable├HashMap└WeakHashMapCollection接

2010-04-07 09:36:00 351

转载 Java的编译器给enum自动添加了哪些专用方法?

from Java Tutorial:Java programming language enum types are much more powerful than their counterparts in other languages. The enum declaration defines a class (called an enum type). The enum class bo

2010-04-02 16:10:00 854

转载 UML 继承、实现、依赖、关联、聚合、组合的联系与区别

http://blog.sina.com.cn/s/blog_53a99cf30100d8xi.html这是一堂关于UML基础知识的补习课;现在我们做项目时间都太紧了,基本上都没有做过真正的class级别的详细设计,更别提使用UML来实现规范建模了;本篇主要就以前自己一直感觉很迷糊的几种class之间的关系进行整理,让我们在真正用UML进行比如类图设计时能够更加清晰明了;以下就分别介绍这几

2010-03-26 10:47:00 457

转载 网页栅格系统研究(3):粒度问题

研究(2)中讨论了栅格系统的基础知识。这一篇将集中探讨栅格系统的粒度问题。(注:如非特别指明,栅格系统均指24列960栅格系统)淘宝的首页(截图)目前尚未严格遵守栅格系统,如果重构的话,宽度方向可以考虑采用下面的栅格布局(只考虑页面主体部分,忽略高度的比例):(图1)纷乱的高度世界我们来看下图1左上角。左上角部分目前的宽度为256px, 重构的话可以将宽

2010-01-25 16:58:00 434

转载 含中文字符的字符串长度校验

/** * 得到字符串的字符长度(一个汉字占两个字符长) */ function getBytesLength(str) { // 在GBK编码里,除了ASCII字符,其它都占两个字符宽 return str.replace(/[^x00-xff]/g, xx).length; } /** * 根据字符长来截取字符串 */ functi

2010-01-23 00:00:00 982

转载 网页栅格系统研究(2):蛋糕的切法

首先澄清一个应用场景问题。研究(1)中指出,对于结构复杂的网站,不少设计师们喜欢采用960固定宽度布局。但要注意的是,960并不是万能钥匙,大部分网站没有也不需要栅格系统。Amazon采用的是宽度自适应布局,最大限度的呈现信息。Google更是简简单单,主题部分就一个列表。eBay的页面非常简洁,商品页面宽度自适应,信息自然流畅,噪音少,购物很踏实。类似的站点还有很多,对于这些

2010-01-22 18:45:00 403

转载 网页栅格系统研究(1):960的秘密

研究网页栅格系统前,来看一组数据:网站首页页面宽度 pxYahoo!950淘宝950MySpace960新浪950网易960Live Search958搜狐950优酷960AOL960

2010-01-22 17:05:00 453

转载 简单CSS hack:区分IE6、IE7、IE8、Firefox、Opera

方法一:  跨浏览器的网页设计一直是让人很头疼的问题,这不只是因为浏览器的版本众多,还有一个重要的原因是相同浏览器的不同时期的版本也会有差异,甚至是在不同操作同台上还会有不同。因此使CSS hack技术进行浏览器区分是实现跨浏览器访问一个好方法。CSSHack技术有很多,具体可以查看:  本文据说的主要是通过“.”,“>”,“*”,“_”来区分。以下是本人对

2009-08-30 23:00:00 554

转载 Asp.Net基于forms的验证机制

构建基于forms的验证机制过程如下: 1,设置IIS为可匿名访问和asp.net web.config中设置为form验证 2,检索数据存储验证用户,并检索角色(如果不是基于角色可不用) 3,使用FormsAuthenticationTicket创建一个Cookie并回发到客户端,并存储   角色到票中,如:   FormsAuthentication.S

2009-06-04 10:20:00 446 1

使FireFox可以正常显示google+图片的插件

使FireFox可以正常显示google+,gmail图片的插件,安装需要先GreaseMonkey插件,然后将此脚本拖入FireFox中即可。

2012-09-23

可以在本地提交任务的MagicRunner

详情可查看http://blog.csdn.net/magicdreaming/article/details/7966074。

2012-09-14

asp.net 体质测评

一个评分系统,题目不答案可以自己定义,一个完整的系统,很不错的系统

2009-06-29

asp.net后勤管理系统

一个不完整的系统,有点优点,看看还是可以的

2009-06-29

asp.net实现的一个小巧的留言板

以前自已写过的一个留言板,界面美观大方,操作方便容易,精简小巧。

2008-09-22

c#处理WORD操作的类

c#操作word的一个类,常用的功能,实在

2008-09-22

vc迷宫程式

地图可自定义,界面还可以

2008-04-15

VC++6实现的迷宫程式

可自定义地图,原代码,图形化的自定义地图

2008-04-15

VC.NET实现的迷宫

vc.net 实现的迷宫,界面美观,可自定义地图

2008-04-15

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除