- 博客(81)
- 收藏
- 关注
RSS订阅原创 Hadoop平台优化综述
1. 概述随着企业要处理的数据量越来越大，MapReduce思想越来越受到重视。Hadoop是MapReduce的一个开源实现，由于其良好的扩展性和容错性，已得到越来越广泛的应用。Hadoop作为一个基础数据处理平台，虽然其应用价值已得到大家认可，但仍存在很多问题，以下是主要几个：（1） Namenode/jobtracker单点故障。 Hadoop采用的是master...
2012-02-25 08:15:54
208
Java Map遍历速度最优解
HashMap的遍历有两种常用的方法，那就是使用keyset及entryset来进行遍历，但两者的遍历速度是有差别的第一种:Map map = new HashMap(); Iterator iter = map.entrySet().iterator(); while (iter.hasNext()) { Map.Entry entry = (Map.Ent...
2011-12-09 13:01:54
278
原创 JDK的概念、组成及JDK常用包
JDK是Java学习的开始，那么JDK是什么呢？JDK是由什么组成的呢？JDK常用的包有哪些呢？那么本文将向你介绍这些。AD：JDK概述JDK(Java Development Kit)是Sun Microsystems针对Java开发员的产品。自从Java推出以来，JDK已经成为使用最广泛的Java SDK（Software development kit）。JD...
2011-11-20 16:57:44
430
MySQL性能优化必备25条续
[b]25.为搜索字段建索引[/b]索引并不一定就是给主键或是唯一的字段。如果在你的表中，有某个字段你总要会经常用来做搜索，那么，请为其建立索引吧。 你可以看到那个搜索字串 “last_name LIKE ‘a%’”，一个是建了索引，一个是没有索引，性能差了4倍左右。另外，你应该也需要知道什么样的搜索是不能使用正常的索引的。例如，当你需要在一篇大的文章中搜索一个词时，如： “WHE...
2011-09-06 21:15:03
168
LinkedHashSet源码带来的思考
1、LinkedHashSet具有可预知迭代顺序的Set接口的哈希表和链接列表实现。此实现与HashSet的不同之外在于，后者维护着一个运行于所有条目的双重链接列表。2、LinkedHashSet源码一部分 public class LinkedHashSetextends HashSetimplements Set, Cloneable, Serializable3、...
2011-09-01 21:45:10
153
linux上安装多个tomcat问题
linux上安装多个tomcat并想同时用，大家都知道要修改端口，但往往花了很大力气还是运行不起来。这里提醒大家注意server.xml里的三个地方不能和其他地方相同。 修改server.xml的配置文件： 端口：8005->9005 9080maxThreads="150" minSpareThreads="25" maxSpareThreads="75" ...
2011-08-29 21:55:42
129
MySQL性能优化必备25条
今天，数据库的操作越来越成为整个应用的性能瓶颈了，这点对于Web应用尤其明显。关于数据库的性能，这并不只是DBA才需要担心的事，而这更是我们程序员需要去关注的事情。当我们去设计数据库表结构，对操作数据库时（尤其是查表时的SQL语句），我们都需要注意数据操作的性能。这里，我们不会讲过多的SQL语句的优化，而只是针对MySQL这一Web应用最多的数据库。希望下面的这些优化技巧对你有用。1. 为...
2011-08-29 21:49:56
156
原创 移动互联网时代已经来临，天下将是谁的？谁能笑到最后？
80年代末90年代初，是通信行业的天下，中国电信市场呈喷发之势，本土力量应运而生。巨大中华这个词一时成为人们茶前饭后讨论的焦点，而这个词语的每个字就代表了一家通信制造厂商巨头：巨龙通信、大唐电信、中兴通讯、华为技术。 时光荏苒，20多年过去了，偏安于南方的“中华”快速后来居上，成为挑战全球通信巨头们最具进攻性的新兴力量。 2010年，华为的销售收入达1852亿(人...
2011-08-27 17:20:49
213
java设计模式之strategy(策略模式)和policy模式(泛化的strategy模式)
strategy模式 定义： 运行时刻选择算法 表面上看起来，state模式和strategy模式是非常相似的，但既然他们分成两种不同的模式，就有一定的区别，用一句话来概括就是：策略用来处理算法方式变化，而状态则是处理状态变化。具体可以参考：http://blog.csdn.net/lwzcjd/archive/2009/05/19/4201828.aspx 下...
2011-08-27 17:12:43
982
原创 Java设计模式之State(状态模式)
定义： GOF《设计模式》中给状态模式下的定义为：允许一个对象在其内部状态改变时改变它的行为。 先看一个例子： view plainpackage com.state; public class KissingPrincess { // 标志位，标志是青蛙还是王子。 private boolean isFrog = true;...
2011-08-27 17:11:13
183
java设计模式—工厂模式
一、工厂模式主要是为创建对象提供过渡接口，以便将创建对象的具体过程屏蔽隔离起来，达到提高灵活性的目的。 工厂模式在《Java与模式》中分为三类：1）简单工厂模式（Simple Factory）：不利于产生系列产品；2）工厂方法模式（Factory Method）：又称为多形性工厂；3）抽象工厂模式（Abstract Factory）：又称为工具箱，产生产品族，但不利于产生新的产品； ...
2011-08-27 17:09:10
119
原创 java多线程设计模式详解之五
最后是ThreadPool，负责管理所有的服务器线程，还可以动态增加和减少线程数： package com.crackj2ee.thread; import java.util.*; public class ThreadPool extends ThreadGroup { private List threads = new LinkedList(); private TaskQu...
2011-08-27 17:05:37
123
原创 java多线程设计模式详解之四
ReadWriteLock 多线程读写同一个对象的数据是很普遍的，通常，要避免读写冲突，必须保证任何时候仅有一个线程在写入，有线程正在读取的时候，写入操作就必须等待。简单说，就是要避免“写-写”冲突和“读-写”冲突。但是同时读是允许的，因为“读-读”不冲突，而且很安全。 要实现以上的ReadWriteLock，简单的使用synchronized就不行，我们必须自己设计一个ReadWr...
2011-08-27 17:04:43
139
原创 java多线程设计模式详解之三
前面谈了多线程应用程序能极大地改善用户相应。例如对于一个Web应用程序，每当一个用户请求服务器连接时，服务器就可以启动一个新线程为用户服务。 然而，创建和销毁线程本身就有一定的开销，如果频繁创建和销毁线程，CPU和内存开销就不可忽略，垃圾收集器还必须负担更多的工作。因此，线程池就是为了避免频繁创建和销毁线程。 每当服务器接受了一个新的请求后，服务器就从线程池中挑选一个等待的线程并执行请...
2011-08-27 17:03:03
131
原创 java多线程设计模式详解之二
wait()/notify() 通常，多线程之间需要协调工作。例如，浏览器的一个显示图片的线程displayThread想要执行显示图片的任务，必须等待下载线程downloadThread将该图片下载完毕。如果图片还没有下载完，displayThread可以暂停，当downloadThread完成了任务后，再通知displayThread“图片准备完毕，可以显示了”，这时，displayThr...
2011-08-27 17:00:32
102
java多线程设计模式详解之一
线程的创建和启动 java语言已经内置了多线程支持，所有实现Runnable接口的类都可被启动一个新线程，新线程会执行该实例的run()方法，当run()方法执行完毕后，线程就结束了。一旦一个线程执行完毕，这个实例就不能再重新启动，只能重新生成一个新实例，再启动一个新线程。 Thread类是实现了Runnable接口的一个实例，它代表一个线程的实例，并且，启动线程的唯一方法就是通过Th...
2011-08-27 16:59:22
140
Java中23种设计模式详解
通常，一个设计模式描述了一个被证实可行的方案。这些方案非常普遍，是具有完整定义的最常用的模式。一般模式有4个基本要素：模式名称(pattern name)、问题(problem)、解决方案(solution)、效果(consequences)。 常见的Java设计模式有以下23种： 1、抽象工厂模式(Abstract Factory)：提供一个创建一系列相关或相互依赖对象的接口...
2011-08-27 16:45:55
102
Android系统名词解释汇总
可能刚刚接触Android手机或者接触了一段时间Android手机的玩家还不完全明白一些关于Android系统的名词，看完下面关于 Android的一些名词介绍，你就可以大概知道一些Android的知识了。 1.固件、刷固件 固件是指固化的软件，英文为firmware，它是把某个系统程序写入到特定的硬件系统中的flashROM。手机固件相当于手机的系统，刷新固件就相当于刷系统。...
2011-08-07 16:03:37
327
原创 JAVA连接各种数据库
1、Oracle8/8i/9i数据库（thin模式） Class.forName("oracle.jdbc.driver.OracleDriver").newInstance(); String url="jdbc:oracle:thin:@localhost:1521:orcl"; //orcl为数据库的SID String user="t...
2011-07-27 21:05:37
123
原创 epoll学习笔记
epoll有两种模式,Edge Triggered(简称ET) 和 Level Triggered(简称LT).在采用这两种模式时要注意的是,如果采用ET模式,那么仅当状态发生变化时才会通知,而采用LT模式类似于原来的select/poll操作,只要还有没有处理的事件就会一直通知.以代码来说明问题: 首先给出server的代码,需要说明的是每次accept的连接,加入可读...
2011-06-27 17:44:43
96
java（多线程）实现高性能数据同步
需要将生产环境上Infoxmix里的数据原封不动的Copy到另一台 Oracle数据库服务器上，然后对Copy后的数据作些漂白处理。为了将人为干预的因素降到最低，在系统设计时采用Java代码对数据作Copy,思路 如图： 首 先在代码与生产库间建立一个Connection，将读取到的数据放在ResultSet对象，然后再与开发库建立一个Connection。从 ResultSet取...
2011-06-23 22:36:44
115
分布式系统数据同步解决方案
Web Service 现如今已经成为 SOA 实现标准之一。很多公司已经或者正在参与到 Web Service 项目的实现和部署中。Web Service 的优点在于松散的处理异构系统之间的通信和数据交换，可以随机应变的处理企业各个系统之间的整合问题，处理数据传输、数据同步问题。但是，Web Service 采用 XML 标准进行系统间的数据传输，加大了传输的数据量，尤其是在传输一...
2011-06-23 21:52:13
599
Android上HDMI介绍（基于高通平台）
本文重点针对HDMI在android上的应用，而比较相关的就是overlay机制。overlay在这里只是简单的介绍，后续会有文章再专门详述。 我没记错的话，高通从7X30开始，平台就可以支持HDMI（1.3）输出了。只不过在7x30上通过RGB接口外接一颗HDMI的transmitter来实现；而到了8系列（8x60），高通把这颗IC也集成了，直接就提供HDMI的输出了。（这样...
2011-06-22 20:41:57
129
常见的海量数据处理方法
1. 给定a、b两个文件，各存放50亿个url，每个url各占64字节，内存限制是4G，让你找出a、b文件共同的url？方案1：可以估计每个文件安的大小为50G×64=320G，远远大于内存限制的4G。所以不可能将其完全加载到内存中处理。考虑采取分而治之的方法。s 遍历文件a，对每个url求取 ，然后根据所取得的值将url分别存储到1000个小文件（记为 ）中。这样每个小文件的大约为300...
2011-06-22 20:40:30
1022
Mysql Innodb 引擎优化
InnoDB给MySQL提供了具有提交，回滚和崩溃恢复能力的事务安全（ACID兼容）存储引擎。InnoDB锁定在行级并且也在SELECT语句 提供一个Oracle风格一致的非锁定读。这些特色增加了多用户部署和性能。没有在InnoDB中扩大锁定的需要，因为在InnoDB中行级锁定适合非常 小的空间。InnoDB也支持FOREIGN KEY强制。在SQL查询中，你可以自由地将InnoDB类...
2011-06-13 16:23:41
155
中文繁体和简体相互转换tranditional.txt文件
啊阿埃挨哎唉哀皚癌藹矮艾礙愛隘鞍氨安俺按暗岸胺案骯昂盎凹敖熬翱襖傲奧懊澳芭捌扒叭吧笆八疤巴拔跋靶把耙壩霸罷爸白柏百擺佰敗拜稗斑班搬扳般頒板版扮拌伴瓣半辦絆邦幫梆榜膀綁棒磅蚌鎊傍謗苞胞包褒剝薄雹保堡飽寶抱報暴豹鮑爆杯碑悲卑北輩背貝鋇倍狽備憊焙被奔苯本笨崩繃甭泵蹦迸逼鼻比鄙筆彼碧蓖蔽畢斃毖幣庇痺閉敝弊必辟壁臂避陛鞭邊編貶扁便變卞辨辯辮遍標彪膘表鱉憋別癟彬斌瀕濱賓擯兵冰柄丙秉餅炳病並玻菠播撥缽波博勃搏鉑...
2011-06-13 10:35:11
791
中文繁体和简体相互转换simplified.txt文件
啊阿埃挨哎唉哀皑癌蔼矮艾碍爱隘鞍氨安俺按暗岸胺案肮昂盎凹敖熬翱袄傲奥懊澳芭捌扒叭吧笆八疤巴拔跋靶把耙坝霸罢爸白柏百摆佰败拜稗斑班搬扳般颁板版扮拌伴瓣半办绊邦帮梆榜膀绑棒磅蚌镑傍谤苞胞包褒剥薄雹保堡饱宝抱报暴豹鲍爆杯碑悲卑北辈背贝钡倍狈备惫焙被奔苯本笨崩绷甭泵蹦迸逼鼻比鄙笔彼碧蓖蔽毕毙毖币庇痹闭敝弊必辟壁臂避陛鞭边编贬扁便变卞辨辩辫遍标彪膘表鳖憋别瘪彬斌濒滨宾摈兵冰柄丙秉饼炳病并玻菠播拨钵波博勃搏铂...
2011-06-13 10:34:29
2727
中文繁体和简体相互转换
/** * 繁体和简体的转换 * */public class TrandtionalToSimplified { private static String encoding = "utf-8"; private static String tra; private static String sim; /** * 初始化繁体和简体字库 ...
2011-06-13 10:31:28
221
词性标注程序探讨
程序设计主要分为五个部分，即词频统计和词性符号统计、状态转移概率的计算、发射概率的计算、词性标注、性能评价。词频统计包括训练样本中所有词（含词性）及其出现的频率的统计，用哈希表来存储，记为hash3。词性符号统计包括训练样本中每个词的词性符号及其出现的频率的统计，还包括训练样本中相邻每两个词的词性符号及其出现频率的统计，分别记为hash1和hash2。最后用一个字符串数组统计出...
2011-03-07 20:39:44
181
初探Java 7异常处理功能增强
Java异常处理语法是指是Java开发者最为头疼的事情，也是整个Java程序语言中受到舆论攻击最多的一部分。在Jdk7的研发过程中，对Java异常处理语法进行改进成为重要任务。 此次变动增加了两处对异常处理机制的细微增强： ◆Multicatch：开发者现在能够在一个catch代码块中捕获多个异常类型; ◆Final Rethrow：它可以让开发者捕获一个异常类型及其子类型，并...
2011-03-07 20:35:01
99
原创 Java中堆内存与栈内存分配浅析
原文出处：http://soft.chinabyte.com/database/407/11319907.shtml Java把内存划分成两种：一种是栈内存，另一种是堆内存。在函数中定义的一些基本类型的变量和对象的引用变量都是在函数的栈内存中分配，当在一段代码块定义一个变量时，Java就在栈中为这个变量分配内存空间，当超过变量的作用域后，Java 会自动释放掉为该变量分配的内存空间，该内存空间可以...
2011-03-07 20:30:58
126
原创 Unable to read TLD “META-INF/c.tld” from JAR file
Unable to read TLD “META-INF/c.tld” from JAR file的今天重新open project，以前是用jdk1.5、tomcat5开发、部署的， 本次使用jdk1.6、tomcat6部署，结果总是报错，启动时正常， 在通过浏览器访问项目时，出错， 错误信息如下; Java代码 2008-9-22 10:29:23 org.apache...
2010-11-20 23:16:50
118
原创 eclipse平台编译Hadoop源代码
1. 下载Hadoop源代码Hadoop 各成员源代码下载地址：http://svn.apache.org/repos/asf/hadoop，请使用SVN下载，在SVN浏览器中将trunk目录下的源代码check-out 出来即可。请注意只check-out出SVN 上的trunk 目录下的内容，如：http://svn.apache.org/repos/asf/hadoop/common/tru...
2010-11-14 22:25:10
141
原创 Mapreduce OnlineEvaluation MapReduce在线测试平台
转载：http://delove2.iteye.com/blog/809803我们搭建了一个公共的Hadoop MapReduce在线测试平台，网址：cloudcomputing.ruc.edu.cn. 现在开放注册。下面我们详细介绍这个测试平台。 一．平台简介 欢迎来到云计算的世界，欢迎来到MapReduce OnlineEvaluation！ 这是一个可以自动运行您提交的Mapreduce...
2010-11-14 14:50:05
523
原创 hadoop安装配置 ubuntu9.10 hadoop0.20.2
转载：http://delove2.iteye.com/blog/809800 Hadoop是一个易于安装易于使用的系统，他既适用于云计算的新人学习，也适用于对云计算已经有一定研究的人深入学习（包括网格计算，并行计算等等）。Hadoop源于nutch，hadoop的两位创始人想开发一款开源的网络搜索引擎，但是在管理大量计算机时遇到了问题。后来google发表了关于GFS与MapReduce...
2010-11-14 14:47:17
103
原创 用 Hadoop 进行分布式数据处理
简介： 本文是讨论 Hadoop 的系列中的第一篇。本文介绍 Hadoop 框架，包括 Hadoop 文件系统 (HDFS) 等基本元素和常用的节点类型。学习如何安装和配置单节点 Hadoop 集群，然后研究 MapReduce 应用程序。最后，学习使用核心 Web 界面监视和管理 Hadoop 的方法。 <!--<p class="ibm-no-print">&...
2010-11-13 22:36:01
649
原创 使用 Linux 和 Hadoop 进行分布式计算
简介： 人们每天都依赖搜索引擎以从 Internet 的海量数据中找到特定的内容，但您曾经想过这些搜索是如何执行的吗？一种方法是 Apache 的 Hadoop，它是一个能够对海量数据进行分布式处理的软件框架。Hadoop 的一个应用是并行索引 Internet Web 页面。Hadoop 是一个受到 Yahoo!、Google 和 IBM 等公司支持的 Apache 项目。本文将介绍 Hadoo...
2010-11-13 22:33:37
141
原创 基于Eclipse的Hadoop应用开发环境的配置
基于Eclipse的Hadoop应用开发环境的配置配置好了Hadoop运行环境，下一步就要配置，开发环境了。实际上开发环境很好配置，网上很多的帖子，都指向了IBM提供的Hadoop开发工具，这个工具很好用。大家打开这个网址，很容易就能Step by step搞定，http://www.alphaworks.ibm.com/tech/mapreducetools。但是细心的读者不难发现，这个...
2010-11-13 16:04:44
165
原创 基于hadoop 0.19.0 + jdk 1.6 + eclipse 3.3.2 开发环境配置
今天配置了一下hadoop0.19.0开发环境，1.首先安装JDK1.6（因为hadoop 0.19.0 是需要使用 jdk1.6 ），安装Eclipse 3.3.22.修改eclipse.ini增加粗体：-showsplashorg.eclipse.platform--launcher.XXMaxPermSize256m-vmC:\Program Files\Java\jdk1.6.0_12\b...
2010-11-13 16:02:58
118
Ubuntu 10.10下安装eclipse-jee-helios-linux-gtk.tar.gz
Eclipse是Java开发的最佳环境，支持windows，linux等多个OS平台，Ubuntu作为极佳的操作系统平台，好马配好鞍，安装Eclipse非常方便，下面将安装eclipse IDE的步骤分享一下。1,从eclipse官方网站上下载最新的tar.gz文件，链接http://www.eclipse.org/downloads/，这里面选择Linux 32 bit版本，下...
2010-11-13 15:56:53
300
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人