自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(49)
  • 资源 (5)
  • 收藏
  • 关注

mysql 时间比较

在程序里使用sql的时候遇到这样一个问题,有两个字段 opDate 和 cuDate 数据库中都是Varchar类型,值的范例为: opDate -- > 2009-12-01 00:00:00.0  cuDate--> 20091201  ,但在sql 中必须要opDate=cuDate 这种操作 .那么怎么才能匹配上相同天呢?我们需要做时间转换。 select * from...

2012-08-16 14:45:05 198

原创 jdk环境变量配置

安装,配置j2sdk:执行j2sdk安装程序,自定义路径,我们的安装路径为:C:\j2sdk1.4.2_04配置j2sdk:配置环境变量:我的电脑->属性->高级->环境变量->系统变量中添加以下环境变量:JAVA_HOME=C:\j2sdk1.4.2_04CLASSPATH=.;C:\j2sdk1.4.2_04\lib\tools.jar;C:\...

2012-08-13 15:45:56 133

解决url编码问题

url中包含中文一般需要编码,而在编解码中由于浏览器或者个人系统编码的原因,可能会有不同的编码访问形式,因此在解码的时候需要注意,不然很容易出现乱码。在最近工作中遇到了这个问题,虽然没有完全解决乱码,但依据次方式能够解决大部分此类问题。例: url="%25b1%25a6%25c2%25ed1%25cf%25b5%25b3%25a8%25c5%25f1" 我们在解码时用到String...

2012-06-13 15:18:04 584

关于list中对象排序

list中对象排序需要实现Comparator接口,具体操作如下:public class Mycomparator implements Comparator{ public int compare(Object o1,Object o2) { if(o1.getPv()<o2.getPv()) return 1; else retu...

2012-06-13 14:57:45 117

java基础集合总结(LinkedList)

LinkedList是List中的另一种实现,如果在现实中需要从列表中间位置删除或添加元素,那么无疑使用Linkedlist更为合适。方法1 public static void testLinkedList(){ LinkedList<String> list = new LinkedList<String>(); list.add("a...

2012-05-08 17:17:18 98

java基础集合总结(list)

(一) list的存,移除和清空方法1 public static void testList(int i){ list.add(i); System.out.println(list.get(0)); list.remove(i); System.out.println(list.size()); }方法2      public static voi...

2012-05-08 14:22:39 112

java程序小优化

转公司一同事的经验1.JVM管理两种类型的内存:堆内存(heap),栈内存(stack),堆内在主要用来存储程序在运行时创建或实例化的对象与变量.而栈内存则是用来存储程序代码中声明为静态(static)(或非静态)的方法.2 .JVM中对象的生命周期,创建阶段,应用阶段,不可视阶段,不可到达阶段,可收集阶段,终结阶段,释放阶段3.避免在循环体中创建对象,即使该对象占用内存空...

2012-05-03 14:39:26 77

原创 mysql 重复插入数值的问题

浅谈unique列上插入重复值的MySQL解决方案2009-11-02 07:00出处:51cto作者:佚名【我要评论】 [导读]本文将介绍在MySQL中unique列上插入重复值的解决方案,希望对广大数据库开发人员有所帮助。   本文的unique列上插入重复值解决方案,主要基于MySQL平台。通过这些,可以做到一些新的功能和应用。希望本文能对大家有所帮助。  当...

2012-01-10 13:57:40 132

原创 hbase 安装经历

转载的: 前提是HBase-0.90.4与Hadoop-0.20.203.0以下两行红字可以解决HBase与Hadoop的连接问题(连接需要一致性的版本)最近打算试试Hbase,Hadoop是前几天已经装好的,三台虚拟机(机房老师看到说:“你还真敢玩”)hadoop 版本0.20.203.0hbase版本0.90.4hbase按照网上文档配置完成以后总是出现(maste...

2011-11-23 16:55:53 102

原创 eclipse启动异常处理

转的 http://wxmfly.iteye.com/blog/233421 直接删了eclipse.ini 

2011-10-11 08:55:33 141

linux 上通过脚本运行jar的时候找不到java_home

1 首先查看服务器的java 环境变量 env |grep -i java 得到: JAVA_LIBRARY_PATH=/opt/sohuhadoop/hadoop/lib/native/Linux-amd64-64JAVA_HOME=/usr/local/jdk然后export JAVA_LIBRARY_PATH=/opt/sohuhadoop/hadoop/lib/...

2011-09-21 16:46:35 1058

原创 hadoop 压缩文件处理

转:自从Hadoop集群搭建以来,我们一直使用的是Gzip进行压缩当时,我对gzip压缩过的文件和原始的log文件分别跑MapReduce测试,最终执行速度基本差不多而且Hadoop原生支持Gzip解压,所以,当时就直接采用了Gzip压缩的方式关于Lzo压缩,twitter有一篇文章,介绍的比较详细,见这里:Lzo压缩相比Gzip压缩,有如下特点:压...

2011-09-13 12:01:33 248

nutch 在hadoop运行时引用包不同所引发的问题

今天在部署Nutch的时候出现一个小问题,[code="java"]Exception in thread "main" java.io.IOException: Call to /172.0.8.252:9000 failed on local exception: java.io.EOFException at org.apache.hadoop.ipc.Client.wrapExce...

2011-06-29 16:03:56 120

郁闷的hadoop reduce不能运行

昨天在修改自己程序的时候运到一个问题,首先修改程序的原因是修改前的版本所有逻辑处理都在map中执行,没有用到reduce。后来觉得将一部分逻辑处理放在map,一部分让在reduce中。在重写reduce方法后部署到集群中运行reduce方法体中代码不能运行,起初以为是job配置时写错了format。经过多次调整并确保格式没有任何问题,那问题到底在哪呢,我们看看重写的reduce方法:这...

2011-06-29 10:20:40 273

原创 转-》hadoop 性能因素

1. 通常每个服务器的Map + Reduce总数跟cpu核数大致一致,经验表现为略大于 cpu核数的设置可以发挥最大性能,比如8核配5个map, 5个reduce2. Map数跟Reduce配置个数通常配置相同3. Hadoop允许集群里的不同节点配置Map跟Reduce数不同,避免服务器开销不均 匀4. HDFS block大小默认64M推荐128M5. HDF...

2011-05-19 17:20:51 308

原创 nutch 运行中配置文件的修改

集中了两天时间对nutch的抓取效率进行了研究,根据自己的需求只关心网站的html页面。其余的都filter,配置文件很多,需要记录下以便后面方便:1 nutch-default.xml a. http.content.limit -1 表示抓取整个html页面内容 。 b. fetcher.threads.per.host 5 fetcher.threads.fetch...

2011-05-19 17:02:36 121

nutch运行x point org.apache.nutch.net.URLNormalizer not found.处理

最近工作中遇到瓶颈,主要是没有很好的理解nutch从而使之效率低下,现在要对nutch进行优化,以后也会记录下在学习nutch的时候所遇到的问题。首先x point org.apache.nutch.net.URLNormalizer not found. 这是在运行nutch的时候报出的异常。我们可以发现和URLNormalizer这个有关,URLNormalizer是nutch在inject的...

2011-05-11 13:31:04 220

原创 给字段添加索引

查看索引:show keys from table_name删除索引 :drop index language_index_mul on language_test 建立索引 :CREATE unique INDEX index_domain_name ON domain_nutch (domain_name);

2011-05-04 11:50:05 472

原创 mysql导出表的数据

mysql导出表中数据 :mysql -u user -pxxxxx -P5606 -Dxxxx_db -h192.168.9.101 -e "select * from table" >xxxxxx.txt

2011-04-25 17:24:32 142

原创 一些面试题,总结下以后学习学习

1 一个数组中有若干个词,有重复的,现需要进行词频统计,由高到低进行排列2 用递归实现打印输出斐波那契数列的第n个数3 java如何实现字符串转码即从gb2312转换成UTF-8待续----...

2011-04-21 18:06:14 118

原创 ubuntu突然停电或非法关机导致磁盘数据损坏的解决

昨天临下班了突发事件出现,机器突然断电了。重启后发现自检过程中不能进入自己的目录/home/zk 。机器不能正常启动。 没辙了抱着试一试的想法使用了fsck命令。奇迹发生了:如果有同样的情况,可以尝试一下 进入/sbin 下执行fsck -y 后面是你要恢复的磁盘名称.例如 sda6 等等。然后等他执行完毕可重启计算机,基本就搞定了。...

2011-04-21 11:10:38 1794

原创 修改字段的默认值

一张表中如果有字段名为:updated_at ,字段类型 timestamp , 原始默认值 CURRENT_TIMESTAMP 。在网上查了下说是要先删除这个字段,然后再重新添加字段并给默认值,其实不用,可以用下面sql即可:alter table domain_url modify column updated_at timestamp default '0000-00-00 00:00:...

2011-04-21 11:05:15 716

Lucene3.0 和2.4

今天开始看了下Lucene,在使用极易分词器的时候遇到一个问题:Exception in thread "main" java.lang.NoSuchMethodError: org.apache.lucene.analysis.StopFilter.(Lorg/apache/lucene/analysis/TokenStream;Ljava/util/Set;Z)V at jeasy.a...

2011-04-04 23:50:18 114

原创 Object中的方法

一开始学习java就知道object类是所有类的父类,任何生成的新类都继承自它,即使你没有extends操作构造出来的对象也包含以下方法:[code="java"]public class TestObject { public static void main(String[] args) { TestObject to = new TestObject(); to.clone(...

2011-03-29 10:00:03 96

原创 java基础充电之基础知识

工作有一段时间了,可发现自己越来越浮躁,而且基础差的一塌糊涂。还是静下心里补充一下基础吧。今天无意间看到某位高人在自己博客中给出的几道java基础测试题,自己也试试了,发现很多自己竟然不能正确回答,丢人!比如 : 1 int类型的变量在内存中占用_4_字节,char型的变量在内存占用_16_位。char型占两个字节也就是16位。2 已知字符a的编码是97,大写字符A的编码是65...

2011-03-28 23:01:53 153

原创 初识 Map/Reduce

<br />         刚刚接触hadoop平台三天时间,这三天里由原来的信心百倍变成了现在的无头苍蝇。现在唯一的感觉就是要看要学习的东西太多了。感觉每个知识点里包含了其它你不会的东西,所以就得看A的时候去看B,看B的时候还得学习C。有经验的同事告诉我还是先了解下Map/Reduce再看其它的。那就按着他成功的经历往下走吧。<br />         首先从http://www.apache.org/dyn/closer.cgi/hadoop/core/ 上下载了hadoop0.20源码。同事说最好

2010-06-18 15:52:00 1370

转载 Hbase简单操作(2)

<br />这里我们用一个学生成绩表作为例子,对HBase的基本操作和基本概念进行讲解:<br /><br />下面是学生的成绩表:<br />name grad      course:math   course:art<br />Tom    1                87                    97<br /><br />Jerry   2            100                  80<br /><br />        这里gra

2010-06-12 10:59:00 2943

原创 Hbase简单操作

<br /> <br />Hbase是我接触的新东西。项目组也准备使用它开发一个大的服务平台。我也趁机学习学习,先看看Hbase的简单操作方法吧:<br />虽然Hbase与传统的关系型数据库有很大的不同,但首先建张表还是必须的:/**  * 定义几个常量  */  public static HBaseConfiguration conf = new HBaseConfiguration();  static HTable table = null;  /**  * 创建hbase table

2010-06-12 10:48:00 944

转载 hadoop入门

Map Reduce – the Free Lunch is not over?微软著名的C++大师Herb Sutter在2005年初的时候曾经写过一篇重量级的文章:”The Free Lunch Is Over: A Fundamental Turn Toward Concurrency in Software“,预言OO之后软件开发将要面临的又一次重大变革-并行计算。摩尔定律统制下的软件开发时代有一个非常有意思的现象:”Andy giveth, and Bill taketh away.”。不

2010-06-11 11:38:00 682

转载 FTPClient文件的上传和下载

import org.apache.commons.io.IOUtils; import org.apache.commons.net.ftp.FTPClient; import java.io.File; import java.io.FileInputStream; import java.io.IOException; import java.io.FileOutputStream; /** * Apache commons-net 试用一把,看看FTP客户端工具做的好用不

2010-06-10 17:34:00 11234

原创 如何用多线程下载文件

之前的项目中用到多线程下载文件,当然,说具体点我那是多个线程下载多个文件。实际上具体到某一文件时候还只是用了一个线程去下载,这种方式个人认为还是比较适合那中文件小而多的情况。 但这次不同了,项目中要下载并上传的文件进本都在30M以上。这样的话用以前的方式可就OUT了,于是就要使用一个文件多个线程下载的方式了。同样的还是从代码入手: import java.io.Fi

2010-05-24 15:02:00 1081

原创 jdbc操作clob和blob字段

菜鸟就是菜鸟啊,第一次听说clob和blob。某一任务需要程序中更新一个clob字段,我竟然还在用update语句,结果呢死活给我报语法错误,后来听lead说这是clob字段,让我查下怎么处理clob字段,这才知道妈的还有这玩意。也是从别人哪摘得的代码,甚是好用,贴之: package lob; import java.sql.*; import

2010-05-24 14:32:00 557

转载 jdbc操作clob和blob字段

菜鸟就是菜鸟啊,第一次听说clob和blob。某一任务需要程序中更新一个clob字段,我竟然还在用update语句,结果呢死活给我报语法错误,后来听lead说这是clob字段,让我查下怎么处理clob字段,这才知道妈的还有这玩意。也是从别人哪摘得的代码,甚是好用,贴之: package lob; import java.sql.*; import

2010-05-14 15:11:00 1198

原创 java中使用base64编码----

     base64编码在java中有很好的支持,但需要下载jar包,懒的找jar了,于是找到了源码,呵呵,这个不怕烦的话还可以研究下 代码如下: public class Base64 {    private static final byte[] encodingTable = {            (byte) A, (byte) B, (byte)

2010-05-14 14:48:00 5016 4

原创 线程类中用static要谨慎啊

        今天测试项目的时候发现一个文件被上传了两次,分别是不同的线程上传的,这样大大降低了项目的上传效率。后来分析了半天发现在线程类的成员变量中大量使用了static。郁闷啊。以后要记住不是什么都可以用static的。

2010-05-14 14:45:00 717

原创 ExecutorService并发池的应用

同样还是工作中用到的ExecutorService这个线程池。多线程这块一直在我印象里就是一个难缠的家伙。自己本来也是新手还用了ExecutorService这个类,所以不用想,给我带来了很大的麻烦。ExecutorService这个从API查得好像有三种模式。具体的我也就不多少有什么区别了,因为我也搞不清。最终我选择了Executors.newFixedThreadPool(10);

2010-04-16 16:17:00 3086

原创 java 下载文件的方法(2)

         昨天在写完java下载的文章后就在今天发现了一个问题。通过这个问题也反应出对HttpURLConnection这个类还不了解。趁此机会再添加一些对这个类的了解吧。首先看看前面那断代码在我的程序中出现了什么问题:         在我的程序中有这么一个模块,通过给定的url下载到文件,保存到本地。而文件是binary形式的。例如:http://abc/li.exe,    

2010-04-16 14:12:00 880

原创 java 下载文件的方法

前不久写了个下载文件的方法。经过一段时间在程序中的运用,发现了几个问题。修正一下:public static  File saveToFiles(String destUrl,String path) throws IOException {            final int BUFFER_SIZE = 4096;            System.out.println("

2010-04-15 17:09:00 625

原创 关于java中url编码的问题

今天遇到这样的问题。需要下载一个文件,该文件的url如下: hxxp://www.abc.com/view/img/%E7%BD%91%E4%B8%8A%E8%B4%AD%E7%89%A9.rar      此链接在浏览器下会重定向到别的网站。所以下载下来的文件并非我想要的。查了下原来是url编码后的文件名。那么要想下载就必须对这个编码进行解码。。。。。 程序很简单,java自带编解码

2010-04-15 16:53:00 667

原创 mysql 将表中数据导出 (linux)

今天遇到要导出数据库中表的数据。下面这个就可以搞定。。 #导出指定的表 #导出命令 -u用户名 -p密码 -h主机IP地址 数据库名 表名1 表名2 > 导出文件.sql mysqldump -uroot -proot -h192.168.0.88 ok_db oktable1 oktable2 > ok_db.sql 另外在更改mysql密码时候,网上有些命令

2010-03-08 10:05:00 476

Hadoop实战

入门hadoop,可以很快了解hadoop的原理和如何简单的实现自己的hadoop程序

2011-12-07

Hive基础入门

HIVe学习的不错资料,交接hive如何简单快速实现对海量数据的处理。

2011-12-07

HBase的原理与实验

描述的Hbase的原理,安装已经实现的API,是新手入门的不错教材。值得研究

2011-12-07

超级无敌Python教程

很棒的python教程,从基础入门到深入,满足工作中常见问题的解决

2011-12-07

java笔试最常见的100个问题

java面试中最常问的100个问题。如果你在面试前好好看看这些,肯定会被录用

2011-04-04

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除