- 博客(49)
- 资源 (5)
- 收藏
- 关注
RSS订阅mysql 时间比较
在程序里使用sql的时候遇到这样一个问题，有两个字段 opDate 和 cuDate 数据库中都是Varchar类型，值的范例为： opDate -- > 2009-12-01 00:00:00.0 cuDate--> 20091201 ，但在sql 中必须要opDate=cuDate 这种操作 .那么怎么才能匹配上相同天呢？我们需要做时间转换。 select * from...
2012-08-16 14:45:05
198
原创 jdk环境变量配置
安装,配置j2sdk：执行j2sdk安装程序，自定义路径，我们的安装路径为：C:\j2sdk1.4.2_04配置j2sdk:配置环境变量:我的电脑->属性->高级->环境变量->系统变量中添加以下环境变量：JAVA_HOME=C:\j2sdk1.4.2_04CLASSPATH=.;C:\j2sdk1.4.2_04\lib\tools.jar;C:\...
2012-08-13 15:45:56
133
解决url编码问题
url中包含中文一般需要编码，而在编解码中由于浏览器或者个人系统编码的原因，可能会有不同的编码访问形式，因此在解码的时候需要注意，不然很容易出现乱码。在最近工作中遇到了这个问题，虽然没有完全解决乱码，但依据次方式能够解决大部分此类问题。例： url="%25b1%25a6%25c2%25ed1%25cf%25b5%25b3%25a8%25c5%25f1" 我们在解码时用到String...
2012-06-13 15:18:04
584
关于list中对象排序
list中对象排序需要实现Comparator接口，具体操作如下：public class Mycomparator implements Comparator{ public int compare(Object o1,Object o2) { if(o1.getPv()<o2.getPv()) return 1; else retu...
2012-06-13 14:57:45
117
java基础集合总结（LinkedList）
LinkedList是List中的另一种实现，如果在现实中需要从列表中间位置删除或添加元素，那么无疑使用Linkedlist更为合适。方法1 public static void testLinkedList(){ LinkedList<String> list = new LinkedList<String>(); list.add("a...
2012-05-08 17:17:18
98
java基础集合总结（list）
（一） list的存,移除和清空方法1 public static void testList(int i){ list.add(i); System.out.println(list.get(0)); list.remove(i); System.out.println(list.size()); }方法2 public static voi...
2012-05-08 14:22:39
112
java程序小优化
转公司一同事的经验1.JVM管理两种类型的内存:堆内存(heap),栈内存(stack),堆内在主要用来存储程序在运行时创建或实例化的对象与变量.而栈内存则是用来存储程序代码中声明为静态(static)(或非静态)的方法.2 .JVM中对象的生命周期,创建阶段,应用阶段,不可视阶段,不可到达阶段,可收集阶段,终结阶段,释放阶段3.避免在循环体中创建对象,即使该对象占用内存空...
2012-05-03 14:39:26
77
原创 mysql 重复插入数值的问题
浅谈unique列上插入重复值的MySQL解决方案2009-11-02 07:00出处：51cto作者：佚名【我要评论】 [导读]本文将介绍在MySQL中unique列上插入重复值的解决方案，希望对广大数据库开发人员有所帮助。 本文的unique列上插入重复值解决方案，主要基于MySQL平台。通过这些，可以做到一些新的功能和应用。希望本文能对大家有所帮助。 当...
2012-01-10 13:57:40
132
原创 hbase 安装经历
转载的： 前提是HBase-0.90.4与Hadoop-0.20.203.0以下两行红字可以解决HBase与Hadoop的连接问题（连接需要一致性的版本）最近打算试试Hbase，Hadoop是前几天已经装好的，三台虚拟机（机房老师看到说：“你还真敢玩”）hadoop 版本0.20.203.0hbase版本0.90.4hbase按照网上文档配置完成以后总是出现（maste...
2011-11-23 16:55:53
102
linux 上通过脚本运行jar的时候找不到java_home
1 首先查看服务器的java 环境变量 env |grep -i java 得到： JAVA_LIBRARY_PATH=/opt/sohuhadoop/hadoop/lib/native/Linux-amd64-64JAVA_HOME=/usr/local/jdk然后export JAVA_LIBRARY_PATH=/opt/sohuhadoop/hadoop/lib/...
2011-09-21 16:46:35
1059
原创 hadoop 压缩文件处理
转：自从Hadoop集群搭建以来，我们一直使用的是Gzip进行压缩当时，我对gzip压缩过的文件和原始的log文件分别跑MapReduce测试，最终执行速度基本差不多而且Hadoop原生支持Gzip解压，所以，当时就直接采用了Gzip压缩的方式关于Lzo压缩，twitter有一篇文章，介绍的比较详细，见这里：Lzo压缩相比Gzip压缩，有如下特点：压...
2011-09-13 12:01:33
249
nutch 在hadoop运行时引用包不同所引发的问题
今天在部署Nutch的时候出现一个小问题，[code="java"]Exception in thread "main" java.io.IOException: Call to /172.0.8.252:9000 failed on local exception: java.io.EOFException at org.apache.hadoop.ipc.Client.wrapExce...
2011-06-29 16:03:56
120
郁闷的hadoop reduce不能运行
昨天在修改自己程序的时候运到一个问题，首先修改程序的原因是修改前的版本所有逻辑处理都在map中执行，没有用到reduce。后来觉得将一部分逻辑处理放在map,一部分让在reduce中。在重写reduce方法后部署到集群中运行reduce方法体中代码不能运行，起初以为是job配置时写错了format。经过多次调整并确保格式没有任何问题，那问题到底在哪呢，我们看看重写的reduce方法：这...
2011-06-29 10:20:40
274
原创 转－》hadoop 性能因素
1. 通常每个服务器的Map + Reduce总数跟cpu核数大致一致，经验表现为略大于 cpu核数的设置可以发挥最大性能，比如8核配5个map, 5个reduce2. Map数跟Reduce配置个数通常配置相同3. Hadoop允许集群里的不同节点配置Map跟Reduce数不同，避免服务器开销不均 匀4. HDFS block大小默认64M推荐128M5. HDF...
2011-05-19 17:20:51
308
原创 nutch 运行中配置文件的修改
集中了两天时间对nutch的抓取效率进行了研究，根据自己的需求只关心网站的html页面。其余的都filter，配置文件很多，需要记录下以便后面方便：1 nutch-default.xml a. http.content.limit -1 表示抓取整个html页面内容 。 b. fetcher.threads.per.host 5 fetcher.threads.fetch...
2011-05-19 17:02:36
122
nutch运行x point org.apache.nutch.net.URLNormalizer not found.处理
最近工作中遇到瓶颈，主要是没有很好的理解nutch从而使之效率低下，现在要对nutch进行优化，以后也会记录下在学习nutch的时候所遇到的问题。首先x point org.apache.nutch.net.URLNormalizer not found. 这是在运行nutch的时候报出的异常。我们可以发现和URLNormalizer这个有关，URLNormalizer是nutch在inject的...
2011-05-11 13:31:04
220
原创 给字段添加索引
查看索引：show keys from table_name删除索引 ：drop index language_index_mul on language_test 建立索引 ：CREATE unique INDEX index_domain_name ON domain_nutch (domain_name);
2011-05-04 11:50:05
472
原创 mysql导出表的数据
mysql导出表中数据 ：mysql -u user -pxxxxx -P5606 -Dxxxx_db -h192.168.9.101 -e "select * from table" >xxxxxx.txt
2011-04-25 17:24:32
142
原创 一些面试题,总结下以后学习学习
1 一个数组中有若干个词，有重复的，现需要进行词频统计，由高到低进行排列2 用递归实现打印输出斐波那契数列的第n个数3 java如何实现字符串转码即从gb2312转换成UTF-8待续－－－－...
2011-04-21 18:06:14
118
原创 ubuntu突然停电或非法关机导致磁盘数据损坏的解决
昨天临下班了突发事件出现，机器突然断电了。重启后发现自检过程中不能进入自己的目录/home/zk 。机器不能正常启动。 没辙了抱着试一试的想法使用了fsck命令。奇迹发生了：如果有同样的情况，可以尝试一下 进入/sbin 下执行fsck -y 后面是你要恢复的磁盘名称.例如 sda6 等等。然后等他执行完毕可重启计算机，基本就搞定了。...
2011-04-21 11:10:38
1802
原创 修改字段的默认值
一张表中如果有字段名为：updated_at ，字段类型 timestamp ， 原始默认值 CURRENT_TIMESTAMP 。在网上查了下说是要先删除这个字段，然后再重新添加字段并给默认值，其实不用，可以用下面sql即可：alter table domain_url modify column updated_at timestamp default '0000-00-00 00:00:...
2011-04-21 11:05:15
718
Lucene3.0 和2.4
今天开始看了下Lucene,在使用极易分词器的时候遇到一个问题：Exception in thread "main" java.lang.NoSuchMethodError: org.apache.lucene.analysis.StopFilter.(Lorg/apache/lucene/analysis/TokenStream;Ljava/util/Set;Z)V at jeasy.a...
2011-04-04 23:50:18
114
原创 Object中的方法
一开始学习java就知道object类是所有类的父类，任何生成的新类都继承自它，即使你没有extends操作构造出来的对象也包含以下方法：[code="java"]public class TestObject { public static void main(String[] args) { TestObject to = new TestObject(); to.clone(...
2011-03-29 10:00:03
96
原创 java基础充电之基础知识
工作有一段时间了，可发现自己越来越浮躁，而且基础差的一塌糊涂。还是静下心里补充一下基础吧。今天无意间看到某位高人在自己博客中给出的几道java基础测试题，自己也试试了，发现很多自己竟然不能正确回答，丢人！比如 ： 1 int类型的变量在内存中占用_4_字节，char型的变量在内存占用_16_位。char型占两个字节也就是16位。2 已知字符a的编码是97，大写字符A的编码是65...
2011-03-28 23:01:53
153
原创 初识 Map/Reduce
<br /> 刚刚接触hadoop平台三天时间，这三天里由原来的信心百倍变成了现在的无头苍蝇。现在唯一的感觉就是要看要学习的东西太多了。感觉每个知识点里包含了其它你不会的东西，所以就得看A的时候去看B,看B的时候还得学习C。有经验的同事告诉我还是先了解下Map/Reduce再看其它的。那就按着他成功的经历往下走吧。<br /> 首先从http://www.apache.org/dyn/closer.cgi/hadoop/core/ 上下载了hadoop0.20源码。同事说最好
2010-06-18 15:52:00
1371
转载 Hbase简单操作（2）
<br />这里我们用一个学生成绩表作为例子,对HBase的基本操作和基本概念进行讲解:<br /><br />下面是学生的成绩表:<br />name grad course:math course:art<br />Tom 1 87 97<br /><br />Jerry 2 100 80<br /><br /> 这里gra
2010-06-12 10:59:00
2943
原创 Hbase简单操作
<br /> <br />Hbase是我接触的新东西。项目组也准备使用它开发一个大的服务平台。我也趁机学习学习，先看看Hbase的简单操作方法吧：<br />虽然Hbase与传统的关系型数据库有很大的不同，但首先建张表还是必须的：/** * 定义几个常量 */ public static HBaseConfiguration conf = new HBaseConfiguration(); static HTable table = null; /** * 创建hbase table
2010-06-12 10:48:00
944
转载 hadoop入门
Map Reduce – the Free Lunch is not over?微软著名的C++大师Herb Sutter在2005年初的时候曾经写过一篇重量级的文章：”The Free Lunch Is Over: A Fundamental Turn Toward Concurrency in Software“，预言OO之后软件开发将要面临的又一次重大变革-并行计算。摩尔定律统制下的软件开发时代有一个非常有意思的现象：”Andy giveth, and Bill taketh away.”。不
2010-06-11 11:38:00
682
转载 FTPClient文件的上传和下载
import org.apache.commons.io.IOUtils; import org.apache.commons.net.ftp.FTPClient; import java.io.File; import java.io.FileInputStream; import java.io.IOException; import java.io.FileOutputStream; /** * Apache commons-net 试用一把，看看FTP客户端工具做的好用不
2010-06-10 17:34:00
11234
原创 如何用多线程下载文件
之前的项目中用到多线程下载文件，当然，说具体点我那是多个线程下载多个文件。实际上具体到某一文件时候还只是用了一个线程去下载，这种方式个人认为还是比较适合那中文件小而多的情况。 但这次不同了，项目中要下载并上传的文件进本都在30M以上。这样的话用以前的方式可就OUT了，于是就要使用一个文件多个线程下载的方式了。同样的还是从代码入手： import java.io.Fi
2010-05-24 15:02:00
1081
原创 jdbc操作clob和blob字段
菜鸟就是菜鸟啊，第一次听说clob和blob。某一任务需要程序中更新一个clob字段，我竟然还在用update语句,结果呢死活给我报语法错误，后来听lead说这是clob字段，让我查下怎么处理clob字段，这才知道妈的还有这玩意。也是从别人哪摘得的代码，甚是好用，贴之： package lob; import java.sql.*; import
2010-05-24 14:32:00
559
转载 jdbc操作clob和blob字段
菜鸟就是菜鸟啊，第一次听说clob和blob。某一任务需要程序中更新一个clob字段，我竟然还在用update语句,结果呢死活给我报语法错误，后来听lead说这是clob字段，让我查下怎么处理clob字段，这才知道妈的还有这玩意。也是从别人哪摘得的代码，甚是好用，贴之： package lob; import java.sql.*; import
2010-05-14 15:11:00
1198
原创 java中使用base64编码－－－－
base64编码在java中有很好的支持，但需要下载jar包，懒的找jar了，于是找到了源码，呵呵，这个不怕烦的话还可以研究下 代码如下： public class Base64 { private static final byte[] encodingTable = { (byte) A, (byte) B, (byte)
2010-05-14 14:48:00
5017
4
原创 线程类中用static要谨慎啊
今天测试项目的时候发现一个文件被上传了两次，分别是不同的线程上传的，这样大大降低了项目的上传效率。后来分析了半天发现在线程类的成员变量中大量使用了static。郁闷啊。以后要记住不是什么都可以用static的。
2010-05-14 14:45:00
717
原创 ExecutorService并发池的应用
同样还是工作中用到的ExecutorService这个线程池。多线程这块一直在我印象里就是一个难缠的家伙。自己本来也是新手还用了ExecutorService这个类，所以不用想，给我带来了很大的麻烦。ExecutorService这个从API查得好像有三种模式。具体的我也就不多少有什么区别了，因为我也搞不清。最终我选择了Executors.newFixedThreadPool(10)；
2010-04-16 16:17:00
3086
原创 java 下载文件的方法(2)
昨天在写完java下载的文章后就在今天发现了一个问题。通过这个问题也反应出对HttpURLConnection这个类还不了解。趁此机会再添加一些对这个类的了解吧。首先看看前面那断代码在我的程序中出现了什么问题： 在我的程序中有这么一个模块，通过给定的url下载到文件，保存到本地。而文件是binary形式的。例如：http://abc/li.exe,
2010-04-16 14:12:00
880
原创 java 下载文件的方法
前不久写了个下载文件的方法。经过一段时间在程序中的运用，发现了几个问题。修正一下：public static File saveToFiles(String destUrl,String path) throws IOException { final int BUFFER_SIZE = 4096; System.out.println("
2010-04-15 17:09:00
625
原创 关于java中url编码的问题
今天遇到这样的问题。需要下载一个文件，该文件的url如下： hxxp://www.abc.com/view/img/%E7%BD%91%E4%B8%8A%E8%B4%AD%E7%89%A9.rar 此链接在浏览器下会重定向到别的网站。所以下载下来的文件并非我想要的。查了下原来是url编码后的文件名。那么要想下载就必须对这个编码进行解码。。。。。 程序很简单，java自带编解码
2010-04-15 16:53:00
667
原创 mysql 将表中数据导出 （linux）
今天遇到要导出数据库中表的数据。下面这个就可以搞定。。 #导出指定的表 #导出命令 -u用户名 -p密码 -h主机IP地址 数据库名 表名1 表名2 > 导出文件.sql mysqldump -uroot -proot -h192.168.0.88 ok_db oktable1 oktable2 > ok_db.sql 另外在更改mysql密码时候，网上有些命令
2010-03-08 10:05:00
476
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人