2011年08月_xyz2011

10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

ireport中获取当前时间

一。 iReport 中获取系统当前时间1，选择TextField类型为 java.util.Date2，在pattern中点在Date中选择你要的日期格式如下图 3，在TextField Expression中写 java.util.Calendar.getInstance().getTime() 如下图 ...

2011-08-28 11:53:39 288

ireport引java bean database

今天帮一同事调试程序，他们的报表工具用的是ireport4.0.2,在使用java bean 作为数据源时一直没找到，原因很简单：就是没找对所编译的class 路径。如果使用的eclipse来编译的话，一般class文件都放在项目/bin/class 下面截一个图：最下面的一个是class 所存放的地方 ...

2011-08-27 10:38:37 133

钱多钱少，够吃就好。人丑人美，顺眼就好。人老人少，健康就好。家穷家富，和气就好。老公晚归，回来就好。老婆唠叨，顾家就好。孩子从小，就要教好。博士也好，卖菜也好。长大以后，心安就好。房屋大小，能住就好。名不名牌，能穿就好。两轮四轮，能驾就好。老板不好，能忍就好。一切烦恼，能解就好。坚持执着，放下最好。人的一生，平安就好。不是有钱，一定会好。心好行好，命能改好。谁是谁非，天知就好。修福修慧，来世更好。...

2011-08-25 10:50:15 129

原创几个比较重要的句子

1.说话要用脑子,做事慎言,话多无益.讲话不要只顾一时痛快.信口开河,以为人家给你笑脸就是欣赏,没完没了的把掏心窝子的话都讲出来,结果让人家彻底摸清了家底.还偷笑你.2.遇事不要急于下结论,即便有了答案也要等等,也许有更好的解决方式,站在不同的角度就有不同答案,要学会换位思维.3.对小人一定要忍让,退一步海阔天空,实在不行把属于自己的空间也关给他们,站他们如莺燕舞般陶醉吧.大人大度量.惹着...

2011-08-25 10:49:39 155

使用hadoop的lzo问题!

使用lzo压缩替换hadoop原始的Gzip压缩。相比之下有如下特点：我们这使用的是hadoop客户端。1.压缩解压的速度很快2.lzo压缩是基于block分块的。这样，一个大文件(在hadoop上可能会占用多个block),就可以有多个 MapReduce并行来进行处理。虽然Lzo的压缩比没有Gzip高，不过由于其前2个特性，在Hadoop上使用Lzo还是能整体提升集群的性能的。能提高效率的即是...

2011-08-24 17:12:28 188

原创 hive中partition如何使用

网上有篇关于hive的partition的使用讲解的比较好，转载了：一、背景1、在Hive Select查询中一般会扫描整个表内容，会消耗很多时间做没必要的工作。有时候只需要扫描表中关心的一部分数据，因此建表时引入了partition概念。2、分区表指的是在创建表时指定的partition的分区空间。3、如果需要创建有分区的表，需要在create表的时候调用可选参数partitio...

2011-08-23 23:35:38 1091

hive中配置使用derby.

hive-default.xml<property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:derby:;databaseName=metastore_db;create=true</value> 表示使用嵌入式的derby，create为true表示自动创建数...

2011-08-23 23:20:56 258

原创 hive中UDF和UDAF使用说明

Hive进行UDF开发十分简单，此处所说UDF为Temporary的function，所以需要hive版本在0.4.0以上才可以。一、背景：Hive是基于Hadoop中的MapReduce，提供HQL查询的数据仓库。Hive是一个很开放的系统，很多内容都支持用户定制，包括：a）文件格式：Text File，Sequence Fileb）内存中的数据格式： Java Integer/St...

2011-08-23 23:04:54 592

原创 hive的distribute by应用

hive中的distribute by是控制在map端如何拆分数据给reduce端的。hive会根据distribute by后面列，根据reduce的个数进行数据分发，默认是采用hash算法。对于distribute by进行测试，一定要分配多reduce进行处理，否则无法看到distribute by的效果。hive> select * from test09;OK100 tom...

2011-08-23 17:08:59 732

原创 hive的sort by应用

在hive中不光有order by操作，还有个sort by操作。两者执行的都是排序的操作，但有存在很大的不同。还是用上次order by的例子来说明。测试用例hive> select * from test09;OK100 tom200 mary300 kate400 timTime taken: 0.061 secondshive> select * from test09...

2011-08-23 17:02:38 415

原创 hive的order by应用

hive中的order by也是对一个结果集合进行排序，但是和关系型数据库又所有不同。这不同的地方也是两者在底层架构区别的体现。hive的参数hive.mapred.mode是控制hive执行mapred的方式的，有两个选项：strict和nonstrict，默认值是nonstrict。这个两个值对order by的执行有着很大的影响。测试用例hive> select * from ...

2011-08-23 16:56:41 157

原创 solr是如何存储索引的

我发现一直理解错了，我一直以为分布式索引和分布式搜索是两个不同的事情，其实是一样的.把索引分布在多台计算机上，不就是正好实现了分布式搜索吗?既然索引已经分布式存储了，,因为搜索就是基于索引的，那搜索就自然是分布式的啦。.前面看网上一些理解，一直以为分布式索引和分布式搜索是两个独立分开的过程，不知道理解的对不对? 调研了一下，发现索引文件的数据结构相当复杂，这个好像是每提交一次建索引，就...

2011-08-15 22:43:20 385

原创谈谈爬虫的设计

网络蜘蛛现在开源的已经有好几个了，Larbin，Nutch，Heritrix都各有用户之地，要做一个自己的爬虫要解决好多个问题，比如调度算法、更新策略、分布式存储等，我们来一一看一下。一个爬虫要做的事主要有以下这些从一个网页入口，分析链接，一层一层的遍历，或者从一组网页入口，或者从一个rss源列表开始爬rss；获取每个页面的源码保存在磁盘或者数据库里；遍历抓下来的网页进行处理，比如提取正文，消...

2011-08-07 22:27:43 114