2014年12月_三劫散仙

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创如何给Apache Pig自定义UDF函数？

近日由于工作所需，需要使用到Pig来分析线上的搜索日志数据，散仙本打算使用hive来分析的，但由于种种原因，没有用成，而Pig（pig0.12-cdh）散仙一直没有接触过，所以只能临阵磨枪了，花了两天时间，大致看完了pig官网的文档，在看文档期间，也是边实战边学习，这样以来，对pig的学习，会更加容易，当然本篇不是介绍如何快速学好一门框架或语言的文章，正如标题所示，散仙打算介绍下如何在Pig中，使

2014-12-31 13:02:24 941

Apache Pig如何自定义UDF函数？

[b][color=green][size=large]近日由于工作所需，需要使用到Pig来分析线上的搜索日志数据，散仙本打算使用hive来分析的，但由于种种原因，没有用成，而Pig（pig0.12-cdh）散仙一直没有接触过，所以只能临阵磨枪了，花了两天时间，大致看完了pig官网的[url=http://pig.apache.org/docs/r0.12.1/basic.html]文档[/url...

2014-12-30 19:52:27 163

原创 ElasticSearch入门介绍之安装部署（二）

散仙，在上篇文章对ElasticSearch整体入门作了个介绍，那么本篇我们来看下，如何安装，部署es，以及如何安装es的几个比较常用的插件. es的安装和部署，是非常简单方便的，至少这一点散仙在es和solr之间，能够很明显的体现出来，solr的安装是需要依赖servlet容器，比如jetty，或者tomcat等，在下载完毕后，需要拷贝solr的安装部分到web容器里，然后稍作配置，即可

2014-12-29 21:49:14 1188

ElasticSearch入门介绍之安装部署（二）

[b][color=green][size=large]散仙，在上篇文章对ElasticSearch整体入门作了个介绍，那么本篇我们来看下，如何安装，部署es，以及如何安装es的几个比较常用的插件.es的安装和部署，是非常简单方便的，至少这一点散仙在es和solr之间，能够很明显的体现出来，solr的安装是需要依赖servlet容器，比如jetty，或者tomcat等，在下载完毕后，需要拷...

2014-12-29 21:43:30 108

攻城师们，你懂女孩子么？

[b][color=green][size=large]相信还有不少的同行程序员，都是单身贵族，那么问题来了，年关逼近，是否有来自父母催婚的压力呢？是否有打算过年回家相亲的计划呢？是否还有找不到女朋友的种种感慨么？是否还有面对其他同学，同事，朋友，都结婚成家的羡慕嫉妒恨么？如果你不是技术狂人（别扯淡了，技术狂人需要女朋友么？）如果你不是官富two代（别扯淡了，人家缺女朋友么？）如...

2014-12-29 01:10:15 189

原创 ElasticSearch入门介绍之会当凌绝顶（一）

ElasticSearch也是一款非常优秀的开源的全文检索框架，以大名鼎鼎的Apache Lucene为基础，高度封装了更丰富，易用的API，同时与Apache Solr一样，提供了非常强大的分布式集群功能！有不懂ElasticSearch（下文简称es）是干啥的朋友，可以点此链接在百科上先大致了解下。下面进入正题，本篇散仙先从宏观上介绍es的一些概念和特性，让大家能够对e

2014-12-26 20:10:08 1596

ElasticSearch入门介绍之会当凌绝顶（一）

[b][color=green][size=large]ElasticSearch也是一款非常优秀的开源的全文检索框架，以大名鼎鼎的Apache Lucene为基础，高度封装了更丰富，易用的API，同时与Apache Solr一样，提供了非常强大的分布式集群功能！有不懂ElasticSearch（下文简称es）是干啥的朋友，可以点[url=http://baike.baidu.com/...

2014-12-26 19:50:01 129

程序员学滑雪系列之初生牛犊（一）

[b][color=green][size=large]话说这程序员家族一般都是，缺少运动锻炼的，平时坐在电脑前，周末有时还加班，运动时间是更少了，周末和朋友去滑雪了，散仙也是第一次去，以前从没学过，就连什么旱冰都没滑过，我那2个朋友也都是第一次滑雪，不过人家以前会滑旱冰，滑雪虽然和那个不太一样，但大致相同。周末的天气，还算不错，虽然刮风很冷，但是好歹有太阳，我们到达的时候，是早上9点多，...

2014-12-22 01:26:48 148

请注意程序中的\r和\n字符

这几天，由于项目要求，需要写一个从数据库批量读取数据然后写入HDFS的一个程序，本来算不上什么比较难的问题，但程序运行完后，发现在程序log里记录的数据总量，与实际的写入到文件里的总数不一致，然后就开始检查程序，发现程序没啥问题，然后就开始检查数据，果然在数据里发现有一行数据，无故错位了，导致实际文件里数据量多出一部分，部分数据如下：[code="java"]13214 atcode0...

2014-12-19 19:07:15 267

Hadoop2.2安装出现不支持bzip2压缩问题原因分析

刚装的hadoop2.2的集群，散仙在执行bin/hadoop checknative 命令时，出现如下警告：[img]http://dl2.iteye.com/upload/attachment/0104/4231/309ef9f8-6888-3ee1-8c85-a7bf44ec99b7.jpg[/img]bizip2的的本地压缩支持无效，整个编译过程，并没有出现任何错误，或...

2014-12-16 18:06:47 694

Navicat 客户端连接Oracle注意事项

[b][color=green][size=large]今天，在使用navicat的客户端在win7 64位上连接Oracle的数据库时，发生了一个错误，弹框报异常如下：[/size][/color][/b][code="java"]Cannot load OCI DLL, 126: Instant Client package is required for Baic and TNS con...

2014-12-15 16:03:11 145

如何在eclipse中部署solr的web工程？

[b][color=green][size=large]在eclipse中调试solr，便于我们更加的清晰的了解solr的运行原理，今天散仙，就详细的写一下如何eclipse部署solr（4.10.0版本）的web工程。首先在eclipse（散仙这里是4.2）里，新建一个动态的Web工程，[/size][/color][/b][img]http://dl2.iteye.com/...

2014-12-11 21:10:35 129

solr4.x之原子更新

[b][color=green][size=large]solr4.x发布以后，最值得人关注的一个功能，就是原子更新功能，传说的solr是否能真正的做到像数据库一样，支持单列更新呢？在solr官方的介绍中，原子更新是filed级别的更新，不会涉及整个Documnet级别的更新，但事实真是如此吗，经散仙验证，并非如此，原子更新这种功能，在Lucene层面上，就否定了这种方式，因为是索引存储结构，决...

2014-12-11 15:36:10 173

Lucene4.3进阶开发之纯阳无极（十九）

[b][color=red][size=x-large]原创不易，转载请务必注明，原创地址，谢谢配合! [url]http://qindongliang.iteye.com/blog/2164583[/url][/size][/color][/b][b][color=green][size=large]Lucene内置很多的分词器工具包，几乎涵盖了全球所有的国家和地区，最近散仙，在搞多...

2014-12-09 16:37:59 161

干货来袭之Python3.4如何读写Excel？

[b][color=green][size=large]我们都知道在JAVA里，我们可以使用POI来操作Excel文件，在POI的API里有HSSFWorkbook支持03版的excel的读写，有XSSFWorkbook是针对07以后的excel文件的读写，那么在python3.x（散仙使用的版本是python3.4）里，我们应该如何操作excel。首先在python3.4里，我们可以使用...

2014-12-05 20:17:52 347

解析神器PK，花落谁家？Jsoup Or Xpath?

[b][color=green][size=large]今天简单测了下使用Jsoup和Xpath解析XML的文件的方便程度，两者都可以完成解析，提取特定的元素或节点内容，但明显Jsoup更胜一筹，我们都知道Xpath是专业的xml结构化文档的查询语言，虽然语法功能强大，但是代码还是比较繁琐。虽然jsoup的出现，并不是专门用来解析XML使用的，但是使用jsoup这个轻巧的类库，我们可以完成网页...

2014-12-02 15:19:18 498

Python处理数据一个小例子

[b][color=olive][size=large]最近用python（3.2的版本）写了根据特定规则，处理数据的一个小程序，用到了一些python常用的基础知识，在此总结一下：1，python读文件2，python写文件3，python的流程控制4，python的for循环5，python的集合，或字符串里判断是否存在某个元素6，python的逻辑或，逻辑与...

2014-12-01 19:29:30 485

DButils+dbcp数据源+spring实现增删改查小例子

[b][color=green][size=large]本篇主要介绍DButils工具类的使用跟Spring的JDBCTemplate框架非常类似，比我们纯手写JDBC的sql语句，会方便许多，如果加上了连接池的配置，那么效果就会更加完美，首先我们来看下DButils的简介：Common Dbutils是操作数据库的组件，对传统操作数据库的类进行二次封装，可以把结果集转化成List。它是对...

2014-12-01 19:00:17 227