2015年06月_三劫散仙

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

Pig0.15集成Tez，让猪飞起来

1，Tez是什么？Tez是Hortonworks公司开源的一种新型基于DAG有向无环图开源计算框架，它可以将多个有依赖的作业转换为一个作业从而大幅提升DAG作业的性能，看下面一张图，就能说明问题：[img]http://dl2.iteye.com/upload/attachment/0109/8291/deecec28-5948-3b2f-aaf7-b3218de915...

2015-06-29 19:45:57 230

CDH-Hadoop2.6+ Apache Pig0.15安装记录

1，使用CDH的hadoop里面有对应的组件Pig，但版本较低，所以放弃使用了，直接下载Apache Pig0.15最新的版本（支持Tez，比Hive更容易集成）下载地址：http://archive.apache.org/dist/pig/pig-0.15.0/pig-0.15.0.tar.gz直接下载二进制包即可2，配置Pig的环境变量如下：#Pigexport...

2015-06-26 20:06:27 175

Hadoop2.6.0-cdh5.4.1源码编译安装

[b][color=green][size=large]版本使用范围，大致与Apache Hadoop编译步骤一致大同小异，因为CDH的Hadoop的本来就是从社区版迁过来的，所以，这篇文章同样适合所有的以Apache Hadoop为原型的其他商业版本的hadoop编译，例如，Cloudera（CDH）的hadoop和Hortonworks（HDP）的的hadoop编译，下面开工：1，环...

2015-06-25 21:40:56 245

解决Centos下vim粘贴内容格式混乱问题

[b][color=green][size=large]有时候，我们在向vim打开的一个xml，或者任意文件中，拷贝粘贴的代码时，格式莫名其毛的就混乱了，然后自己一个个再重新，把格式排列好，非常耗时，而且很不爽，那么有没有办法避免呢？答案是肯定的，设置下缩进格式就可以了，非常简单：在用户的根目录下直接vi ~/.vimrc文件然后将set pastetoggle=...

2015-06-24 13:36:52 1191

Solr搜索问题笔记（二）

[b] [color=green] [size=large]记录两个问题：（1）在配置分词的场景中，如何让精确查询的排在前面，模糊查询的排在后面，这个需求算是比较常见的，但如果你是在数据库中，那么就非常容易了，where xxx=xxx 出来就是精确匹配的，但是在Lucene或者Solr中，反到有点诡异了，其实也不算问题，如果熟悉的Lucene的评分机制，理解起来则会很容易，在Lucene...

2015-06-23 20:30:57 160

Solr搜索问题笔记（一）

[img]http://dl2.iteye.com/upload/attachment/0109/5259/ac1a0076-ef55-379f-901c-62370c4471cc.jpg[/img][b][color=olive][size=large]笔记三个小问题：（1）：使用solrj添加索引时，主要有两种方法，第一种是直接使用solrinputDoucumen...

2015-06-15 18:51:44 136

Intellj IDEA14.0.2运行maven的Web项目问题

今天要测试使用maven构建的模块化的maven的web项目，由于原来没有用过IDEA来运行web项目，所以出了小问题，特此总结下步骤：首先我们的项目时服务化的使用的时阿里的dubbo作为服务注册的中间调度，现在要发布的一个测试的service的项目：步骤如下：在IDEA的最上面菜单栏选择Run ==> edit Configurations ==> 点击左上角的+...

2015-06-11 14:27:48 109

Lucene5搜索效果问题探究

今天在用Solr5.1测试检索时，发现一个奇怪的问题，便于大家对比，先介绍下散仙的环境：JDK1.7Lucene5.1Solr5.1分词器用的ik（改的ik源码）先看下测试的5条数据：[code="java"]id,name,count1503486364953346048,北京奇虎测腾科技有限公司,11503486365060300800,北京奇虎...

2015-06-09 21:15:19 131

IntelliJ IDEA中使用svn遇到的小问题

[b][color=green][size=large]今天在用新装的IDEA 14.0.2，来导入SVN的项目时，报了一个奇怪的异常，截图如下：[/size][/color][/b][img]http://dl2.iteye.com/upload/attachment/0109/2299/f662541a-6948-3708-b6ce-e60b7c02d750.png[/im...

2015-06-04 20:20:52 283

Solr5.1.0如何安装部署？

[img]http://dl2.iteye.com/upload/attachment/0109/1614/82c098b6-211e-30cb-b0ef-f852ccbc052b.png[/img]solr是什么？来自维基百科的解释：[img]http://dl2.iteye.com/upload/attachment/0109/1616/6a2b77ef-db54-...

2015-06-02 21:38:36 163