2015年07月_三劫散仙

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

Eclipse4.4在线安装反编译插件

[size=large]安装个反编译插件有时候调试代码，非常方便，因为一些第三方的jar，没法直接看源码，所以比较头疼。Eclipse版本：Eclipse4.x的版本基本都适用。安装方法：（1）在Eclipse的顶部导航菜单中，选择Help/Install New Software （2）填入以下内容：name：jd-eclipse_update_siteloc...

2015-07-30 10:58:26 124

原创在Lucene或Solr中实现高亮的策略

一：功能背景最近要做个高亮的搜索需求，以前也搞过，所以没啥难度，只不过原来用的是Lucene，现在要换成Solr而已，在Lucene4.x的时候，散仙在以前的文章中也分析过如何在搜索的时候实现高亮，主要有三种方式，具体内容，请参考散仙以前的2篇文章：第一：在Lucene4.3中实现高亮的方式 http://qindongliang.iteye.com/blog/1953409

2015-07-29 20:42:03 993

在Lucene或Solr中实现高亮的策略

[size=large]一：功能背景最近要做个高亮的搜索需求，以前也搞过，所以没啥难度，只不过原来用的是Lucene，现在要换成Solr而已，在Lucene4.x的时候，散仙在以前的文章中也分析过如何在搜索的时候实现高亮，主要有三种方式，具体内容，请参考散仙以前的2篇文章：第一：在Lucene4.3中实现高亮的方式[url]http://qindongliang.iteye.c...

2015-07-29 20:42:00 109

原创 js脚本操作mongo库小知识

（一）：如何在js文件里面切换一个新的mongo库？我们都知道，使用下面的命令可以执行一个js脚本里面的内容： Java代码收藏代码 mongo –quiet localhost:27021/db_name < test.js 虽然我们在执行一个js时，需要指定一个数据名，但不意味着，在这个js里面，就只能使用这个库操作，可以我的需求是，循环查询一个库的id字段，然后拿着这个

2015-07-22 14:17:50 1136

js脚本操作mongo库小知识

[size=large]（一）：如何在js文件里面切换一个新的mongo库？我们都知道，使用下面的命令可以执行一个js脚本里面的内容：[/size][code="java"]mongo --quiet localhost:27021/db_name < test.js [/code][size=large]虽然我们在执行一个js时，需要指定一个数据名，但不意味着，在这个js...

2015-07-22 14:13:48 185

Scala版本的WordCount

[size=large]在处理搜索的同义词数据时遇到一个问题，本来是由数据人员人工整理好的数据，发我直接使用，后来发现发我的数据里面总是存在点问题，也难怪了2000行x5列条左右的数据，让人工去比对，若不是细心的人还真是容易出现问题，这已经是第三次整理的结果了，结果还是有问题，就自己写个程序，找出有问题的数据，然后再处理下，有问题的数据也就几十条。搜索使用的同义词一般是如下格式的：...

2015-07-20 19:17:53 646

原创 Intellj IDEA14.0.2启动异常之3分钟修复

今天是周一，刚到公司启动心爱的IDEA，，突然启动到一半，就抛异常了，直接弹窗，报如下的异常： Java代码 java.lang.RuntimeException: com.intellij.ide.plugins.PluginManager$StartupAbortedException: Fatal error initializing 'com.intellij

2015-07-20 11:02:21 24823 8

[size=large]今天是周一，刚到公司启动心爱的IDEA，突然启动到一半，就抛异常了，直接弹窗，报如下的异常：[/size][code="java"]java.lang.RuntimeException: com.intellij.ide.plugins.PluginManager$StartupAbortedException: Fatal error initializing 'co...

2015-07-20 10:50:01 1079 1

scala如何读取和写入文件内容？

[color=black][size=large]直接看如下代码：[/size][/color][code="java"]package fileimport java.io.RandomAccessFileimport java.nio.charset.Charsetimport scala.io.Sourceimport scala.reflect.io.{File...

2015-07-17 19:29:32 2568

如何在shell下使用JavaScript和Mongodb交互？

[color=black][size=large]Mongodb的客户端支持作为一款非常成熟NoSQL数据库，Mongdb对各种编程语言的支持已经非常完善了，目前已经支持各大主流编程语言包括：1，mongo shell 2，python3，java 4，c# 5，node.js 6，c++ 在这些语言里面，最简单，最轻巧的就莫属mon...

2015-07-17 13:22:34 147

原创如何在shell下使用JavaScript和Mongodb交互？

Mongodb的客户端支持作为一款非常成熟NoSQL数据库，Mongdb对各种编程语言的支持已经非常完善了，目前已经支持各大主流编程语言包括： 1，mongo shell 2，python 3，java 4，c# 5，node.js 6，c++ 在这些语言里面，最简单，最轻巧的就莫属mongo shell了，无须任何其他的依赖环境，只需要一个mongo客户端，就可以连接本地

2015-07-17 13:00:48 2101

使用shell分页读取600万+的MySQL数据脚本

[b][color=black][size=large]shell-mysql（1）脚本背景:由于要在Linux上，远程读取mysql的表的数据，然后做一定清洗后，把数据上传至Hadoop集群中，使用Java写吧，感觉太麻烦了，得在Win上开发好，还得打成jar包，上传到Linux上，如果那里出了问题，还得重复这样，非常不方便，那就用shell写一个吧，也不需要什么jdbc驱动包，只...

2015-07-15 13:02:05 424

原创使用shell分页读取600万+的MySQL数据脚本

shell-mysql脚本背景由于要在Linux上，远程读取mysql的表的数据，然后做一定清洗后，把数据上传至Hadoop集群中，使用Java写吧，感觉太麻烦了，得在Win上开发好，还得打成jar包，上传到Linux上，如果那里出了问题，还得重复这样，非常不方便，那就用shell写一个吧，也不需要什么jdbc驱动包，只需要在Linux上装个MySQL的客户端即可，用一行yum命令即可搞定

2015-07-15 12:54:38 1155

如何合理的控制solr查询的命中的数量？

[b][color=olive][size=large]在solr里面，如何合理的控制的命中的数量？在一些日常的文章中或一些信息中，都有一些高频词，而这些高频词，在参与查询时，往往会造成，大量的结果集命中。什么意思呢？举个例子，假如我们现在做的是饭店的搜索，在我们的索引库里有一列name这个field，这里面大部分都是xxx饭店，假如你搜索的时候搜一个xxx饭店，会被分词成： ...

2015-07-13 14:41:21 225

原创如何合理的控制solr查询的命中的数量？

在solr里面，如何合理的控制的命中的数量？在一些日常的文章中或一些信息中，都有一些高频词，而这些高频词，在参与查询时，往往会造成，大量的结果集命中。什么意思呢？举个例子，假如我们现在做的是饭店的搜索，在我们的索引库里有一列name这个field，这里面大部分都是xxx饭店，假如你搜索的时候搜一个xxx饭店，会被分词成： xxx 饭店然后xxx命中只有10条结果集

2015-07-13 14:35:50 2515 1

原创 Scala集合笔记

java,scala,spark

2015-07-09 11:44:01 2388

Scala集合笔记

[b][color=olive][size=large]Scala的集合框架类比Java提供了更多的一些方便的api，使得使用scala编程时代码变得非常精简，尤其是在Spark中，很多功能都是由scala的这些api构成的，所以，了解这些方法的使用，将更加有助于我们学习Scala和Spark：List,Map,Set的一些api的用法如下：[/size][/color][/b][co...

2015-07-08 20:15:55 96

Hadoop2.6.0+Spark1.4.0集群安装

1，要求你已经成功把Hadoop集群安装完毕，并经过测试，如果不知道如何编译安装Hadoop请参考散仙的这篇文章[url]http://qindongliang.iteye.com/blog/2222145[/url]2，安装Scala2.10.x版本，spark1.4.0最新版本的兼容2.10.x的scala，建议还是安装scala2.10.x的，虽然scala最新的版本是2.11.x了...

2015-07-06 21:17:15 104

如何在Intellij IDEA中拉svn分支?

由于用IDEA时间也不是特别长，对操作svn的一些东西，不是特别熟悉，特此记录一下，以做备忘。先说下流程：在IDEA里面对trunk代码拉分支熟悉了，其实很容易，（1）你trunk目录下的得有个你的releases项目（2）在idea的工作空间下，按如下截图显示[img]http://dl2.iteye.com/upload/attachment/0109/...

2015-07-06 14:48:40 549