2015年09月_三劫散仙

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创网页去重思路浅析（一）

最近，由于工作需要，需要对爬虫爬下来的网页数据进行相似度去重。那么问题来了，为什么要去重？爬虫采集的数据可能来自各个网站，比如一个热门新闻，可能网易，搜狐，新浪，都有转载报道，如果不做任何措施，那么存储到库里就是3条数据，当然这仅仅是一个例子，假如，你有几TB或PB的数据，如果还这样，那么你的库可能有30%都是大量的重复数据，这些重复数据，一般不会给你带来任何价值，而且会占用大量的

2015-09-29 21:12:13 1371

网页去重思路浅析（一）

[img]http://dl2.iteye.com/upload/attachment/0104/9536/aa4c388c-0adb-309d-82d1-58e6bc039aa5.png[/img][size=large]最近，由于工作需要，需要对爬虫爬下来的网页数据进行相似度去重。那么问题来了，为什么要去重？爬虫采集的数据可能来自各个网站，比如一个热门新闻，可能网易，搜狐，新...

2015-09-29 21:01:28 184

解决maven打包Mark invalid异常

[size=large]今天在用maven打包spring-boot项目时，报了如下的一个异常：[/size][code="java"][ERROR] Failed to execute goal org.apache.maven.plugins:maven-resources-plugin:2.7:resources (default-resources) on project sea...

2015-09-22 11:22:55 2409 1

原创 Solr字段ExternalFileField使用

ExternalFileField是一种非常灵活的定义排序的一种字段，适用于一些需要临时提高某些doc的排名，但是又不想显式的把评分建立到索引里面，这种需求，在电商的业务里面，经常会遇到一些特定的节日进行商品大促，需要临时提高一批索引数据的排名，而又不想重建整个索引，在大促结束后，这些排名又恢复正常，这种场景下非常适合使用ExternalFileField来解决，与竞价排名非常类似。 Ex

2015-09-15 16:48:01 1289

[size=large]ExternalFileField是一种非常灵活的定义排序的一种字段，适用于一些需要临时提高某些doc的排名，但是又不想显式的把评分建立到索引里面，这种需求，在电商的业务里面，经常会遇到一些特定的节日进行商品大促，需要临时提高一批索引数据的排名，而又不想重建整个索引，在大促结束后，这些排名又恢复正常，这种场景下非常适合使用ExternalFileField来解决，与竞价排名...

2015-09-15 16:43:30 272

Intellj IDEA+Jetty部署调试web项目

[size=large]Intellj IDEA里面使用jetty调试web有2种方式：（1）Jetty Server （在本地local模式运行），使用外部的容器，需要单独下载配置配置jetty homeJetty下载地址http://download.eclipse.org/jetty/，指定端口号比较麻烦[/size][img]http://dl2.iteye.com/u...

2015-09-07 16:58:08 1297

Spark入门之WordCount

[img]http://dl2.iteye.com/upload/attachment/0111/4770/079b7965-40fb-318c-8c35-cd5d6aa03c83.png[/img][size=large]环境:Hadoop版本：Apache Hadoop2.7.1 Spark版本：Apache Spark1.4.1核心代码：[/size]...

2015-09-06 20:15:25 111

Intellj IDEA+Maven如何构建多模块项目

[size=large]在使用Java构建大型企业级项目时，我们一般更倾向于分层，分模块，分服务，分功能开发，这样搞的目的只有一个就是以高内聚，低耦合方式来提高整个项目的灵活性，扩展性，复用性，当然，这里面蕴含的思想与Java的设计模式和开发原则是非常类似的，因为大公司的项目的结构一般都非常复杂，只有提前规划好开发模式，才能在以后不断扩展，迭代，重构时减少出现牵一发而动全身的情况。企业级项...

2015-09-01 19:50:49 203