- 博客(8)
- 资源 (17)
- 收藏
- 关注
原创 网页去重思路浅析(一)
最近,由于工作需要,需要对爬虫爬下来的网页数据进行相似度去重。 那么问题来了,为什么要去重? 爬虫采集的数据可能来自各个网站,比如一个热门新闻,可能网易,搜狐,新浪,都有转载报道,如果不做任何措施,那么存储到库里就是3条数据,当然这仅仅是一个例子,假如,你有几TB或PB的数据,如果还这样,那么你的库可能有30%都是大量的重复数据,这些重复数据,一般不会给你带来任何价值,而且会占用大量的
2015-09-29 21:12:13 1371
网页去重思路浅析(一)
[img]http://dl2.iteye.com/upload/attachment/0104/9536/aa4c388c-0adb-309d-82d1-58e6bc039aa5.png[/img][size=large]最近,由于工作需要,需要对爬虫爬下来的网页数据进行相似度去重。那么问题来了,为什么要去重? 爬虫采集的数据可能来自各个网站,比如一个热门新闻,可能网易,搜狐,新...
2015-09-29 21:01:28 184
解决maven打包Mark invalid异常
[size=large]今天在用maven打包spring-boot项目时,报了如下的一个异常:[/size][code="java"][ERROR] Failed to execute goal org.apache.maven.plugins:maven-resources-plugin:2.7:resources (default-resources) on project sea...
2015-09-22 11:22:55 2409 1
原创 Solr字段ExternalFileField使用
ExternalFileField是一种非常灵活的定义排序的一种字段,适用于一些需要临时提高某些doc的排名,但是又不想显式的把评分建立到索引里面,这种需求,在电商的业务里面,经常会遇到一些特定的节日进行商品大促,需要临时提高一批索引数据的排名,而又不想重建整个索引,在大促结束后,这些排名又恢复正常,这种场景下非常适合使用ExternalFileField来解决,与竞价排名非常类似。 Ex
2015-09-15 16:48:01 1289
Solr字段ExternalFileField使用
[size=large]ExternalFileField是一种非常灵活的定义排序的一种字段,适用于一些需要临时提高某些doc的排名,但是又不想显式的把评分建立到索引里面,这种需求,在电商的业务里面,经常会遇到一些特定的节日进行商品大促,需要临时提高一批索引数据的排名,而又不想重建整个索引,在大促结束后,这些排名又恢复正常,这种场景下非常适合使用ExternalFileField来解决,与竞价排名...
2015-09-15 16:43:30 272
Intellj IDEA+Jetty部署调试web项目
[size=large]Intellj IDEA里面使用jetty调试web有2种方式:(1)Jetty Server (在本地local模式运行),使用外部的容器,需要单独下载配置配置jetty homeJetty下载地址http://download.eclipse.org/jetty/,指定端口号比较麻烦[/size][img]http://dl2.iteye.com/u...
2015-09-07 16:58:08 1297
Spark入门之WordCount
[img]http://dl2.iteye.com/upload/attachment/0111/4770/079b7965-40fb-318c-8c35-cd5d6aa03c83.png[/img][size=large]环境:Hadoop版本:Apache Hadoop2.7.1 Spark版本:Apache Spark1.4.1核心代码:[/size]...
2015-09-06 20:15:25 111
Intellj IDEA+Maven如何构建多模块项目
[size=large]在使用Java构建大型企业级项目时,我们一般更倾向于分层,分模块,分服务,分功能开发,这样搞的目的只有一个就是以高内聚,低耦合方式来提高整个项目的灵活性,扩展性,复用性,当然,这里面蕴含的思想与Java的设计模式和开发原则是非常类似的,因为大公司的项目的结构一般都非常复杂,只有提前规划好开发模式,才能在以后不断扩展,迭代,重构时减少出现牵一发而动全身的情况。企业级项...
2015-09-01 19:50:49 203
protobuf-2.5.0.tar.gz
2015-06-24
luke4.5的jar包
2013-10-29
lucene的索引工具
2013-07-18
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人