- 博客(22)
- 资源 (6)
- 收藏
- 关注
RSS订阅原创 maven resources导致打包失败分析与解决
今天在工作时遇到一个测试环境maven打包失败的问题。一开始的时候jenkins只显示了打包失败，没有其他的信息展示出来，在将项目拉取到本地之后，项目又可以完好地启动，于是判断可能是maven打包时出错，于是终端进入对应目录之后，输入以下命令：mvn package -U -Denv=pre -DskipTests 果然，build failed。现场失败信息如下： 于是Google了一下这个
2017-06-23 21:14:33
7205
原创 Python3爬取今日头条有关《人民的名义》文章
Python3爬取今日头条有关《人民的名义》文章最近一直在看Python的基础语法知识，五一假期手痒痒想练练，正好《人民的名义》刚结束，于是决定扒一下头条上面的人名的名义文章，试试技术同时可以集中看一下大家的脑洞也是极好的。首先，我们先打开头条的网页版，在右上角搜索框输入关键词，通过chrome调试工具，我们定位到头条的search栏调用的的API为：http://www.toutiao.com/s
2017-05-07 13:18:49
5008
3
原创 关于MongoDB中对于Collection中的Array数组的注意事项
关于MongoDB中对于Collection中的Array数组的注意事项前两天在工作中遇到一个对mongoDB的Collection中Array数组查询的问题，百思不得其解之后豁然开朗，今天给大家分享一下。当时遇到的问题是，我现在有两个文档，其结构分别为：{"_id" : ObjectId("58e88fa90cf2b631bab2f0d8"),"title" : "A","places" :
2017-04-09 12:17:23
6751
原创 Lucene初探之索引过程分析（二）
Lucene初探之索引过程分析（二）在上一个章节我们讲到Lucene的索引过程的起点是建立一个IndexWriter对象。在IndexWriter对象创建之后，我们将会创建Document文档对象，并且将其加入域（Field）。Document doc = new Document();doc.add(new Field("path", f.getPath(), Field.Store.YES,
2017-04-05 22:17:45
410
原创 Lucene初探之索引过程分析（一）
Lucene初探之索引过程分析（一）经过上面的学习，我们对于Lucene的索引文件的存储原理有了初步的了解，不过了解了这些只是为随后的操作Lucene打下了一个很小的基础，我们无法依靠这些知识就去自完成搜索引擎的整个设计。接下来，我们将开始深入Lucene的索引过程，进一步去深入了解Lucene的运行。对于Lucene的索引过程，除了将词（term）写入倒排表并最终写入索引文件之外，还包括了分词与合
2017-03-26 19:39:26
421
原创 Lucene初探之数据格式详情（六）
Lucene初探之数据格式详情（六）在之前的几篇文章中，我们共同探索了Lucene创建索引文件时正向信息、反向信息和标准因子的存储方式和原理。在实际的生产应用环境中，由于业务等需要，我们不仅仅只是需要创建索引，有时候我们还需要去删除或者更新索引中的特定文件，但是Lucene本身不支持直接去更新文件，所以，更新操作会被分为删除、插入两个步骤。同时在生产环境中由于各种原因，如果直接去在物理上删除掉相关文
2017-03-12 12:10:45
399
原创 Lucene初探之数据格式详情（五）
Lucene初探之数据格式详情（五）在前几篇文章中我们了解了索引文件中关于索引的正向信息和反向信息的存储格式。除了正向信息和反向信息之外，还有一种不可或缺的信息也保存在索引文件中–索引因子。我们在开篇几张中介绍索引的搜索过程时，提到搜索引擎在将用户的查询关键词和倒序索引表进行比对，然后取出所有命中的文档之后，为了将最符合用户预期的文档展示在用户第一眼就看到的地方，需要对文档进行打分，计算文档和用户的
2017-03-04 09:29:42
407
原创 Lucene初探之数据格式详情(四)
Lucene初探之数据格式详情(四)之前我们介绍了索引存储文件中正向信息的存储情况，也就是关于被索引的文件数据在最终的存储详情中的组织结构，其展示了被索引的信息在索引文件中是如何被组织并最终存储起来的。但是索引的核心不是如何去高效地存储，而是提高查找信息的速度，这个在索引中的体现就是反向索引，也叫作反向信息。我们知道，反向索引包括了字典和倒排表。这两个在最终的数据存储中是分开存储的，分别在.tii和
2017-02-26 15:56:42
493
原创 Lucene初探之数据格式详情(三)
Lucene初探之数据格式详情(三)今天，我们来了解一下Lucene的域的元数据信息—>.fnm。 一个段包含多个域，每个域都存储一下元数据。fnm文件的详细数据格式大致如下： 如同上面对段的信息的介绍一般，我们来一个个地看一下域中各个不同存储区域的具体含义和作用。FNMVersion：代表fnm文件版本号；比如Lucene2.9版本对应的FNMVerion值为-2；FieldsCoun
2017-02-19 12:24:38
568
原创 Lucene初探之数据格式详情（二）
Lucene初探之数据格式详情（二）接上一篇Lucene初探之数据格式详情（-）补充一下Segment_N文件的具体格式：DocStoreOffsetDocStoreSegmentDocStorelsCompoundFile Lucene中存储域和词向量有两种方案。第一种是每个段单独存储自己的域和词向量信息；第二种是多个段共享域和词向量，把域和词向量存储到一个段里面去。如果DocStore
2017-02-16 23:26:38
446
原创 Lucene初探之数据格式详情（-）
Lucene初探之数据格式详情（-）在前两篇，我们介绍了Lucene的存储文件目录中的各个文件的大致关系。比如以层次规则保存的正向信息：索引–>段–>文档–>域–>词目录–>segment_N–>.fdx,.fdt–>.fnm–>.tvx,.tvd,.tvf当然，除了正向信息之外，还包括反向信息，以及和Lucene系统相关的一些特定的信息，现在，我们来一一了解。正向信息：其实上述文件的关系相对
2017-02-15 23:30:03
487
原创 Lucene初探之索引文件的基本类型与基本规则
Lucene初探之索引文件的基本类型与基本规则之前我们说过，索引文件是类似数据库一般，它是将分布在不同地方的数据按照一定的规则抽取出来，加以重新组织，使其成为结构化的数据，最终按照一定的特殊规则存储起来以方便查询的。既然是类似数据库一般的存储数据，那么就像数据库有一定的数据类型一般，Lucene索引文件它也有自己的特定的存储类型。Byte：最基本的类型，所占空间为8个bit；UInt32：由4个
2017-02-14 22:18:55
1003
原创 Lucene初探之索引文件格式
欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来，用它写博客，将会带来全新的体验哦：Markdown和扩展Markdown简洁的语法代码块高亮图片链接和图片上传LaTex数学公式UML序列图和流程图离线写博客导入导出Markdown文件丰富的快捷键快捷键加粗 Ctrl + B 斜体 Ctrl + I 引用 Ctrl
2017-02-13 23:55:53
693
原创 Lucene初探之总体架构
从总体上来说，Lucene的可以被概括为三点：高效、可扩展的全文检索库；基于Java实现；支持对纯文本文件进行索引可搜索；Lucene的工作流程和架构如下所示：通过该图片，我们可以看出，Lucene的工作流程可以被分为两个部分：索引、搜索。我们可以将这些过程进行抽象组件化：通过上下两个图片的对比，基本上可以直观地了解各个组件的工作：D
2017-02-12 15:55:46
948
原创 关于Spring中MongoTemplate.aggregate的一个奇异bug
昨天在完成公司一个项目的时候用了mongoTemplate的aggregate，在使用Aggretaion.match(criteria)来筛选数据，其中criteria语句是Criteria.where("id").ne(xxxId)，结果程序在执行的时候该条件一直没有起效果，但是其他的find和update等语句都是可以执行的，抱着满脑袋的疑惑翻看了它的源码实现后发现这里有一个很大的坑，具体是
2017-02-10 23:43:32
3519
原创 对于springframework的mongoTemplate扩展自定义的分享
之前对于spring的mongoTemplate真的是有点又爱又恨，由于它对mongodb的驱动做了一层封装，使得在开发的时候方便了许多，但是它的语法和mongo的原生js有很大不同，有时候在mongo官方文档里的API接口很多时候在mongoTemplate中的使用完全不一样，导致有些时候用的很别扭，而且一些语句完全不知道怎么去转换为template的语法。不过最近的两次使用经历使得我对mong
2017-02-09 22:55:39
4865
1
原创 Lucene初探之计算文章相关性权重
在上一篇文章中，我们大概了解了如何使用搜索语句对索引进行搜索，但是在搜索完成之后如何对找到的文章进行排序并返回的问题产生了疑惑，那么我们是如何去判断搜索出的文档和搜索语句的相关性的呢？现在，我们来解决如何对文档之间的相关性进行打分的问题。要对文档之间的关系进行打分可不是一个容易的事情，我们先看一个例子：如何去判断人之间的关系。首先，看一个人，往往会综合许多的要素，比如性格、信仰、兴
2017-02-07 19:08:56
2597
1
原创 Lucene初探之如何创建索引
上一篇我们简单了解了索引是啥，为什么要创建索引以及索引里面存些什么，现在我们来看看如何去创建一个索引。全文检索库的索引创建过程一般都是分为以下几个步骤：First：一些要索引的原文档我们使用以下两个文件来创建一个简单地索引，让大家可以清晰、直观地了解索引的创建过程；文件①：Students should be allowed to go out with
2017-02-07 19:08:01
357
原创 Lucene初探之如何创建索引
上一篇我们简单了解了索引是啥，为什么要创建索引以及索引里面存些什么，现在我们来看看如何去创建一个索引。全文检索库的索引创建过程一般都是分为以下几个步骤：First：一些要索引的原文档我们使用以下两个文件来创建一个简单地索引，让大家可以清晰、直观地了解索引的创建过程；文件①：Students should be allowed to go out with
2017-02-07 19:07:02
432
原创 Lucene初探
Lucene是一个基于Java的全文检索库，它高效、开源。为什么叫它全文检索库呢？这得从人们生活中的数据结构来说起。人们在使用各种软件服务的时候会产生各种的数据，这些数据会被相关软件服务提供商按照不同的规则存储起来，当人们需要的时候再取出来。由于不同的软件服务提供商所使用的技术不同，这些数据被以各种不同的方式存储在不同的地方，即便是同一个软件服务提供商，它的数据可能也被存储在不同的服务器甚
2017-02-07 19:03:00
374
转载 解决vs2010“创建或打开C++浏览数据库文件 发生错误”的问题 Microsoft SQL Server Compact 3.5
有网友说打开vs2010安装光盘，搜索 SSCERuntime_x86-chs.msi，重新安装之。于是果断搜索，发现SSCERuntime_x86-chs.msi，另外发现一个SSCEVSTools-chs.msi果断两个都安装。over
2013-10-21 22:05:48
1169
原创 Java中Java.util.Date无法导入的问题
昨天我遇到了这个纠结的问题，搞死了快被它，用的是jdk1.80，暑假里面才装上的，准备自学的勒，结果被卡在这时间格式化上老半天，我一开始写的程序是：//import java.text.DateFormat;import java.util.Date;public class GetDate {public static void main(String[] args) {//
2013-09-29 07:15:39
7152
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人