张俊林博客-CSDN博客

原创穷人的语义处理工具箱之一：语义版Jaccard

如果对工业界里的机器学习（ML）从业者进行阶级划分的话，划线标准不是你用的算法的学名听起来多酷炫，无论你手里抡着的是最潮的深度高达1000层的深度学习核炸弹，还是听起来有点掉渣的大刀长矛朴素贝叶斯，如果没有大量数据，尤其是能跑监督学习算法的带标签训练数据，你就是ML界标准的底层渣男渣女或者渣娘炮。再加上计算资源，如果贵公司有上千台GPU服务器集群可供阁下驱使，外加十几火车皮的训练数据，那你就可能成为ML界的新贵、大数据处理领域的马云。

2016-01-06 19:22:09 9160 13

原创深度学习与自然语言处理之五：从RNN到LSTM

2015-12-30 19:01:16 59034 2

原创利用卷积神经网络（CNN）构造社区问答系统

问答社区算是一类已经比较成熟的互联网应用了，国外的比如Quora、StackOverflow，国内的比如老派的百度知道，新一代的知乎，都算是代表性的社交类问答社区。问答社区本质上就是个人肉知识库，通过一段时间的积累，会累积相当多以<问题，答案>方式存在的知识。

2015-12-21 20:25:21 20956 15

原创深度学习在自然语言处理的应用（Version 0.76）

深度学习，自然语言处理

2014-12-05 22:57:25 6320 1

原创图数据库之Pregel

节选自《大数据日知录：架构与算法》十四章，书籍目录在此, Pregel是Google提出的大规模分布式图计算平台，专门用来解决网页链接分析、社交数据挖掘等实际应用中涉及的大规模分布式图计算问题。

2014-10-25 09:04:06 17683 1

原创大数据图数据库之离线挖掘计算模型

2014-10-08 19:51:30 8202 1

原创大数据图数据库之MapReduce用于图计算

2014-09-23 19:00:39 12905

原创大数据图数据库之数据分片

节选自《大数据日知录：架构与算法》十四章，书籍目录在此对于海量待挖掘数据，在分布式计算环境下，首先面临的问题就是如何将数据比较均匀地分配到不同的服务器上。对于非图数据来说，这个问题解决起来往往比较直观，因为记录之间独立无关联，所以对数据切分算法没有特别约束，只要机器负载尽可能均衡即可。由于图数据记录之间的强耦合性，如果数据分片不合理，不仅会造成机器之间负载不均衡，还会大量增加机器之

2014-09-20 08:16:53 9683 1

原创大数据图数据库之TAO数据库

节选自《大数据日知录：架构与算法》十四章14.1.2 TAO图数据库 Facebook是目前世界上最著名的社交网站，如果从数据抽象的角度来看，Facebook的社交图不仅包括好友之间的关系，还包括人与实体以及实体与实体之间的关系，每个用户、每个页面、每张图片、每个应用、每个地点以及每个评论都可以作为独立的实体，用户喜欢某个页面则建立了用户和页面之间的关系，用

2014-09-17 20:08:32 6993 1

原创《大数据日知录：架构与算法》前言

《大数据日知录：架构与算法》前言像移动互联网、O2O、可穿戴设备等概念一样，“大数据”从甫一提出到飓风般席卷并风靡全球，从最初的技术名词到形成渗透各行各业的社会现象，所耗时间仅几年而已，其兴也勃焉。那么，大数据是否会像很多曾经火热现在已难觅踪迹的流行概念一样，将来某日，人们静心抬眼，发现风已去而水波不兴，徒留夕阳下波光粼粼的涟漪，让人不禁哀叹其亡也忽焉？本书的背景

2014-09-16 09:24:30 4605 1

原创 HipHop算法：利用微博互动关系挖掘社交圈

2013-06-29 10:15:42 11109 1

原创文本摘要技术调研

2012-12-18 10:05:26 10582 1

原创搜索引擎反作弊之：整体技术思路

本文节选自《这就是搜索引擎：核心技术详解》第八章如上所述，目前搜索引擎作弊手段五花八门，层出不穷，作为应对方的搜索引擎，也相应调整技术思路，不断有针对性地提出反作弊的技术方案，所以如果整理反作弊技术方案，会发现技术方法很多，理清思路不易。尽管如此，如果对大多数反作弊技术深入分析，会发现在整体技术思路上还是有规律可循。从基本的思路角度，可以将反作弊手段大致划分为以下三种：

2012-03-30 22:05:19 12406 2

原创搜索引擎反作弊之:链接作弊与隐藏作弊

本文节选自《这就是搜索引擎：核心技术详解》第八章8.2 链接作弊所谓“链接作弊”，是网站拥有者考虑到搜索引擎排名中利用了“链接分析”技术，所以通过操纵页面之间的链接关系，或者操纵页面之间的链接锚文字，以此来增加链接排序因子的得分，并影响搜索结果排名的作弊方法。常见的链接作弊方法众多，此节简述几种比较流行的作弊方法。 1．链接农场(Link Farm) 为了

2012-03-27 22:48:46 7005

原创搜索引擎反作弊之内容作弊

本文节选自《这就是搜索引擎：核心技术详解》第八章网页反作弊是目前所有商业搜索引擎需要解决的重要难点，出于商业利益驱使，很多网站站长会针对搜索引擎排名进行分析，并采取一些手段来提高网站排名，这种行为本身无可厚非，很多优化行为是符合搜索引擎排序规则的，但是也存在一些恶意的优化行为，通过特殊手段将网页的搜索排名提高到与其网页质量不相称的位置，这样会严重影响搜索引擎用户的搜索体验

2012-03-24 08:53:04 12863 1

原创搜索引擎索引之如何更新索引

本文节选自《这就是搜索引擎：核心技术详解》第三章动态索引通过在内存中维护临时索引，可以实现对动态文档和实时搜索的支持。但是服务器内存总是有限的，随着新加入系统的文档越来越多，临时索引消耗的内存也会随之增加。当最初分配的内存将被使用完时，要考虑将临时索引的内容更新到磁盘索引中，以释放内存空间来容纳后续的新进文档，此时要考虑合理有效的索引更新策略。常用的索引更新策略有四种：完全重

2012-03-21 22:13:59 8154 2

原创搜索引擎索引之如何建立索引

本文节选自《这就是搜索引擎：核心技术详解》第三章3.4建立索引正如前述章节所述，索引结构如果建立好了，可以增加搜索的速度，那么给定一个文档集合，索引是如何建立起来的呢？建立索引的方式有很多种，本节叙述比较实用的三种建立索引的方法。 3.4.1两遍文档遍历法（2-Pass In-Memory Inversion）顾名思义，此种方法需要对文档

2012-02-27 21:27:52 29409 7

原创搜索引擎索引之索引基础

本文节选自《这就是搜索引擎：核心技术详解》第三章本节通过引入简单实例，介绍与搜索引擎索引有关的一些基础概念，了解这些基础概念对于后续深入了解索引的工作机制非常重要。 3.1.1单词—文档矩阵单词-文档矩阵是表达两者之间所具有的一种包含关系的概念模型，图3-1展示了其含义。图3-1的每列代表一个文档，每行代表一个单词，打对勾的位置代表包含关系。

2012-02-13 22:00:10 16511 8

原创搜索引擎链接算法之：HITS算法解析

本文节选自《这就是搜索引擎：核心技术详解》第六章 HITS算法也是链接分析中非常基础且重要的算法，目前已被Teoma搜索引擎（www.teoma.com）作为链接分析算法在实际中使用。6.4.1 Hub页面与Authority页面 Hub页面和Authority页面是HITS算法最基本的两个定义。所谓“Authority”页面，是指与某个领域或者某个

2012-02-06 21:25:00 16811 2

原创大话主题敏感PageRank

本文节选自《这就是搜索引擎：核心技术详解》第六章主题敏感PageRank是PageRank算法的改进版本，该算法已被Google使用在个性化搜索服务中。6.6.1 主题敏感PageRank与PageRank的差异 PageRank算法基本遵循前面章节提到的“随机游走模型”，即用户在浏览某个网页时，如果希望跳转到其它页面，则随机选择本网页包含的某个链接，

2012-01-10 22:04:26 8183 1

原创大话SALSA算法

本文节选自《这就是搜索引擎：核心技术详解》第六章 SALSA算法的初衷希望能够结合PageRank和HITS算法两者的主要特点，既可以利用HITS算法与查询相关的特点，也可以采纳PageRank的“随机游走模型”，这是SALSA算法提出的背景。由此可见，SALSA算法融合了PageRank和HITS算法的基本思想，从实际效果来说，很多实验数据表明，SALSA的搜索效果也都

2011-12-21 21:33:36 8590 2

原创自然语言处理中的模式（模式1.概率化模式）

在自然语言处理中，歧义是非常容易出现的问题，无论是在分词，句法，语义各个层面都会面临歧义的问题，所谓歧义代表了对于一个输入有若干种输出，那么此时选择哪个作为正确输出就成为了一个问题。概率的引入为此提供了一个直观的解决方案，即选择概率值最大的作为正确的结果。

2010-08-12 15:33:00 12901 24

原创自然语言处理中的模式（模式0:模式无处不在模式）

回到自然语言处理研究中的模式上来，自然语言处理相关的国际会议有ACL,COLING,EMENP等等，如果你经常跟踪会议论文并整理子领域的研究进展脉络的话，会发现在这个领域的研究中一样存在着固定的研究模式，其子领域的发展是有路径可循甚至是可以预测其发展方向的。举个比较明显的子领域，比如统计机器翻译，从最初的单词对的翻译加上顺序调整，到扩展为短语对的翻译加上顺序调整，再到目前比较热的字符串到树结构的映射，树结构之间的映射等，其发展脉络非常清楚，这种走向其实也是研究模式的一种具体表现，如果是有经验的研究人员是很容

2010-07-30 17:13:00 7634 6

空空如也

空空如也