lgnlgn的专栏

排序：
默认
按更新时间
按访问量
RSS订阅

原 webmagic 源码学习（2）

      webmagic的爬虫基本架构，其设计可以让人只需要实现PageProcessor中的process方法，完成列表页、详情页相应逻辑即可。而很多网站也许就只有简单的这两种页面的逻辑，webmagic还提供了更简单的表达两个页面解析逻辑的使用方法：一：注解；二： 正则组合。    注解 ...

2018-04-03 15:55:01

阅读数 338

评论数 0

原 webmagic源码学习（1）

      如今获取互联网信息是一种很普遍的需要，用任何语言实现一个由HTTP发起请求获取数据功能都很容易，但要完整地处理可能面对的其他问题就有点麻烦了。因为爬虫涉及的点不少，因此阅读一个开源爬虫能借鉴一些优秀的设计理念，有学习价值。大名鼎鼎的scrapy，只需要编写页面处理的逻辑。我选了个模仿它...

2018-02-24 18:23:15

阅读数 401

评论数 0

原 win10安装TensorFlow+keras

跟风玩深度学习，最简单的keras下手看看先。用anaconda开环境安装TensorFlow的CPU和GPU版本，用pip install 安装keras其他的lib，下载whl本地安装更好。

2018-01-21 22:14:20

阅读数 706

评论数 0

原 notepad++ 64位安装json插件JStool

64bit的 notepad++不支持plugin manager了，只能手动安装插件 json格式化工具：JSTool http://www.softpedia.com/get/Office-tools/Text-editors/Junwen-JSMin.shtml， 下载x64 unico...

2017-09-02 20:14:44

阅读数 5838

评论数 2

原 [搬运]台湾大学机器学习课程 by 李宏毅

台湾大学电机系李宏毅老师讲的机器学习课程，含有deep learning相关内容，深入浅出，建议选择性学习。

2017-04-03 09:43:25

阅读数 26302

评论数 0

原 用elasticsearch和kibana 进行简单的实时数据报表分析

elasticsearch+kibana能帮助你轻松完成一个实时日志报表的功能。es需要制定自己的template， kibana要注意时区问题。

2016-01-26 15:31:21

阅读数 17854

评论数 1

原 一种简单的计算item相似度算法

计算item之间相似度是个有意义的工作，比如词的相似度就有很多应用场景。

2015-04-05 18:42:35

阅读数 4165

评论数 4

原 spseg-基于词库的高召回索引型分词器

spseg就是碎片分词的缩写，是一个基于词库的，能保证召回率的索引型分词器，保证分词一致性。 通常进行索引的分词器都是基于词库的，目前主流的分词器ik, ansj, mmseg, jieba等等都是。这些分词器都提供了智能分词效果，是把句子切成不产生交集的词与字，也就是消除了歧义。虽然各家算法...

2015-02-25 00:11:38

阅读数 2061

评论数 0

原 Solr应用之电商商品搜索备忘

把以前做电商商品搜索的经验总结一下，

2014-10-16 16:15:18

阅读数 3748

评论数 1

原 倒排链上的查询剪枝技术学习总结

背景 我最近对海量高维数据检索产生了兴趣，

2014-10-13 19:37:56

阅读数 3319

评论数 0

原 对GraphChi的Parallel Sliding Window的理解与随想

GraphChi设计成可以在个人计算机上高效进行大规模计算的框架，其中在模型不能一次性读入内存的时候，用到了PSW算法，核心是用连续读写来代替的随机读写。在我自己写单机算法时候也考虑过模型如果内存装不下问题，当时正好看到graphchi的PPT，也就想明白是怎么做到的，虽然我没有完整读完PSW的资...

2014-10-08 16:45:04

阅读数 2538

评论数 0

原 一个简易的数据挖掘计算平台项目: feluca

业余数据挖掘项目feluca想法的完整记录

2014-06-30 12:03:55

阅读数 3292

评论数 1

原 利用Solr完成向量乘以矩阵功能：以协同过滤算法ItemCF为例

很多应用的计算最终都转化为矩阵相乘来完成，例如推荐算法中的协同过滤就可以套上去。协同过滤（collaborative filtering）是推荐系统中一类广泛使用的方法，协同过滤中两种比较出名的方法item-based CF、user-based CF。itemCF方法更简单，推荐理由也更温和，将...

2014-06-01 13:05:54

阅读数 3376

评论数 0

原 配置Solr中文分词器IK以及ansj，支持动态修改用户词库。

经常看到不少人问solr的IK分词如何配置，如何实现中文动态词库添加这类问题，中文分词看来还是solr使用的一个容易卡住的地方。其实solr自带中文分词smartcn，它是个ictclas智能分词的java版。如果想体验一下smartcn的效果是比较简单的，配上对应的tokenizerFactor...

2013-11-01 16:16:15

阅读数 8166

评论数 3

原 hadoop，hbase，hive 安装snappy压缩

最近又安装了一次hadoop系列，以前装过几次，但总也是磕磕碰碰的，本来想这次安装一步到位，可惜以前记录不够详细，中间还是过程还是有些遗漏，这次把过程详细记录起来。hadoop-1.1.2，  hbase-0.95-hadoop1， hive-0.10 + snappy压缩。中间遇到不少坑，记...

2013-05-12 18:59:32

阅读数 4149

评论数 2

原 自动补全（智能提示）原理与实现

自动补全，英文叫autocomplete，好像也叫智能提示，就是用户在输入框敲一个字符会弹出下拉列表提示候选词给用户，方便用户输入，提升用户体验。              网上多是JS如何实现，用ajax请求拿到数据就可以了，这里分享一下后台实现的一些思路。如果对性能和效果要...

2013-04-17 21:46:52

阅读数 10504

评论数 9

原 搜索词纠错（拼写检查）、相关搜索的原理与实现

相关搜索是检索功能的一个扩展，用来告诉用户自己输入查询词的情况。 如果输入错了，可能会纠错提示用户：“想找的是不是”      。 另外还会在显著位置提供与输入查询词相关的其他查询词，例如百度结果页下面的提示，       而对于电商网站这两个功能会合在一起，下面分别说说我对这两个任务的理解。 ...

2013-04-05 12:58:12

阅读数 9382

评论数 0

原 java远程调试、监控虚拟机

在开发环境写好并测试过的服务程序，部署到服务器去，结果未必理想，一是数据源可能必须在服务器上获取，二是可能会出现开发机没见过的问题，所以有必要知道一些远程调试和分析的方法；最近查阅了一些资料，现在就把过程记录一下。 一、 在eclipse中远程调试 1.1 在你的 JAVA启动命令后加...

2013-03-22 17:01:17

阅读数 2649

评论数 0

原 solr学习笔记（二）：进阶

这次讲讲solr4.0最新的云，其中solrj那段引用了其他人的结论，以后可能还会调整一下内容。 到1月23号已经更新了4.1，solrcloud改变不少,尤其是修复了一些bug， 4月最新版是4.3，也是增加了很多内容 1. solrcloud     jetty启动： wiki有...

2013-01-15 16:41:02

阅读数 4787

评论数 0

原 solr学习笔记（一）：入门

Solr是一个比较成熟和热门的搜索引擎解决方案，之前的博客也提到过。最近在学习搜索开发也查阅过solr的资料，相对elasticsearch来说资料更全，案例更多也更让人放心，我现在还没发做很细致的比较，但个人认为中小型搜索用solr可能会更合适，毕竟更成熟可靠一些。      介绍Solr的资...

2012-12-30 21:22:57

阅读数 4096

评论数 0

提示
确定要删除当前文章？
取消 删除
关闭
关闭