机器学习
Catherine_985
https://github.com/white127
展开
-
Reinforcement Learning 的核心基础概念及实现
Reinforcement Learning 的核心基础概念及实现 Machine Learning | 5 | 57322013 年伦敦的一家小公司 DeepMind 发表了一篇论文 Playing Atari with Deep Reinforcement Learning 。论文描述了如何教会电脑玩 Atari 2600 游戏(仅仅让电脑观察游戏的每一帧图转载 2017-12-08 17:46:28 · 3519 阅读 · 0 评论 -
条件随机场(Conditional Random Field)简介
条件随机场(CRF)由Lafferty等人于2001年提出,是一种判别式概率模型,在许多自然语言处理任务中比如分词,命名实体识别等表现尤为出色。本篇与lafferty原始论文相同,将着重介绍条件随机场的一种特殊形式——线性链条件随机场(Linear Chain CRF)。为什么需要CRF作为Motivation,我们考虑如下词性标注任务:对于一段输入文字“The d转载 2017-12-05 11:22:26 · 1085 阅读 · 0 评论 -
【机器学习详解】SMO算法剖析
转载请注明出处:http://blog.csdn.net/luoshixian099/article/details/51227754 CSDN−勿在浮沙筑高台本文力求简化SMO的算法思想,毕竟自己理解有限,无奈还是要拿一堆公式推来推去,但是静下心看完本篇并随手推导,你会迎刃而解的。推荐参看SMO原文中的伪代码。1.SMO概念上一篇博客已经详细介绍了SV转载 2017-12-22 17:02:33 · 355 阅读 · 0 评论 -
支持向量机SVM(二)
支持向量机SVM(二)【转载请注明出处】http://www.cnblogs.com/jerrylead6 拉格朗日对偶(Lagrange duality) 先抛开上面的二次规划问题,先来看看存在等式约束的极值问题求法,比如下面的最优化问题: 目标函数是f(w),下面是等式约束。通常解法是引入拉格朗日算子,这里使用来表示算子,得到拉格朗日公转载 2017-12-14 17:17:35 · 249 阅读 · 0 评论 -
约束优化方法之拉格朗日乘子法与KKT条件
约束优化方法之拉格朗日乘子法与KKT条件引言本篇文章将详解带有约束条件的最优化问题,约束条件分为等式约束与不等式约束,对于等式约束的优化问题,可以直接应用拉格朗日乘子法去求取最优值;对于含有不等式约束的优化问题,可以转化为在满足 KKT 约束条件下应用拉格朗日乘子法求解。拉格朗日求得的并不一定是最优解,只有在凸优化的情况下,才能保证得到的是最优解,所以本文称拉格朗日乘子转载 2017-12-15 16:07:55 · 324 阅读 · 0 评论 -
拉格朗日对偶
本文承接上一篇 约束优化方法之拉格朗日乘子法与KKT条件,将详解一些拉格朗日对偶的内容。都是一些在优化理论中比较简单的问题或者一些特例,复杂的没见过,但是简单的刚接触都感觉如洪水猛兽一般,所以当真是学海无涯。在优化理论中,目标函数 f(x)f(x) 会有多种形式:如果目标函数和约束条件都为变量 xx 的线性函数, 称该问题为线性规划; 如果目标函数为二次函数, 约束条件为线性函数, 称转载 2017-12-15 16:21:25 · 231 阅读 · 0 评论 -
基于互信息和左右信息熵的短语提取识别
在中文语言处理领域,一项重要的任务就是提取中文短语,也即固定多字词表达串的识别。短语提取经常用于搜索引擎的自动推荐,新词识别等领域。本文主要实现了从陌生文本中自动发现固定短语,并给出原理和步骤。开源项目本文代码已集成到HanLP中开源:http://www.hankcs.com/nlp/hanlp.html测试数据算法工程师算法(Algorithm)是一转载 2017-12-15 16:27:25 · 1964 阅读 · 1 评论 -
SVM相关问题
1. 什么情况下是强对偶关系。convex primal(原问题目标函数是凸问题),feasible primal(原问题可解),linear constraints(线性的约束) 这里只是给出了强对偶关系的结论,具体证明方法未给出 SVM满足以上的3个条件,是强对偶关系,直接用对偶问题的解作为原始问题的解即可原创 2017-12-15 17:49:04 · 231 阅读 · 0 评论 -
支持向量机原理(四)SMO算法原理
支持向量机原理(一) 线性支持向量机 支持向量机原理(二) 线性支持向量机的软间隔最大化模型 支持向量机原理(三)线性不可分支持向量机与核函数 支持向量机原理(四)SMO算法原理 支持向量机原理(五)线性支持回归 在SVM的前三篇里,我们优化的目标函数最终都是一个关于αα向量的函数。而怎么极小化这个函数,求出对应的αα向量转载 2017-12-18 14:59:51 · 379 阅读 · 0 评论 -
http://www.jianshu.com/p/55458caf0814
用讲故事的办法帮你理解SMO算法http://www.jianshu.com/p/55458caf0814转载 2017-12-19 09:54:28 · 1283 阅读 · 0 评论 -
A Painless Q-learning Tutorial (一个 Q-learning 算法的简明教程)
本文是对 http://mnemstudio.org/path-finding-q-learning-tutorial.htm 的翻译,共分两部分,第一部分为中文翻译,第二部分为英文原文。翻译时为方便读者理解,有些地方采用了意译的方式,此外,原文中有几处笔误,在翻译时已进行了更正。这篇教程通俗易懂,是一份很不错的学习理解 Q-learning 算法工作原理的材料。第一转载 2018-01-11 19:10:05 · 426 阅读 · 0 评论 -
支持向量机原理(二) 线性支持向量机的软间隔最大化模型
支持向量机原理(一) 线性支持向量机 支持向量机原理(二) 线性支持向量机的软间隔最大化模型 支持向量机原理(三)线性不可分支持向量机与核函数 支持向量机原理(四)SMO算法原理 支持向量机原理(五)线性支持回归 在支持向量机原理(一) 线性支持向量机中,我们对线性可分SVM的模型和损失函数优化做了总结。最后我们提到了有时候不能线转载 2017-12-19 14:07:03 · 777 阅读 · 0 评论 -
Deep Reinforcement Learning: Pong from Pixels
Andrej Karpathy blogAbout Hacker's guide to Neural NetworksDeep Reinforcement Learning: Pong from PixelsMay 31, 2016This is a long overdue blog post on Reinforcement Learning (转载 2018-01-12 14:43:12 · 728 阅读 · 0 评论 -
从2017年顶会论文看 Attention Model
从2017年顶会论文看 Attention Model阅读 107收藏 52017-10-11原文链接:zhuanlan.zhihu.com腾讯云域名限量秒杀中!.com低至28元,.club最低1元!立即了解详情抢购吧!https://dnspod.cloud.tencent.com/act/yearendsales前言:2017年KDD,转载 2018-01-03 16:20:44 · 1171 阅读 · 0 评论 -
NLP突破性成果 BERT 模型详细解读
https://zhuanlan.zhihu.com/p/46997268NLP突破性成果 BERT 模型详细解读章鱼小丸子不懂算法的产品经理不是好的程序员关注她82 人赞了该文章Google发布的论文《Pre-training of Deep Bidirectional Transformers for Language Understanding》,提到的BERT...转载 2018-12-12 16:50:56 · 2555 阅读 · 0 评论 -
Serving Google BERT in Production using Tensorflow and ZeroMQ
Serving Google BERT in Production using Tensorflow and ZeroMQJan 2, 2019 by Han Xiao - Engineering Lead @ Tencent AI Lab◷ 24 min readThis is a post explaining the design philosphy behind ...转载 2019-02-15 16:38:48 · 1374 阅读 · 0 评论 -
Deep Residual Network 与 梯度消失
https://blog.csdn.net/supercally/article/details/556710641. 什么是DRN,为什么需要DRNDRN的全称是Deep Residual Network,深度残差网络,是对普通的深度学习网络的一种改进。我们为什么需要深度残差网络呢?因为普通的深度学习网络存在着这样的问题在层数比较少的时候,我们增加网络的深度,可以获得更好的表达效果...转载 2019-02-21 10:15:44 · 456 阅读 · 0 评论 -
棋类AI相关
http://blog.csdn.net/fsdev/article/category/1085675象棋百科全书http://www.xqbase.com/computer.htm原创 2017-12-13 10:38:51 · 730 阅读 · 0 评论 -
12 papers to understand QA system with Deep Learning
http://blog.csdn.net/abcjennifer/article/details/51232645由于最近入手NLP任务,需要看一些paper,本文对最近两周看的paper做个总结,适用于有deep learning背景,希望了解NLP应用的同学,主要针对NLP方向: 问答系统(QA)和翻译(Machine Translation)。本文提到的12篇paper比较有代表性,转载 2017-12-13 10:35:01 · 262 阅读 · 0 评论 -
搜索引擎的Query自动纠错技术和架构详解
http://www.52nlp.cn/%E8%BE%BE%E8%A7%82%E6%95%B0%E6%8D%AE%E6%90%9C%E7%B4%A2%E5%BC%95%E6%93%8E%E7%9A%84query%E8%87%AA%E5%8A%A8%E7%BA%A0%E9%94%99%E6%8A%80%E6%9C%AF%E5%92%8C%E6%9E%B6%E6%9E%84%E8%AF%A6%E8%转载 2017-12-13 10:34:35 · 9327 阅读 · 0 评论 -
再谈 最速下降法/梯度法/Steepest Descent
最速下降法(又称梯度法,或Steepest Descent),是无约束最优化领域中最简单的算法,单独就这种算法来看,属于早就“过时”了的一种算法。但是,它的理念是其他某些算法的组成部分,或者说是在其他某些算法中,也有最速下降法的“影子”。因此,我们还是有必要学习一下的。我很久以前已经写过一篇关于最速下降法的文章了,但是这里我还打算再写一篇,提供更多一些信息,让大家可以从更简单生动的方面去理解它转载 2017-12-12 14:47:18 · 1580 阅读 · 0 评论 -
Kaggle 数据挖掘比赛经验分享
【干货】Kaggle 数据挖掘比赛经验分享哆啦大大4 个月前简介Kaggle 于 2010 年创立,专注数据科学,机器学习竞赛的举办,是全球最大的数据科学社区和数据竞赛平台。笔者从 2013 年开始,陆续参加了多场 Kaggle上面举办的比赛,相继获得了 CrowdFlower 搜索相关性比赛第一名(1326支队伍)和 HomeDepot 商品搜索相关性比赛第三转载 2017-12-12 14:47:55 · 4716 阅读 · 1 评论 -
梯度下降法的步长到底怎么确定?
https://www.zhihu.com/question/37911687原创 2017-12-12 14:48:37 · 10434 阅读 · 0 评论 -
最小二乘、ridge、lasso的概率论原理
最小二乘、ridge、lasso的概率论原理 https://www.zhihu.com/question/20447622转载 2017-12-12 14:49:08 · 1358 阅读 · 0 评论 -
第五章 深度神经网络为何很难训练
http://www.jianshu.com/p/917f71b06499转载 2017-12-12 14:49:40 · 237 阅读 · 0 评论 -
为什么在神经网络中要使用交叉熵而不是均方差作为损失函数
https://jamesmccaffrey.wordpress.com/2013/11/05/why-you-should-use-cross-entropy-error-instead-of-classification-error-or-mean-squared-error-for-neural-network-classifier-training/James D.转载 2017-12-12 14:50:11 · 4057 阅读 · 0 评论 -
怎样提升机器学习:特征工程的奇淫巧技
目录 [显示]作者:Jacob Joseph系列名称:Improving analytics output with feature engineeringPart1: How to Improve Machine Learning: Tricks and Tips for Feature EngineeringPart2: Enhance Machine Lear转载 2017-12-12 14:50:38 · 396 阅读 · 0 评论 -
台大机器学习corsera资料
笔记中的公式全部采用LATEXLATEX语法手工输入,某些笔记由于公式数量太多,可能造成浏览器显示不正常,通常刷新下页面即可重新加载。若出现公式错误,麻烦您提醒我修正。笔记之前发布在我的博客当中beader.me,使用markdown撰写,因此几乎不加修改就转移到gitbook当中,可能会出现一些排版错误,也麻烦您提醒我修正。老师课堂讲义打包下载,有些地区的朋友访问coursera速度较慢,也转载 2017-12-12 14:51:08 · 586 阅读 · 0 评论 -
最优化理论和支持向量机的对偶问题
http://jacoxu.com/?p=78http://blog.pluskid.org/?p=702转载 2017-12-12 14:52:34 · 415 阅读 · 0 评论 -
互联网时代的社会语言学:基于SNS的文本数据挖掘
http://www.matrix67.com/blog/archives/5044Matrix67: The Aha Moments 十十十四是十四四十是四十十是十十四是十四四十是四十十是四十十四是十四四十是四十十四四十是四十是十十四是十四四十是四十是十四四十是四十是四十是四十是十十四是十四四十是四十四十四十是十十四转载 2017-12-13 10:28:44 · 533 阅读 · 0 评论 -
Reinforcement Leaning资料
https://gym.openai.com/docs/rl基于gym的一个简单DQN代码实现https://zhuanlan.zhihu.com/p/21477488?refer=intelligentunit转载 2017-12-13 10:29:46 · 178 阅读 · 0 评论 -
深度学习教父Hinton专访,AI已跨越重要分水岭
http://mp.weixin.qq.com/s?__biz=MzI3MTA0MTk1MA==&mid=2651983539&idx=1&sn=2c0861514b58765b6b3e3cfeba63c680&scene=2&srcid=0621jbS0TSHbj1BTB0WD7xTu&from=timeline&isappinstalled=0转载 2017-12-13 10:30:22 · 254 阅读 · 0 评论 -
An overview of gradient descent optimization algorithms
An overview of gradient descent optimization algorithmsTable of contents:Gradient descent variantsBatch gradient descentStochastic gradient descentMini-batch gradient d转载 2017-12-13 10:31:32 · 251 阅读 · 0 评论 -
CNN QA(Question and Answer)问答的theano和tensorflow代码
https://github.com/white127/insuranceQA-cnn================result==================theano and tensorflow cnn code for insuranceQAtheano code, test1 top-1 precision : 61.5% (see ./insuran原创 2017-12-13 10:32:14 · 596 阅读 · 0 评论 -
机器学习实践中应避免的七种常见错误
http://www.52cs.org/?p=879统计建模和工程开发很相似。在工程开发中,人们有多种方法搭建一套键-值存储系统,每种设计针对使用模式有一套不同的假设。在统计建模中,也有很多算法来构造一个分类器,每种算法对数据也有各自的假设集合。当处理少量数据时,因为实验成本很低,我们尽可能多的尝试各种算法,从而选出效果最优的算法。但提到“大数据”,提前分析数据,然后设计相转载 2017-12-13 10:33:25 · 246 阅读 · 0 评论 -
QA相关的DL论文
http://aclweb.org/aclwiki/index.php?title=Question_Answering_(State_of_the_art)Question Answering (State of the art)Answer Sentence SelectionThe task of answer sentence sel转载 2017-12-13 10:34:00 · 789 阅读 · 0 评论 -
计算广告系统算法与架构综述
知识登录探索知识产业专栏AI商用搜索达观数据原创2019/04/01 15:15吴威骏作者计算广告系统算法与架构综述前言我们当今身处一个被广告包围的时代,无论是走在马路上、收看电视剧、或者是玩手机游戏,都能看见形形色色的广告。随着时代和技术的发展,广告的形式呈现出多样化、立体化的趋势,从最早的纸媒广告发展到如今的网页的展示、搜索广...转载 2019-05-13 11:12:48 · 2853 阅读 · 0 评论