![](https://img-blog.csdnimg.cn/20200308180216293.jpg?x-oss-process=image/resize,m_fixed,h_224,w_224)
Machine Learning
记录机器学习、信息检索、自然语言处理等领域的学习与理解。
迷麟Milin
There isn't time, so brief is life, for bickerings, apologies, heartburnings, callings to account. There is only time for loving, and but an instant, so to speak, for that. The good life is built with good relationships.
——Mark Twain
展开
-
python 爬取网页title 并行 bs4 beautifulsoup4
预先准备:python3、beautifulsoup4、bs4、内存较大的服务器项目结构如下图所示:思路:为了爬取个数达百万级别的url的title,如果每个网页的延迟设置为1秒、串行爬取,大概消耗的时间将达数十万秒乃至数百万秒。而一天仅有8万多(86400)秒,不可接受!因此,我们采用并行的方法,利用url_distract_into_txts.py将存...原创 2019-05-06 20:47:20 · 2427 阅读 · 0 评论 -
linux shell 多个命令一起执行的几种方法
...转载 2019-12-11 20:18:43 · 966 阅读 · 0 评论 -
Context Attentive Document Ranking and Query Suggestion
AOL数据集文档结构如图1所示图1 文档结构使用说明:处理思路:data_process.py运行报错与修改方法修改方法:train_v2.1,dev_v2.1,test_v2.1.json——json文件的格式不对具体表现为文件的最后一行内容残缺,将其删除之,debug成功...原创 2019-11-19 22:03:14 · 381 阅读 · 2 评论 -
Gartner's Hype Cycle For AI 2019
Gartner Hype Cycle For AI一、Gartner 技术曲线(2019年)图片来源:https://blogs-images.forbes.com/louiscolumbus/files/2019/09/Gartner-Hype-Cycle-For-Artificial-Intelligence-2019.jpg二、Gartner 2019年AI炒作周期的新增功能详细信...翻译 2020-03-31 21:01:35 · 2063 阅读 · 0 评论 -
面试常问的深度学习(DNN、CNN、RNN)的相关问题
面试常问的深度学习(DNN、CNN、RNN)的相关问题 原创 ...转载 2020-03-31 20:30:12 · 738 阅读 · 0 评论 -
三分钟带你对 Softmax 划重点
三分钟带你对 Softmax 划重点转载 2020-03-31 09:39:04 · 125 阅读 · 0 评论 -
LDA-math - 认识 Beta/Dirichlet 分布
LDA-math - 认识 Beta/Dirichlet 分布转载 2020-03-07 21:31:08 · 176 阅读 · 0 评论 -
蒙特卡洛树搜索算法(MCTS)
蒙特卡洛树搜索(MCTS)参考网址:https://zhuanlan.zhihu.com/p/30458774定义Monte Carlo Tree Search, 是一类树搜索算法的统称。蒙特卡洛树搜索是一种基于树数据结构**、能在搜索空间巨大仍然比较有效的搜索算法MCTS是一种逼近纳什均衡的搜索策略。应用场景搜索空间巨大zero-sum、fully informati...原创 2020-01-25 12:16:30 · 18864 阅读 · 1 评论 -
凸优化——对偶问题解题步骤
对偶问题解题步骤1. 根据原始问题写出拉格朗日函数构造方式为,将原始问题优化的函数,减去所有比例因子乘以大于等于0的式子,得到原始问题的拉格朗日函数(减去而不是加上的原因是,对偶问题是不断最大化原始问题的下限,从而逼近原始问题的最小值。当原函数为凸函数时,对偶问题的解通常等于原始问题的解。)2. 根据原始问题写出K.K.T条件K.K.T条件有:s.t.中所有...原创 2020-01-04 19:00:22 · 2010 阅读 · 0 评论 -
机器学习中的验证集的作用和如何使用
**验证集的作用:**在机器学习或者深度学习中,我们需要了解我们的模型包括什么:1)模型设计:①模型架构(包括模型有多少层,每层有多少个神经元);②可训练权重参数(模型内置参数);2)模型训练的参数(模型外置参数,如学习率、优化策略等等)。这一块具体大家可以去看一下吴恩达老师机器学习的教程,会有很大收获的,如图(截自吴恩达 机器学习教程): 然后我们可以发现什么,bp算法可训练的参数只...转载 2019-12-06 20:40:18 · 3270 阅读 · 0 评论 -
Tensorflow算法设计、训练的核心步骤
tensor意为张量,tensorflow通过tensor来进行一系列的操作每运行一个模块需要创建一个新的InteractiveSession,不同的session之间的数据和运算相互独立sess = tf.InteractiveSession() # 定义一个default的会话,每个会话相互独立,每个模型在一个会话中运行x = tf.placeholder(tf.fl...原创 2019-03-30 22:12:15 · 640 阅读 · 0 评论 -
CNN 卷积神经网络
参考博客:https://www.cnblogs.com/skyfsm/p/6790245.html概念理解:卷积神经网络是一种特殊的多层神经网络。像几乎所有其他神经网络一样,它们使用反向传播算法的版本进行训练。它们的不同之处在于架构。卷积神经网络旨在通过最少的预处理直接从像素图像识别视觉图案。它们可以识别具有极端可变性的图案(例如手写字符),并且具有对扭曲和简单几何变...原创 2019-03-24 22:53:15 · 715 阅读 · 0 评论 -
梯度下降 Gradient descent
Gradient descent——梯度下降 词汇:Gradient:梯度 Descent:下降 梯度下降(gradient descent)是几乎每种机器学习模型中使用的优化算法。 该算法是几乎所有ML模型的学习方式! 梯度下降的直观描述如下:如图1所示,登山运动员从山顶下山,他希望走到山底部的最低点 下面进行建模基本假设:1. ...原创 2019-01-17 17:30:12 · 307 阅读 · 0 评论