- 博客(40)
- 资源 (1)
- 收藏
- 关注
原创 推荐系统实战(一)——FM原理
在推荐系统及广告系统中,ctr预估是极其重要的一部分,解决该问题的经典模型分别为:LR、gbdt、xgboost、FM、wide&deep、deepFM、DCN、xdeepFM、DIN、DIEN、DISN。本文先介绍FM(因子分解机)算法。一、FM原理:除了特征的线性组合,FM主要是引入了二阶特征交叉,通过将特征映射为隐向量,求两个特征对应的隐向量的内积完成二阶特征交叉,无需做人工的特征工程。正向传播: ...
2020-08-07 08:14:35 1029
转载 推荐系统——MF及其python实现
版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。 ...
2019-10-26 10:15:25 1272
原创 可解释性(2)—— RNN可视化工具RNNVis
一、背景解释RNN为什么那么困难: 1. hidden state多,更新hidden state所用的参数更多。 2.使用RNN处理的文本等序列数据,本身语义信息繁多,难以解释。 3.输入一个单词会导致很多hidden state产生变化,而一个hidden state又受很多单词影响,多对多的关系难以分析。ok,RNNVis[1]自称是解决第3...
2019-09-07 22:31:07 2730 4
原创 可解释性(1)—— lstm可视化工具LSTMVis
一、背景深度模型成绩斐然,然而它就像一个黑箱子一样捉摸不透,使用者不知道它到底学到了些什么,也不知道它有什么凭据作出那样的预测,更不知道如何根据bad case去调特征,虽然能总结出几类bad case,bad case也有一些特定的pattern,但对样本作出相应的调整总是有点隔靴搔痒,难解其中真谛。伟大的研究者们开始进行可解释性研究,针对LSTM,目前有词向量的聚类可视化,hidden...
2019-09-05 13:54:46 5820 4
转载 fasttext源码解析
转载自知乎作者:张晓辉链接:https://zhuanlan.zhihu.com/p/64960839 https://zhuanlan.zhihu.com/p/65687490来源:知乎著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。最近花了一些时间通读了fb的fasttext的源码。远离了c++好长一段时间,猛地一看c++,太亲切了。简单的说,f...
2019-06-23 16:32:35 2264
原创 Graph Embedding(一)—— DeepWalk的原理及实现
1. 概念介绍图:是一种非常常用的结构,包含边和节点;Graph Embedding:图中的每个节点会对应一个词向量,某两个节点挨的越近(或者联系越紧密、或者共同的边越多),词向量在词向量空间里也就越近(想想单词的词向量的定义,和这差不多,就是把文字中的单词迁移到图的节点了)2. deepwalk想想单词的词向量训练的时候,是不是根据文本序列,生成中心词和上下文词列表分别作为输入输...
2019-05-21 22:41:53 6188 1
原创 词向量训练skipgram的python实现
skipgram的原理及公式推倒就不详细说了,主要记录一下第一个正向传播和反向传播都自己写的神经网络,也终于体验了一把负采样对于词向量训练速度的惊人提升,感人!虽然最终的时间复杂度依然较高,不过我正在研究同样使用python的gensim为啥这么快的原因!(明天有时间会把)数据和代码放在本人的github里,写的比较搓,待改进...1.工具介绍python: 3.6电脑:mac本地...
2019-05-21 22:41:40 3741 2
原创 Alias method:时间复杂度O(1)的离散采样方法
最近在看图算法相关的东西,先介绍一个用于其中的采样算法吧(超小声的说一句,我打算以后把看过的算法都实现一遍,提高一下工程能力)。1. 什么叫离散分布首先,离散分布:给你一个概率分布,是离散的,比如[1/2, 1/3, 1/12, 1/12],代表某个变量属于事件A的概率为1/2, 属于事件B的概率为1/3,属于事件C的概率为1/12,属于事件D的概率为1/12。2. 时间复杂度为o(N...
2019-05-14 22:55:09 1523 1
原创 知识图谱_关系抽取_文献笔记(三)———利用分层强化学习
本文介绍一篇发表在AAAI 2019上的关系抽取方向的文章:A Hierarchical Framework for Relation Extraction with Reinforcement Learning。对知识图谱关系抽取前世了解一下。源代码:https://github.com/truthless11/HRL-RE【一些废话】paper中其实对于任务具体是个什么样子,预训练的过...
2019-05-04 19:51:08 4002 8
原创 【python爬虫】利用selenium获取百度搜索结果及标红的相关关键字
一、环境搭建1. 安装chromedriverbrew cask install chromedriver2. 安装seleniumpip3 install selenium3. 安装beautifulsoup4pip3 install beautifulsoup44. 用以下代码测试fromselenium import webdriverdriv...
2019-04-28 21:47:19 4045
转载 图像识别——AlexNet原理解析及实现
转载自:https://blog.csdn.net/u012679707/article/details/80793916 &nb
2019-01-26 20:28:10 3908 1
原创 知识图谱_关系抽取_文献笔记(二)
本文介绍一篇18年EMNLP的文章Neural Relation Extraction via Inner-Sentence Noise Reduction and Transfer Learning。对知识图谱关系抽取前世了解一下,再来看今天的文章哦。还需了解一下用神经网络做依存句法分析。一、问题描述这篇文章是做知识图谱中的关系抽取的,创新点有三个:1. 通过Sub-Tree Par...
2019-01-02 21:16:18 3278 2
原创 依存句法分析—A Fast and Accurate Dependency Parser using Neural Networks
一、问题描述这是一篇使用神经网络来做依存句法分析的经典文章,传统的依存句法分析特征向量稀疏,特征向量泛化能力差,特征计算消耗大,用神经网络做transition-based贪心模型可以缓解上述问题,准确率提高,速度变快。由于源代码是java写的,所以本人看了用tensorflow改写的代码,但是该代码存在一些问题,只预测是LEFT-ARC,RIGHT-ARC,SHIFT中的一种(即三分类),但...
2019-01-02 19:25:00 4378 5
原创 语音识别MFCC系列(四)——MFCC特征参数提取
最好先看下下面三篇(其中系统的讲述了离散傅里叶变换,能量密度谱为什么是DFT系数的平方除以总点数,为什么512点的离散傅里叶变换只选前257个分量,离散余弦变换,为什么采样频率要大于真实信号最大频率的两倍,频谱混叠,频谱泄露,为什么要用窗函数等等),做知识储备,如果上述问题不懂,一定要去看哦,都可以找到答案。然后MFCC的提取过程就特别好理解。因为我就是这么学过来的!本文是我看了代码以后做的总结,...
2018-12-03 23:44:24 12420 9
原创 语音识别MFCC系列(三)——离散余弦变换DCT
都说DCT和离散傅里叶变换DFT其实是一样的,那咱们就从DFT推出DCT吧。如果信号是实数,那么DFT的系数有实部,有虚部,是复共轭的,也就是说正频率的系数是负频率系数的共轭,原理参考前两篇博客:连续信号的请看语音识别MFCC系列(一)——连续信号、傅里叶变换离散信号的请看语音识别MFCC系列(二)——离散信号、离散傅里叶变换 那么DCT最后求得的系数只有实部,没有虚部。有...
2018-12-03 22:14:46 5338
原创 语音识别MFCC系列(二)——离散信号、离散傅里叶变换
看了很多傅里叶变换(连续信号和离散信号)的博客,都写的不是很清楚,有些地方可能有误,我在查阅了书籍和大量资料以后,争取能用前后标注一致的公式把相关内容(帕斯瓦尔公式,能量信号,功率信号,能量谱,功率谱等)讲清楚,说正确。最好先看连续信号再看离散信号哦连续信号的请看语音识别MFCC系列(一)——连续信号、傅里叶变换离散信号的请看语音识别MFCC系列(二)——离散信号、离散傅里叶变换耐不住...
2018-11-30 13:27:16 3327
原创 语音识别MFCC系列(一)——连续信号、傅里叶变换
看了很多傅里叶变换(连续信号和离散信号)的博客,都写的不是很清楚,有些地方可能有误,我在查阅了书籍和大量资料以后,争取能用前后标注一致的公式把相关内容(帕斯瓦尔公式,能量信号,功率信号,能量密度谱,功率频谱等)讲清楚,说正确。最好先看连续信号再看离散信号哦连续信号的请看语音识别MFCC系列(一)——连续信号、傅里叶变换离散信号的请看语音识别MFCC系列(二)——离散信号、离散傅里叶变换...
2018-11-28 21:13:47 5345 1
原创 bagging, boosting
本文将介绍Offline Bagging,Offline Boosting,adaboost,Online Bagging,Online Boosting,Offline Boosting应用于特征选择,Online Boosting应用于特征选择等算法。参考文献[1] Breiman L. Bagging predictors[J]. Machine learn...
2018-11-11 18:21:06 433
原创 文献阅读笔记—BERT: Pretraining of Deep Bidirectional Transformers for Language Understanding
迁移学习在nlp领域的应用之pretrain language representation,四连载,建议按顺序看,看完对该方向一定会非常清楚的!(一)ELMO:Deep contextualized word representations(二)Universal Language Model Fine-tuning for Text Classification(三)openAI ...
2018-11-07 13:13:52 3041
原创 文献阅读笔记—Improving Language Understanding by Generative Pre-Training
迁移学习在nlp领域的应用之pretrain language representation,四连载,建议按顺序看,看完对该方向一定会非常清楚的!(一)ELMO:Deep contextualized word representations(二)Universal Language Model Fine-tuning for Text Classification(三)openAI ...
2018-11-06 22:03:01 7718 1
原创 文献阅读笔记—Universal Language Model Fine-tuning for Text Classification
迁移学习在nlp领域的应用之pretrain language representation,四连载,建议按顺序看,看完对该方向一定会非常清楚的!(一)ELMO:Deep contextualized word representations(二)Universal Language Model Fine-tuning for Text Classification(三)openAI ...
2018-11-05 21:42:25 4423 2
原创 文献阅读笔记—Deep contextualized word representations
迁移学习在nlp领域的应用之pretrain language representation,四连载,建议按顺序看,看完对该方向一定会非常清楚的!(一)ELMO:Deep contextualized word representations(二)Universal Language Model Fine-tuning for Text Classification(三)openAI ...
2018-10-26 16:41:28 4636 2
原创 文献阅读笔记—Multiway Attention Networks for Modeling Sentence Pairs
1. 问题描述这是一篇计算两个句子间相似度的文章,用于句子p是否是句子q的另一种表达(paraphrase identification)、句子p是否可以从句子q中推断出(natural language inference)、句子p是否是句子q的答案(Answer Sentence Selection)的问题中。在上述三方面都做了实验,如下图所示:2. 以前的解决方法几创新点阶段...
2018-10-25 23:18:06 751
原创 mac安装pytesseract遇到的问题集锦
电脑mac本地,楼主本来想用下面这段代码识别一个图片中的数字:import pytesseractfrom PIL import Imageimg = Image.open('/Users/liangmimi/Desktop/11.png')a = pytesseract.image_to_string(img, config='--psm 6')print(a)1. pip i...
2018-10-22 10:06:51 2628 1
原创 mac用终端进入pycharm的虚拟python环境
在pycharm中每新建一个项目,会新建一个python虚拟环境,如果想在这个虚拟环境中安装一些python库,有两种方法:1. 在这个项目中新建一个requirements文件,里面写上你想要的库,然后pycharm会自动检测这些库有没有安装并提醒你安装。2. 在项目的interpreter中安装库,点下方的+ 添加即可。但是这两种方法如果安装失败呢,比如说有些依赖条件无法满...
2018-10-22 09:50:41 8889 1
原创 深度学习最优化(四)—— 动量法/Nesterov/Adagrad/Adadelta/RMSprop/Adam/Nadam
1. SGD现在的SGD一般都指小批量梯度下降,即每一次迭代计算mini-batch的梯度,然后对参数进行更新。 其中是模型参数,是模型目标函数,是目标函数的梯度,是学习率。难点(缺点): (1)学习率的选择。过低收敛缓慢,过高无法收敛。 (2)“...
2018-10-16 20:53:55 4870
转载 RNN与LSTM系列(一)——LSTM反向传播公式推导
转载自https://blog.csdn.net/wjc1182511338/article/details/792855030 LSTM相对于rnn的优势The Problem of Long-Term DependenciesOne of the appeals of RNNs is the idea that they might be able to connect previ...
2018-10-08 16:10:21 3800
转载 RNN与LSTM系列(二)——LSTM的参数个数
转载:https://www.cnblogs.com/wushaogui/p/9176617.html目录:1. LSTM简单介绍 2.简单假设样例 3.神经元分析 3.1忘记门层 3.2细胞状态 3.3输出层 3.4总结 4.测试1.LSTM简单介绍 ...
2018-10-08 13:49:14 18852 7
原创 文献阅读—跨语言词向量—无监督
上一篇博客将了有监督的跨语言词向量训练,这篇博客将无监督的跨语言词向量《A robust self-learning method for fully unsupervised cross-lingual mappings of word embeddings》。1. 初步构想和分别表示两类语言中独立训练好的词嵌入矩阵,需要自己先训练好,或者拿别人现成的。其中每行代表一个词的词向量,每一列...
2018-09-15 22:37:16 1592 5
原创 文献阅读—跨语言词向量—有监督
1. 问题描述跨语言词向量解决什么问题呢?当我们有英文标注数据,在英文数据上训练好模型,但是我们没有中文标注数据去训练模型,怎么办?跨语言词向量就是将英文词向量和中文词向量映射到一个空间里,这样相当于中英文数据都只是整体数据的一部分,我拿整体数据中的一部分(即英文数据)做训练,拿整体数据中的另一部分(即中文数据)做测试,所以就不需要重新训练模型,解决了中文标注数据缺失的问题。啊说的有点多了,西...
2018-09-15 18:40:29 1499 1
原创 文献阅读笔记—Attention is ALL You Need
本文主要是参考https://yq.aliyun.com/articles/342508?utm_content=m_39938https://mchromiak.github.io/articles/2017/Sep/12/Transformer-Attention-is-all-you-need/#positional-encoding-pe将互相缺少的融合到一起,略微加了点其他东...
2018-09-03 19:35:55 2744
原创 决策树、随机森林、GBDT等面试重点
本文包含决策树ID3,C4.5,cart;剪枝;随机森林bootstrap,提升树adaboost,GBDT等面试重点。
2018-08-29 16:11:57 1860
原创 排序算法python实现集锦
1. 直接插入排序——升序#直接插入排序 升序排序def insert_sort(a): length = len(a) for i in range(1, length): if a[i] < a[i - 1]: j= i -1 temp = a[i] while j >...
2018-08-11 14:25:17 178
原创 知识图谱_关系抽取_文献笔记(一)
主要有4篇知识图谱之关系抽取的文献,可以保证看了这篇博客,对关系抽取的前世今生/state of art都会非常清楚。《Distant supervision for relation extraction without labeled data》《Distant Supervision for Relation Extraction via Piecewise Convolutiona...
2018-07-22 18:30:57 6688 2
转载 RNN与LSTM系列(三)——RNN和变种LSTM的前向和反向传播
转载自:http://blog.csdn.net/u011414416/article/details/46709965 以下内容主要引自Alex Graves写的Supervised Sequence Labelling with Recurrent Neural Networks 一书。 (http://www.springer.com/cn/book/9783642247965)...
2018-06-25 20:35:04 653
原创 用python + stack实现括号有效问题
def isValid(self, s): Parentheses = [] count = 0 Parenthese_dict = {'(' : ')', '[' : ']', '{' : '}'} for Parenthese in s: if Paren...
2018-04-04 23:25:47 285
原创 用python实现约瑟夫环
先上代码:def circle(number, k): length = number people = [] for index in range(number): people.append(index + 1) j = 0 temp = 0 res = 0 while number > 1: ind...
2018-04-04 22:47:55 2999
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人