- 博客(71)
- 收藏
- 关注
RSS订阅
原创 矩阵分解 - 奇异值分解 SVD
矩阵分解 - 奇异值分解 SVD奇异值分解几何解释紧奇异值分解（无损压缩）计算方法截断奇异值分解（有损压缩）计算方法（矩阵的外积展开式）实际意义奇异值分解奇异值分解，Singular value decomposition（SVD）在推荐、图像等多个领域中，因为数据矩阵的庞大，所以经常需要对矩阵进行压缩；亦或有噪声，要进行去噪，奇异值分解就是解决方法中的一个。它将矩阵分解为三个矩阵相乘的...
2019-07-19 21:34:40
973
原创 推荐系统 - 基于记忆的协同过滤
推荐系统 - 基于记忆的协同过滤基于记忆的协同过滤基于用户的协同过滤基于物品的协同过滤基于记忆的协同过滤的缺点基于其它方法的推荐
2019-07-12 16:49:56
1197
原创 推荐系统 - 冷启动问题 and 基于兴趣内容的推荐
推荐系统 - 冷启动问题 and 基于兴趣内容的推荐冷启动 Cold Start冷启动主要类别对应处理方案基于兴趣内容的推荐是什么优点与缺点重点
2019-07-11 16:22:34
1048
原创 心情整理，继续 Come on！
快一个月没有写博客了，眼看临近秋招了，这次总结一下之前的学习工作做，并展望一下未来吧。5月底到 6月初，把一个之前与UCSD合作的自动问答聊天机器人的项目进行了完善以及整理，集合了模板匹配、文本搜索、知识图谱检索、爬虫联网查询以及 Seq2Seq 多个模块，上传到了Github上。感觉那段时间情绪波动很大，心态不是很好，不过好在结果是不错的。之所以情绪有了起伏，是因为感觉时间不够，要处理家事，应...
2019-06-26 16:44:08
212
原创 自然语言处理 - 要代替 RNN、LSTM 的 Transformer
自然语言处理 - 要代替 RNN、LSTM 的 TransformerTransformer 结构计算过程Seq2Seq 模型，通常来讲里面是由 RNN、GRU、LSTM 的 cell 来组建的，但最近 Google 推出了一个新的架构 Transformer. 这个模型解决了 Seq2Seq 模型依赖之前结果无法并行的问题，而且最终的效果也是非常棒。原文：图解 Transformer已经这...
2019-05-28 16:22:32
3347
原创 有偏估计 and 无偏估计 - 方差分母 n-1（详细证明）
有偏估计 and 无偏估计方差分母 n-1 - 详细证明均值 - 无偏估计方差 - 有偏估计方差 - 转换成无偏估计
2019-05-19 08:49:35
4686
4
原创 优化算法 - Adagrad、RMSprop、Adam - 梯度下降 - 自适应学习率
优化算法梯度下降自适应学习率AdagradRMSpropAdam
2019-05-18 16:45:10
3665
原创 优化算法 - Momentum 动量 - 梯度下降 - 缓解山谷与鞍点的影响
优化算法Momentum 动量梯度下降缓解山谷与鞍点的影响MomentumNesterov
2019-05-17 15:52:02
1379
原创 优化算法 - BGD、MBGD、SGD - 梯度下降
BGD (Batch Gradient Descent) 批量梯度下降，SGD (Stochastic Gradient Descent) 随机梯度下降，MBGD (Mini-Batch Gradient Descent) 小批量梯度下降。
2019-05-17 11:20:12
505
原创 自然语言处理 - 文本数值化 - Word Embedding - 层次Softmax 与 负采样
哈夫曼树轮盘采样Word Embedding 简化方法层次 Softmax (Hierarchical Softmax )负采样 (Negative Sampling)
2019-05-16 15:42:45
949
原创 自然语言处理 - 文本数值化 - Word Embedding - CBOW 与 Skip-gram
Word EmbeddingCBOW (Continue Bag-of-Words)Skip-Gram
2019-05-16 11:33:39
680
原创 自然语言处理 - 文本表示模型 以及 文本数值化(基于频次)
Bag of WordsN-gram文本数值化Count VectorTF-IDF Vector共现矩阵
2019-05-15 11:30:50
1083
原创 特征工程 - 数据分析 - 峰度 and 偏度
特征工程 - 数据分析 - 峰度 and 偏度偏度峰度偏度偏度（Skewness）用来描述数据分布的对称性。当偏度 <0 时，称为负偏，数据出现左侧长尾；当偏度>0时，称为正偏，数据出现右侧长尾。正态分布是对称的，其偏度为 0。当数据偏度为 0 时，表示数据相对均匀的分布在平均值两侧，但不一定是正态分布。当偏度绝对值过大时，长尾的一侧出现极端值的可能性较高。下图...
2019-05-13 16:03:10
3991
原创 PyTorch 踩坑实录 (1) - 损失函数
今天开始更新学习 FaceBook 的深度学习框架 PyTorch ！PyTorch 底层优化的非常好，而且与 Numpy 无缝对接，用起来很清爽，不像 TensorFlow 那么“反 Python”~先看了 Deep Learning with PyTorch: A 60 Minute Blitz ，题目说是“一小时搞定”，但就我这个上了岁数的人来讲，花了一晚上才把一整套流程跑了一遍。。。...
2019-05-12 22:14:47
540
原创 机器学习 - 特征工程 - 多种编码方式的实现（Python）
机器学习 - 特征工程 - 多种编码方式的实现（Python）序号编码使用 replace 实现使用 map 实现One_Hot 编码pandas 实现sklearn 实现二进制编码实现代码运行效果
2019-04-22 17:01:13
2327
1
原创 机器学习 - 决策树的可视化
机器学习 - 决策树的可视化安装 Graphviz安装 graphviz 的 python 库基于决策树模型生成 png 图片效果展示
2019-04-21 17:59:26
346
原创 Python - 多任务：协程
Python - 多任务：协程并行 and 并发协程yield 实现greenlet 实现gevent 实现并行 and 并发在多任务中，存在两个概念：并发与并行。其中并发是假的多任务：在一个时间段中有多个程序都处于运行状态，且这几个程序是在同一个处理机上运行的，但任一个时刻点上实际只有一个程序在处理机上运行。在宏观上是同时进行，但微观上仍是顺序执行，所以称之为假的多任务。而并行则是真...
2019-04-16 14:28:17
185
原创 Python - 可迭代对象、迭代器 and 生成器
Python - 可迭代对象、迭代器 and 生成器可迭代对象迭代器生成器可迭代对象当一个对象实现了 __iter__() 方法，并返回一个迭代器时，这个对象称为可迭代对象。对于一个可迭代对象，for 循环所迭代的目标为 __iter__() 方法返回的对象（迭代器）。例如：from collections import Iterableclass my_iterable(Ite...
2019-04-14 22:08:20
224
原创 数据结构 - 堆排序（Python 实现，详细注释）
数据结构 - 堆排序堆完全二叉树堆堆排序代码实现堆完全二叉树假设二叉树的深度为 hhh，除第 hhh 层外，其它各层 1～(h−1)1～(h-1)1～(h−1) 的节点数都达到最大个数，第 hhh 层所有的节点都 连续 集中在最左边，这就是完全二叉树。完全二叉树可用数组表示。堆堆分为大顶堆（节点元素值大于左右子节点元素值）和小顶堆（节点元素值小于左右子节点元素值）。堆排序...
2019-04-12 22:08:19
231
原创 优化算法 - 牛顿法 and 拟牛顿法
优化算法 - 牛顿法 and 拟牛顿法预备知识无约束优化问题Hesse 矩阵泰勒展开式牛顿法形象化解释公式化解释算法过程拟牛顿法拟牛顿条件DFP (Davidon-Fletcher-Powell)算法推导算法过程BFGS (Broyden-Fletcher-Goldfarb-Shanno)总结
2019-04-07 13:22:34
504
原创 深度学习 - 处理序列的神经网络 (循环、长短时记忆、递归)
深度学习 - 处理序列的神经网络循环、长短时记忆、递归循环神经网络 RNN结构 and 计算过程反向传播梯度问题梯度消失 与 梯度爆炸激活函数长短时记忆 LSTM结构介绍公式推导递归神经网络 RNN介绍
2019-04-02 15:51:35
4215
原创 深度学习 - 卷积神经网络 CNN - 简述
深度学习 - 卷积神经网络 CNN层级结构数据输入层 Input Layer卷积计算层 Convolution Layer池化层 Pooling Layer全连接层 Full Connection Layer输出层 Output Layer
2019-04-01 20:27:08
674
原创 深度学习 - 激活函数、梯度问题 and 损失函数
激活函数函数、导数 and 优劣SigmoidTanh (双曲正切)ReLU (Rectified Linear Unit，修正线性单元)LReLU (Leaky ReLU)ELU（指数线性单元）Maxout梯度消失与梯度饱和梯度消失梯度饱和反向传播平方差损失 and 交叉熵损失平方差损失交叉熵损失
2019-04-01 16:06:49
876
原创 深度学习 - 总述 and 训练技巧
深度学习 - 总述 and 训练技巧发展历史从感知器到神经网络深度学习训练技巧参数初始化DropoutBatchnormalization（BN）BN 的优势
2019-04-01 14:04:27
451
原创 Python - 字典、集合 and 散列表
数据结构字典与集合的数据结构都以散列表的形式进行。散列表的单元通常叫做表元。表元由两部分组成，一个是对键的引用，一个是对值的引用。每个表元的大小是相同的。所以可以通过偏移量直接计算找到对应表元，从而根据引用找到相应的键以及与之对应的值。顺序可能会打乱以散列表实现，那么为了减少冲突，要时刻保持 1/3 的表元为空，典型的空间换时间。但是在向字典中添加元素时，随时可能扩容，而一旦改变大小，所...
2019-03-30 15:43:01
285
原创 Python - 序列数组
List 为可变数组，在执行添加元素操作时，会根据当前数组长度额外开辟空间（无需每次添加元素都开辟空间）。虽然方便修改，但占用内存。Tuple 被视为不可变列表，但其实它是数据的记录。Tuple 一旦创建则无法更改其中的元素，但是可以修改元组元素中的元素（嵌套元素）。>>> data = ([1, 2, 3], [4, 5, 6])>>> data...
2019-03-21 16:30:32
609
原创 Python - 魔术方法
Python - 魔术方法与运算符无关与运算符相关部分方法实现与运算符无关类别方法名数值转换abs、bool、complex、int、float、hash、index模拟集合len、getitem、setitem、delitem、contains迭代枚举iter、reversed、next可调用模型call上下文管理enter、exit...
2019-03-19 18:38:42
190
原创 整理思绪，再起航！
距离上次更新已经过去两个月，这期间发生了很多，使得脑子里有些繁乱。说也可笑，人老了，之前学过的，推导过的，过了两个月不看竟然快遗忘了，不过好在这颗好奇的心依然跳动，慢慢再补回来，拾起来。先说说年前吧，女友考研暂告段落，初试考完了。陪她备考，度过了8个月。每天买菜做饭收拾家，每周或半个月洗衣服，说累倒也不累，但还要学习处理实验室的活，感觉自己说不上伟大，但称职的男朋友还是可以称得上的。回来后一...
2019-03-14 20:59:45
165
2
原创 机器学习 - 隐马尔科夫模型（3）- 学习算法
机器学习 - 隐马尔科夫模型（3）- 学习算法监督学习算法初始状态概率向量 Π 的估计状态转移概率的估计观测概率的估计无监督 Baum-Welch 算法Baum-Welch 算法推导
2019-01-15 21:47:14
597
原创 机器学习 - 隐马尔科夫模型（2）- 前向 and 后向算法
机器学习 - 隐马尔科夫模型（2）- 前向 and 后向算法前向算法前向概率观测序列概率的前向算法例子后向算法后向概率观测序列概率的后向算法例子
2019-01-12 22:53:40
485
1
原创 机器学习 - 隐马尔科夫（HMM）目录索引
概念 and 直接计算法前向 - 后向算法学习算法（监督学习方法 以及 Baum-Welch 算法）预测算法（近似算法、维特比）三个基本问题
2019-01-12 20:08:02
290
5
原创 机器学习 - 隐马尔科夫模型（1）- 概念 and 直接计算法
机器学习 - 隐马尔科夫模型（1）HMM 概念 and 直接计算法引述定义两个集合两个序列两个概率矩阵其他参数模型举例概率计算方法直接计算法
2019-01-12 20:01:45
539
原创 机器学习 - 支持向量机（4）- SMO（序列最小最优化算法）
机器学习 - 支持向量机（4）SMO（序列最小最优化算法）动机算法过程两个变量的二次规划两个变量的选择
2019-01-08 16:38:31
497
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人