![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
数据挖掘与机器学习
文章平均质量分 83
fengrucheng
Think big, start small
展开
-
word2vec梳理--part2--负采样
在word2vec的第2部分(第1部分在这里(https://blog.csdn.net/fengrucheng/article/details/115705827)),将介绍对skip-gram模型的一系列优化,这些优化使得训练切实可行,因此非常重要。首先再明确一下我们的任务本质:skip模型--输入中间词,输出周围词(这与CBOW模型不同--输入周围词,输出中间词)当你看一些关于Word2Vec的skip-gram模型的教程时,你可能已经注意到了一些东西——这是一个巨大的神经网络!在之.原创 2021-04-18 11:14:32 · 4437 阅读 · 1 评论 -
word2vec梳理--part1--skip gram架构
本文主要介绍Word2Vec的skip-gram神经网络结构。目的是跳过通常关于Word2Vec的介绍性和抽象的见解,深入了解更多细节。skip-gram神经网络模型在其最基本的形式上实际上非常简单;一开始过多的关注于各种优化会影响理解。初步理解:抽象来看,Word2Vec使用了一个机器学习中常用的技巧:训练一个简单的神经网络,用一个隐藏层来执行一个特定的任务(伪任务, fake task),但其目标产出不是这个任务!相反,我们的目标实际上只是学习隐藏层的权重——我们将看到这些权重实际上是.原创 2021-04-14 18:37:04 · 614 阅读 · 0 评论 -
attention和transformer的理解
先说attention是什么。attention也就是注意力机制,抽象来说是一种资源分配的方案,解决信息超载问题注意力机制的计算可以分两步:一、在所有输入信息上计算注意力分布二、根据注意力分布来计算输入信息的加权平均现在常用的是用键值对(key-value)来表示输入信息。抽象计算公式如下:注意力分布???????? 表示了在查询 ???? 时,第n个输入向量受关注的程度而关于注意力分布的计算,需要先计算打分,相应的打分函数有:当前最常用的是缩放点积模型原创 2021-03-10 18:38:26 · 2190 阅读 · 0 评论 -
快速排序及其思想应用(求第K大)
本文内容纯干货,假设读着有一定的基础,重在总结。整体行文逻辑如下:如何优雅的写快排 第k大问题的几种解法 快排思想解第K大快排:快排的思想随便找本书就可以找到,二分思想,递归实现。算法理解起来简单,但在面试时想优雅的写出来却不容易。下面是我见过的比较优雅的python实现:def partition(arr, i, j): if i >= j: return loc, start, end = i, i, j while i < j原创 2021-02-21 12:07:26 · 273 阅读 · 0 评论 -
深度学习中的Normalization
最近入坑炼丹,用pytorch各种搭积木,感天地之灵气,吸日月之精华。。。一顿操作猛如虎,再看输出就想哭。现象:模型训练很不稳定,运气好的时候能收敛,运气差点结果直接飞掉。方案:偶尔看到pytorch中的Normalization layers,后来加了个bn层,效果出人意料的好!https://pytorch.org/docs/stable/nn.html#normalization-layers不仅好奇,怎么做到的,真是牛掰格拉斯啊!!查询了各种资料,对于normaliz原创 2020-12-07 21:35:55 · 163 阅读 · 0 评论 -
欧氏距离和余弦相似度的前世今缘
前几天在一场报告中和同事聊到了高维向量的距离度量,大家讨论的点是:欧式距离在高维下效果会非常差,那有没有其他更有效的方法?当时第一时间想到了余弦相似度,印象中在文本相似度(文本匹配)度量中就是用的余弦相似度。而且在深度学习中,也经常通过计算两个向量的内积来表示相似程度。然后同事说,余弦相似度只是欧式距离的归一化表示,本质没有区别。当场懵逼:)高维相似度量的讨论结果不重要了,最后再说,先说欧式和余弦的问题。闻道有先后,能发现问题令人兴奋;既然遇到了不懂的,慢慢搞懂就好了。下面分..原创 2020-11-29 23:39:09 · 445 阅读 · 0 评论 -
如何理解神经网络里的反向传播
反向传播的底层原理是数学求导里的链式法则,有空再补充一般讲反向传播都离不开神经网络,然后就得有公式和结构图。OK。公式占坑。结构图占坑。行动主义者容易被复杂的公式和结构图搞的很复杂,作为程序员,上代码。# -*- coding: utf-8 -*-import numpy as np# N is batch size; D_in is input dimension;# H is hidden dimension; D_out is output dimension.N, D_in,.原创 2020-06-06 22:57:36 · 293 阅读 · 0 评论 -
数据挖掘的数据集资源
数据挖掘数据集目录汇总转载 2015-10-11 19:37:59 · 465 阅读 · 0 评论 -
支持向量机通俗导论(理解SVM的三层境界)
支持向量机通俗导论(理解SVM的三层境界)作者:July ;致谢:pluskid、白石、JerryLead。出处:结构之法算法之道blog。原文地址:支持向量机通俗导论(理解SVM的三层境界)前言 动笔写这个支持向量机(support vector machine)是费了不少劲和困难的,原因很简单,一者这转载 2015-12-01 16:54:15 · 935 阅读 · 0 评论