笔记
文章平均质量分 93
guanyue.space
日就月将,学有缉熙于光明。
展开
-
无监督学习
无监督特征学习主成分分析(Principal Component Analysis,PCA)稀疏编码(Sparse Coding)训练方法稀疏编码的优点自编码器稀疏自编码器熵堆叠自编码降噪自编码器概率密度估计参数密度估计正太分布 & 多项分布非参数密度估计直方图法核方法K近邻方法Later从无标签的数据中学习出一些有用的模式.无监督学习就是发现隐藏的数据中的有价值信息,包括有效的特征、类别、结构以及概率分布等. 典型的无监督学习问题可以分为以下几类:无监督特征学习(Unsupervi.原创 2021-07-28 10:21:28 · 463 阅读 · 0 评论 -
注意力机制与外部记忆
引言注意力注意力机制注意力机制的变体硬性注意力键值对注意力多头注意力小结指针网络自注意力模型人脑中的记忆记忆增强神经网络端到端的记忆网络神经图灵机基于神经动力学的联想记忆Hopfield网络总结神经网络的能力 通用近似原理{前馈神经网络 →\rightarrow→ 循环神经网络:有界区间连续函数 →\rightarrow→ 非线性动力系统}, 然而 优化算法和计算力限制 实践中很难达到通用近似的能力 (泛化)减少计算复杂度:局部连接、权重共享、汇聚操作 {卷积神经网络开始引入}来简化神经网络结构.原创 2021-07-20 23:04:18 · 1208 阅读 · 0 评论 -
网络优化与正则化
任何数学技巧都不能弥补信息的缺失.引言虽然神经网络具有非常强的表达能力,但是当应用神经网络模型到机器学习时依然存在一些难点问题.主要分为两大类:优化问题:非凸优化问题+参数多,训练数据大+梯度消失爆炸泛化问题:模型拟合能力较强 – 正则化网络优化网络优化是指寻找一个神经网络模型来使得经验(或结构)风险最小化的过程,包括模型选择以及参数学习等.网络结构多样性: 通用方法;另外超参数较多高维变量的非凸优化:逃离鞍点;(平坦)局部最小值(的等价性)神经网络优化的改善方法:优化原创 2021-06-30 13:09:05 · 617 阅读 · 0 评论 -
Cuckoo Filter
Cuckoo MapCuckoo FilterConditional Cuckoo FilterCuckoo MapCuckoo FilterConditional Cuckoo Filter原创 2021-06-23 20:19:54 · 545 阅读 · 0 评论 -
循环神经网络
前言短期记忆能力实现延时神经网络(Time Delay Neural Network,TDNN)有外部输入的非线性自回归模型循环神经网络(Recurrent Neural Network,RNN)简单循环网络循环神经网络的计算能力前言处理时间序列数据 (语音识别,语言模型,自然语言生成…)前馈神经网络(卷积神经网络):信息单向传递 在一定程度上也减弱了神经网络模型的能力时序数据的长度一般是不固定的,而前馈神经网络要求输入和输出的维数都是固定的,不能任意改变循环神经网络具有短期记.原创 2021-06-09 11:07:02 · 852 阅读 · 0 评论 -
SMO算法思想
对偶问题优化对偶问题优化最大化:θ(α)=∑i=1Nαi−12∑i=1N∑j=1NαiαjyiyjK(xi,xj)限制条件:∀i=1,...,N,有0≤αi≤C∑i=1Nαiyi=0最大化:\\\theta(\alpha)=\sum_{i=1}^{N}{\alpha_i}-\frac 12 \sum_{i=1}^{N}{\sum_{j=1}^{N}{\alpha_i\alpha_jy_iy_j \quad K(x_i,x_j)}}\\限制条件:\\\forall i=1,...,N ,有 0 .原创 2021-06-09 11:01:43 · 234 阅读 · 0 评论 -
支持向量机
支持向量机(回顾)线性可分训练数据标签:(X,y),y∈{1,−1}(X,y), y\in\{1,-1\}(X,y),y∈{1,−1}寻找一个超平面分离 +1,-1 超平面:WTX+b=0W^TX+b=0WTX+b=0训练集{(xi,yi)}i=1,...,N\lbrace (x_i,y_i)\rbrace_{i=1,...,N}{(xi,yi)}i=1,...,N∃(W,b)\exist(W,b)∃(W,b)使得 ∀i=1,...N有\forall i=1,...N有∀i=1,..原创 2021-06-08 17:49:34 · 162 阅读 · 0 评论 -
卷积神经网络
定义简单分析典型的卷积神经网络LeNet5卷积层由手工设计卷积核变成自动学习卷积核(后向传播算法)定义初始数据Data∈RM∗NData \in R^{M*N}Data∈RM∗N卷积核 W=∣wi,j∣i∈[1,P]j∈[1,Q]W=\vert w_{i,j}\vert \quad i\in[1,P] j\in[1,Q]W=∣wi,j∣i∈[1,P]j∈[1,Q]卷积来实现线性变换 WWW 一次卷积共享步长(Stride):S填充(Padding): P 边缘都进行填充P个.原创 2021-05-30 11:15:28 · 244 阅读 · 0 评论 -
前馈神经网络
神经元激活函数sgn函数Sigmoid型函数Logistic函数Tanh函数Hard-Logistic函数与Hard-Tanh函数ReLU函数带泄露的ReLU带参数的ReLUELU函数Softplus函数Swish函数GELU函数Maxout单元网络结构前馈网络记忆网络图网络前馈神经网络神经元激活函数MP神经元激活函数需要具备以下几点性质:连续并可导(允许少数点上不可导)的非线性函数.可导的激活函数可以 直接利用数值优化的方法来学习网络参数.激活函数及其导函数要 尽可能的简单 ,有利于提高网.原创 2021-05-12 08:22:59 · 424 阅读 · 0 评论 -
线性模型
基本形式线性判别函数和决策边界多分类Logistic回归参数学习Softmax回归感知器基本形式???? 维样本 x=[x1,x2,...,xD]Tx=[x_1,x_2,...,x_D]^Tx=[x1,x2,...,xD]T数学表达:f(x;w)=w1x1+w2x2+...+wDxD+b=wTx+bf(x;w)=w_1x_1+w_2x_2+...+w_Dx_D+b\\=w^Tx+bf(x;w)=w1x1+w2x2+...+wDxD+b=wTx+b其中 w=[w1,⋯,wD]Tw=原创 2021-05-05 12:46:04 · 584 阅读 · 0 评论 -
机器学习概述
机器学习概述机器学习是对能通过经验自动改进的计算机算法的研究. 机器学习概述机器学习三要素模型学习准则损失函数风险最小化准则优化算法梯度下降法提前停止随机梯度下降法小批量梯度下降法机器学习的简单示例--线性回归参数学习参数估计经验风险最小化补充 《向量矩阵数学求导》结构风险最小化最大似然估计最大后验估计偏差-方差分解机器学习三要素模型、学习准则、优化算法模型特征(属性)向量: x标签标量: y样本空间(x,y)中根据经验来假设一个函数集合ℱ(假设空间 Hypothesis Space)原创 2021-04-26 20:22:56 · 629 阅读 · 0 评论 -
Bloom Filter 概念和原理
Bloom Filter 概念和原理集合表示和元素查询错误率估计最优的哈希函数个数位数组的大小总结参考资料Bloom Filter 概念和原理焦萌 2007 年 1 月 27 日Bloom Filter 是一种空间效率很高的随机数据结构,它利用位数组很 简洁地表示一个集合,并能判断一个元素是否属于这个集合。 Bloom Filter 的这种高效是有一定代价的:在判断一个元素是否属于某个集合时,有可能会把不属于这个集合的元素误认为属于这个集合(false positive)。 因此,Bloom Fi.转载 2021-04-24 12:10:07 · 182 阅读 · 0 评论 -
NumPy基础01
简介基础方法简介ProvidesAn array object of arbitrary homogeneous itemsFast mathematical operations over arraysLinear Algebra, Fourier Transforms, Random Number GenerationNumPy 在内部将数据存储在 连续的内存块上 它包含的 每一个元素均为相同类型 意图明显…NumPy 的算法库是用C语言编写的,操作内存时,不需要 类型.原创 2021-04-20 19:23:14 · 284 阅读 · 0 评论 -
Python学习笔记03
内建数据结构TupleList二分检索与二分插入内建序列函数Dict常规setdefaultdefaultdict列表推导式内建数据结构内建数据结构:元组;列表、字典、集合TupleIn [1]: tup1=(1,2,['a','b','c'],4)In [2]: tup2=tup1*3In [3]: id(tup2)==id(tup1)Out[3]: FalseIn [4]: tup2Out[4]: (1, 2, ['a', 'b', 'c'], 4, 1, 2, ['a', 'b.原创 2021-04-06 17:59:52 · 376 阅读 · 0 评论 -
Python学习笔记02
module 的导入运算符 关键字 标量类型日期datetimemodule 的导入import module_name as alias # 自己编写的py or 库form module_name import variable运算符 关键字 标量类型a == b # 判断a与b的值a is b # 判断a与b是否指向同一对象 (检查一个变量是否为None a is None)id(a) # (CPython uses the object's memory ad.原创 2021-04-06 11:27:41 · 111 阅读 · 0 评论 -
Python学习笔记01
IPython与JupyterIPython 更具交互性的Python解释器,本身不提供任何计算或数据分析工具重点:交互计算与软件开发将生产力最大化Jupyter项目旨在设计一个适用于更多语言的交互式计算工具。IPython可以作为一个内核用于Jupyter中使用Python。IPython自身以作为Jupyter开源项目的一个组件,后者提供交互性、探索性的高效环境。isinstance 和 type 的区别在于:type()不会认为子类是一种父类类型。isinstance()会认为子类是一种原创 2021-04-04 23:31:04 · 217 阅读 · 0 评论 -
数据结构思考
问题:已知一维数组A[m+n]中依次存放 两个线性表前m项: a1,a2,a3 … am后n项:b1,b2,b3 … bn如何将前m项元素与后n项交换位置???思路整理代码1void swapArray(char **pString, int start, int len, int _start, int _len, int sum) { if (len <= _len) { //前m项少于后n项 int i = 0, j = 0; char .原创 2020-10-17 18:49:42 · 131 阅读 · 0 评论 -
基本排序算法的实现
文章目录前言内排序插入排序直接插入排序折半插入排序希尔排序交换排序冒泡排序快速排序选择排序~~直接选择排序~~堆排序归并排序基数排序前言数据Item[1:len]Item[0] -->不存储数据 (功能:哨兵节点OR暂存数据)内排序排序过程在内存中实现插入排序查找位置,移动元素,插入直接插入排序/** * 直接插入排序 顺序存储,链式存储 * 0:i-1 查找位置 j+1--->顺序查找 * j+1:i-1 数据移动 * */void Inser原创 2020-09-23 19:57:42 · 531 阅读 · 0 评论 -
双网卡上网配置
文章目录双网卡配置网络环境操作双网卡配置环境:win10 要求:两张网卡,一张用于内网网络;另一张用于连接外网网络环境# 外网网卡wlan0{ address 192.168.0.111 netmask 255.255.255.0 gateway 192.168.0.1}# 内网网卡wlan1{ address 192.168.11.123 netmas...原创 2019-12-14 16:41:51 · 621 阅读 · 0 评论