- 博客(16)
- 收藏
- 关注
原创 leetcode 刷题-哈希
给定一个整数数组 nums 和一个整数目标值 target,请你在该数组中找出 和为目标值 target 的那 两个 整数,并返回它们的数组下标。你可以假设每种输入只会对应一个答案。解释:因为 nums[0] + nums[1] == 9 ,返回 [0, 1]。输入:nums = [2,7,11,15], target = 9。输入:nums = [3,2,4], target = 6。for循环,遍历所有组合,直到匹配到target,复杂度。输入:nums = [3,3], target = 6。
2023-11-16 01:42:28
73
1
原创 优化器简介
1、SGD随机梯度下降。随机的意思是随机选取一个batch进行梯度更新1.1、更新过程学习率ϵk\epsilon_kϵk梯度估计g^=1m∇θ∑iL(f(x(i);θ),y)=1m∂L∂θ\begin{aligned}\hat{g}& = \frac{1}{m} \nabla_{\theta}\sum_iL(f(x^{(i)};\theta), y) \\&=\frac{1}{m}\frac{\partial{L}}{\partial{\theta}}\end{a
2021-09-06 00:46:09
175
原创 机器学习基础——隐马尔可夫模型
隐马尔可夫模型定义:隐马尔可夫模型是关于时序的概率模型,描述由一个隐藏的马尔科夫链随机生成不可观测的状态随机序列,再由各个状态生成一个观测而产生观测随机序列的过程。对该问题中的数据进行数学定义所有可能的状态集合QQQ,其中NNN为所有可能的状态数:Q={q1,q2,...,qN}Q = \{q_1,q_2,...,q_N\}Q={q1,q2,...,qN}所有可能的观测集合VVV,其中MMM为所有可能的观测数:V={v1,v2,...,vM}V = \{v_1,v_
2021-06-03 22:36:10
276
原创 nlp笔记:超详细(本菜鸡觉得)transformer原理及核心源码笔记(1)
【原文链接】【源码链接】1、Transformer简介 Transformer提出自谷歌2017年的论文(Attention is all your need)不同于之前使用RNN、LSTM、GRU、CNN来作为encoder和decoder,Transformer完全使用注意力机制的模型。之所以选择弃用循环神经网络,是因为循环神经网络的每一次运算,都需要上一时刻的隐藏态数据,导致计算不能并行,增加了计算时间,也浪费了计算机性能。 Transformer的基本模型结构如下图所示,本文会根据论文和源
2021-06-01 22:20:37
595
1
原创 tensorflow-gpu训练gpu占用率、利用率都很低
1问题描述最近用bert训练模型时,发现GPU资源占用很小,小到连bert模型都装不下,然后cpu几乎占满排除了代码问题,数据传输问题,排除了资源选择问题,懵逼了。。。一时也不知道咋回事,之前还没有遇到过。2.问题发现无意间发现了日志报告的一段Cannot dlopen some GPU libraries. Please make sure the missing libraries mentioned above are install之前因为程序能跑,就忽略了警告。。。我真是个憨批。发
2021-04-20 01:35:55
2922
原创 联邦学习:加密算法Paillier,Affine,IterativeAffine
本文介绍联邦学习中用到的几种加密算法的实现过程,不涉及原理。1.知识准备这里要首先介绍加密算法牵扯到的几个基础知识,简单介绍,不讲原理,方便后续理解。1.1 同态加密同态加密的概念:对加密后的数据进行特定形式的代数运算,对运算结果进行解密,得到的结果和对原数据进行相同的代数运算得到的结果相同。换言之,用户可以不经过解密,直接对密文进行运算,而不影响最终的结果。1.2 乘法逆元不是倒数!1.2.1 线性同余方程介绍乘法逆元之前,还要先介绍一下线性同余方程:ax≡b (mod n)\lar
2020-09-22 22:49:24
4003
5
原创 tensorflow2.0学习笔记——模型改进扩展
本文内容为北大tensorflow笔记的课堂笔记1.图像数据增强数据增强就是扩展数据,对图像的数据增强就是对图片进行简单的变形。image_ten_train = tf.keras.preprocessing.image.ImageDataGenerator( rescale=所有数据将乘以该值 rotation_range=随机旋转角度数范围,用来对图像进行随机旋转 widt...
2020-05-05 14:06:28
457
1
原创 论文阅读笔记——软过滤剪枝
【原文】Soft Filter Pruning for Accelerating Deep Convolutional Neural Networks【代码地址】1.神经网络剪枝本篇论文是笔者阅读的第一篇神经网络剪枝论文,选取的2018年的论文,相关概念的理解还不透彻,后续会补充2019年很火的神经网络蒸馏内容剪枝(Pruning)是深度学习的一种技术,目标是为了开发更小、更高效的神经网络...
2020-05-02 13:00:55
927
2
原创 TensorFlow2.0学习笔记——常用基础函数
本章内容参考mooc北京大学课程,tensorflow笔记tf.cast()强制tensor转换为该数据类型tf.cast(张量名,dtype=数据类型)tf.reduce_min()计算张量维度上元素的最小值tf.reduce_min(张量名)tf.reduce_max()计算张量维度上元素的最大值tf.reduce_max(张量名)举例x1 = tf.c...
2020-04-17 11:04:40
322
原创 TensorFlow2.0学习笔记——回调函数callbacks
这里的回调函数介绍得并不详细,只记录了笔者学习过程中用到的,后续随着学习,会逐渐补充。1. 回调函数的理解笔者目前的理解,回调函数是在程序运行中,满足某些要求,就会触发的函数。2. tf.keras.callbacks官网地址点击此处2.1 TensorBoard官网地址点击此处源码点击此处Tensorboard是TensorFlow内置的可视化工具,记录TensorBoard中的...
2020-03-31 12:54:00
1146
原创 sklearn学习-sklearn.prepprocess.StandardScaler
官方文档点此处源码点此处1 api介绍StandardScaler是通过去均值和缩放到方差单位来标准化特征(Standardize features by removing the mean and scaling to unit variance)其方法如下:z=x−μs\largez = \frac{x-\mu}{s}z=sx−μ其中μ\muμ为均值,s为方差...
2020-03-27 22:30:44
327
原创 TensorFlow2.0学习笔记——TensorFlow2.0简介
TensorFlow2.0的基本框架如下图:使用tf.data来加载数据,使用tf.keras构建模型或使用Premade Estimators来验证,还可以使用TensorFlow Hub进行迁移学习,在CPU,GPU或TPU上来运行,保存模型后进行部署。1 模型的开发流程使用tf.data加载数据使用tf.keras构建模型或使用Premade Estimators来验证,还可以使...
2020-03-13 16:46:30
395
原创 机器学习基础-k近邻
本章内容主要基于机器学习实战概述k—近邻算法采用测量不同特征值之间的距离方法进行分类。优点精度高,对异常值不敏感,无数据输入假定缺点计算复杂度高、空间复杂度高适用数据范围数值型和标称型简单来说,就是根据给定的事实,判断样本集中各样本与给定事实的差距,来对样本进行分类。k-近邻算法分类器分类器可以满足的功能是:输入三类信息的数值,计算出该值与已...
2020-03-05 12:47:32
333
原创 机器学习基础-决策树&随机森林
利用特征生成子节点,进行判断实例属性1 ID3算法ID3算法是在每个节点处选取能获得最高信息增益的分支属性进行分裂,就是每一次找到最重要的属性进行分类在每个决策节点处划分分支、选取分支属性的目的,是将整个决策树的样本纯度提升,就是保证每个分支节点下下对应的分类都是唯一的。衡量样本集合纯度的指标是熵1.1 熵和信息增益熵和信息增益是生成节点的主要依据。1.1.1 熵熵在物理学...
2020-03-05 12:37:21
285
原创 假期论文阅读笔记-手写识别SMDLSTM-RNN
原文:Handwritten Chinese Text Recognition Using Separable Multi-Dimensional Recurrent Neural Network.1 摘要文章主要针对长短期记忆神经网络(LSTM)在汉子识别中效果不佳的问题,提出了Separable Multi-Dimensional Recurrent Neural Network(可分离多...
2020-02-19 19:44:31
596
2
原创 动态规划 ——0-1背包问题(1)附代码详细注释
0-1背包问题本文内容来来源于《计算机算法设计与分析》(王晓东著),是笔者的学习笔记,内容不当处,欢迎留言探讨问题描述:给定n中物品和一背包,物品i的重量是wiw_iwi,价值为viv_ivi,背包容量为c。应如何选择装入背包中的物品,使得装入背包中物品的总价值最大。目标函数:max∑i=1nviximax\sum_{i=1}^{n}v_ix_imaxi=1∑nvixi即装入背包...
2019-12-31 13:08:40
1420
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人