深度学习
文章平均质量分 59
苏学算法
这个作者很懒,什么都没留下…
展开
-
反向传播 BP 理解
反向传播的理解原创 2022-09-09 10:18:33 · 581 阅读 · 0 评论 -
tensorflow 对 label 做 mask
有时,需要对某些 label 做 mask#!/usr/bin/env python# coding=utf-8"""tf version: 1.15.0"""import tensorflow as tf# 维度 [batch_size, 1]label1 = tf.constant([[0.0], [1.0], [1.0]])label2 = tf.constant([[1.0],原创 2022-05-01 20:39:56 · 526 阅读 · 0 评论 -
tf.squeeze 和 tf.reduce_sum 区别
tf.squeeze 和 tf.reduce_sum 是可以起到一样的作用的直接上代码#!/usr/bin/env python# coding=utf-8"""tf version: 1.15.0"""import tensorflow as tf# 维度 [batch_size, 1]a = tf.constant([[1], [6], [11]])b1 = tf.squeeze(a, axis=1)b2原创 2022-05-01 19:42:05 · 263 阅读 · 0 评论 -
2023届校招算法岗知识超全总结
又是一年「金三银四」,在此为今年校招的同学准备了一份笔面试经验大礼包。去年我发过一篇 论机械狗如何硬卷算法岗,主要是机械转互联网的经验分享。本文主要面向搜推广nlp岗位的同学。总体而言,个人认为算法岗要找的好,除了本身的长期积累沉淀的硬实力之外(Paper,比赛,实习,项目),主要考核的就是两个方面的能力:基础扎实程度和前沿知识广度。文章内容包括四个部分:基础能力(基础扎实程度)、搜推知识(前沿知识广度)、nlp知识(前沿知识广度)、总结。其中,基础部分变化不大,前沿知识部分相较于我当年校招时变化较原创 2022-03-28 23:32:29 · 1172 阅读 · 0 评论 -
深度学习调参技巧合集
本文参考自公众号【 夕小瑶的卖萌屋】的文章一、寻找合适的学习率学习率是一个非常非常重要的超参数,这个参数呢,面对不同规模、不同 batch-size、不同优化方式、不同数据集,其最合适的值都是不确定的,我们无法光凭经验来准确地确定lr的值,我们唯一可以做的,就是在训练中不断寻找最合适当前状态的学习率。比如下图利用 fastai 中的 lr_find() 函数寻找合适的学习率,根据下方的学习率-损失曲线得到此时合适的学习率为 1e-2。推荐一篇fastai首席设计师「Sylvain Gugger.原创 2022-03-26 22:39:22 · 1223 阅读 · 0 评论 -
【推荐系统多任务学习 MTL】PLE论文精读笔记(含代码实现)
论文地址:Progressive Layered Extraction (PLE): A Novel Multi-Task Learning (MTL) Model for Personalized Recommendations前言PLE 为 Recsys 2020最佳长论文,出自腾讯的 PCG(Platform and Content Group) 推荐视频团队。PLE 是 MMoE (详见【推荐系统多任务学习MTL】MMOE论文精读笔记(含代码实现))的改进版,结构简单且效果好,PLE 主原创 2022-03-15 11:55:21 · 7912 阅读 · 1 评论 -
【推荐系统多任务学习MTL】ESMM 论文精读笔记(含代码实现)
论文地址:Entire Space Multi-Task Model: An Effective Approach for Estimating Post-Click Conversion Rate一、前言点击率(Click-Through Rate,CTR)和转化率(Conversion Rate,CVR)在信息检索、推荐系统、在线广告等应用场景下都是非常重要的两个指标,因为它们直接关系到产品的盈利。关于 CVR,其实大部分情况下指的是点击后转化率,即 pCVR(post-click Convers原创 2022-03-14 22:02:32 · 2067 阅读 · 0 评论 -
tf.stack详解
直接上代码,更直观# coding=utf-8# tf 2.0import tensorflow as tfa = tf.constant([[1,2,3], [3,4,5]]) # shape (2,3)b = tf.constant([[7,8,9], [10,11,12]]) # shape (2,3)ab = tf.stack([a,b], axis=0) # shape (2,2,3)print(ab)输出t原创 2021-11-03 16:15:36 · 649 阅读 · 0 评论 -
tf.gather_nd详解
其实就是取出对应位置的元素,直接看代码更直观简单# coding=utf-8# tf 2.0import tensorflow as tfa = tf.constant([[1, 2, 3, 4, 5], [6, 7, 8, 9, 10], [11, 12, 13, 14, 15]])index_a1 = tf.constant([[0, 2], [0, 4], [2, 2]]) # 随便选几个index_原创 2021-11-03 15:40:19 · 748 阅读 · 0 评论 -
收藏版|史上最全机器学习优化器Optimizer汇总
虽然起了个“标题党”的题目,不过总有疏漏之处和不当之处,烦请留言告知前言首先,为什么需要优化器(Optimizer)这个东西呢,因为许多问题都是需要“优化”的(当然也包括未来35岁的你我????)。人生中,你经历的很多事都可以有一个目标函数(诸如买到房子,找到对象,生个娃,再“鸡”个娃,再买个房子,再帮他找个对象…),那么有了目标,就需要进行求解,也就是优化。如果你的目标很简单,就像一个沙盘大小,那你可以一眼就看出沙盘的最低点(或者最高点)在哪,也就是最优解;但是,如果你的目标函数是一个撒哈拉沙漠,你原创 2021-10-04 15:33:36 · 797 阅读 · 1 评论 -
Keras中Tensorboard的使用
参考:神经网络学习小记录43——Keras中Tensorboard的使用原创 2021-03-16 17:17:23 · 194 阅读 · 0 评论 -
tensorboard可视化
一、主程序main.py"""参考:https://zhuanlan.zhihu.com/p/59986254Link: www.kaikai.aiGithub: github.com/loveunk这是一个完整的mnist分类demo,其中涉及的技术点包括:1. TensorFlow dataset minist的加载2. 数据直方图打印3. 数据归一化4. label数据的 one hot vectors转换5. 数据集切分(train、test)6. CNN 模型创建7.原创 2021-01-06 17:29:37 · 237 阅读 · 0 评论 -
特征离散化(分箱)综述
参考:特征离散化(分箱)综述原创 2020-11-26 21:36:01 · 351 阅读 · 0 评论 -
梯度下降优化算法概述
参考:An overview of gradient descent optimization algorithms原创 2020-11-25 18:26:00 · 144 阅读 · 0 评论 -
Pycharm使用 Jupyter
1. 选择 Configure jupyter server2. 在 Pycharm 的 Terminal 输入jupyter notebook3. 将 url 复制到本文第一个图的 “configured server” 框内原创 2020-11-06 11:32:24 · 467 阅读 · 0 评论 -
【面经】腾讯 AiLab 机器学习算法工程师 一面
今天早上起来一看官网,状态从初试变成了复试昨晚面试的,时间是2020-10-19 20:30,本来想着这么晚了还面试(虽然今年BBAT都还没开奖,但是笔记十月底了,今年是怎么了…),不会是KPI吧,如果还有HC,那不是部门不太好就是部门要求太高,找不到合适的人选。而且由于腾讯的面试邀请链接只能看到 “基础研究”,看不到被捞的部门,所以面试一开始,我先一通问,他们的部门,架构啥的,做啥方向的。。。(但是还没自我介绍就这么问其实有点不太礼貌)结合最后提问环节得知大概情况是这样,他们是 TEG-AiLab-原创 2020-10-20 10:47:11 · 2609 阅读 · 2 评论 -
2020年深度学习调参技巧合集
主要参考:2020年深度学习调参技巧合集原创 2020-10-19 19:20:15 · 135 阅读 · 0 评论 -
LSTM回归问题
LSTM 解决回归问题时,出现了 model.predict() 输出的值几乎是常数值的问题,后来发现是因为数据没有标准化(归一化),导致 loss 不下降,也就是不收敛。后来加入了数据的标准化之后,就可以拟合了。from keras.datasets import mnistfrom keras.layers import Dense, LSTMfrom keras.utils import to_categoricalfrom keras.models import Sequentialimp原创 2020-10-18 10:49:50 · 3530 阅读 · 7 评论 -
使用Keras中的 LSTM 模型进行时间序列预测
参考:使用Keras中的 LSTM 模型进行时间序列预测原创 2020-10-17 21:34:13 · 577 阅读 · 0 评论 -
keras训练完模型,为什么对训练集进行evaluate和训练时的loss完全不一样
参考:keras训练完模型,为什么对训练集进行evaluate和训练时的loss完全不一样?白训练了吗?model.evaluate() gives a different loss on training data from the one in training process #6977原创 2020-10-14 22:28:06 · 1372 阅读 · 0 评论 -
LSTM如何解决梯度消失问题
参考:LSTM如何解决梯度消失问题原创 2020-08-07 21:33:14 · 475 阅读 · 0 评论 -
【面经】触宝算法工程师一面
1. 项目介绍项目大概介绍了半小时结合项目提问2. 问题LSTM 为什么能解决梯度消失答案:通俗地讲:RNN中,每个记忆单元 ht−1h_{t-1}ht−1都会乘上一个 WWW 和激活函数的导数,这种连乘使得记忆衰减的很快,而LSTM是通过记忆和当前输入"相加",使得之前的记忆会继续存在而不是受到乘法的影响而部分“消失”,因此不会衰减。但是这种naive的做法太直白了,实际上就是个线性模型,在学习效果上不够好,因此LSTM引入了那3个门:...原创 2020-08-07 21:12:46 · 439 阅读 · 1 评论 -
关于tensorflow和keras版本匹配
Keras >= 2.2.0 / TensorFlow >= 1.12.0keras_applications >= 1.0.7scikit-image原创 2020-08-07 11:35:31 · 975 阅读 · 0 评论 -
关于keras可视化pydot和GraphViz的解决方法
https://zhuanlan.zhihu.com/p/32007274 评论区pydot已经停止开发了,python3.5以上已经用不起来了。对策是:pip uninstall pydotpip install pydotplus然后找到keras里面的utils\vis_utils.py,把里面的pydot的都替换成pydotplus。#############################################################################原创 2020-08-07 11:34:59 · 503 阅读 · 0 评论 -
【贝叶斯分类器】超详细推导
原创 2020-07-30 22:04:09 · 469 阅读 · 0 评论 -
Tensorflow 实现最简单 CNN 示例
from tensorflow.examples.tutorials.mnist import input_dataimport tensorflow as tfmnist = input_data.read_data_sets("MNIST_data/", one_hot=True) # 读取图片数据集sess = tf.InteractiveSession() # 创建session######################### 一,函数声明部分 ##################原创 2020-07-24 22:37:38 · 1545 阅读 · 1 评论 -
Batch Normalization 超详细解读(训练、测试、优点、缺点)(算法面试几乎必考)
先占坑,后续再填参考:cs231n学习笔记-激活函数-BN-参数优化BN和Dropout在训练和测试时的差别原创 2020-07-18 16:40:50 · 8984 阅读 · 0 评论 -
手推 梯度消失和梯度爆炸问题
采用 sigmoidsigmoidsigmoid 为激活函数,当反向传播使用 链式法则 的时候会有连乘,就会出现梯度消失。由于梯度消失现象,会导致靠近输入层的隐藏层权值更新缓慢或者更新停滞。这就导致在训练时,只等价于后面几层的浅层网络的学习。(因为推反向传播的时候才会用到 链式法则,详细见后面推导)解决办法梯度消失和梯度爆炸本质上是一样的,都是因为网络层数太深而引发的梯度反向传播中的连乘效应。解决梯度消失、爆炸主要有以下几种方案:1. 换用Relu、LeakyRelu、Elu等激活函数ReL原创 2020-07-18 16:34:46 · 894 阅读 · 0 评论 -
LSTM 超详细公式手推
后续有时间再转成打印版原创 2020-07-18 10:18:09 · 744 阅读 · 1 评论 -
卷积基本计算公式
1. 理论公式2. tensorflow中使用输入图片大小 W×WFilter大小 F×F步长strides Spadding的像素数 P输出大小为NxNpadding = “SAME”时,会在图像的周围填 “0”,padding = “VALID”则不需要,即 P=0。一般会选“SAME”,以来减缓图像变小的速度,二来防止边界信息丢失(即有些图像边界的信息发挥作用较少)。部署到真实的机器上时,会遇到Tensorflow 和 Caffe 的 padding 在左边补零和右边不相同的原创 2020-07-18 10:03:15 · 21726 阅读 · 0 评论 -
关于keras可视化pydot和GraphViz的解决方法
参考:https://zhuanlan.zhihu.com/p/32007274 评论区pydot已经停止开发了,python3.5以上已经用不起来了。对策是:pip uninstall pydotpip install pydotplus然后找到keras里面的utils\vis_utils.py,把里面的pydot的都替换成pydotplus。###############################################pip install pydotplus (不原创 2020-06-27 09:55:45 · 186 阅读 · 0 评论 -
异常检测算法汇总与代码实现
参考: 时间序列异常检测算法梳理.原创 2020-06-23 10:40:42 · 1521 阅读 · 0 评论 -
Ubantu 18.04配置 DeepMimic环境笔记
原始论文论文:DeepMimic: Example-Guided Deep Reinforcement Learning of Physics-Based Character Skills.阅读笔记:读论文 DeepMimic: Example-Guided Deep Reinforcement Learning of Physics-Based Character Skills 笔记.环境...原创 2020-04-23 11:45:10 · 691 阅读 · 1 评论 -
读论文 DeepMimic: Example-Guided Deep Reinforcement Learning of Physics-Based Character Skills 笔记
使用深度强化学习让机器人在仿真环境下学习各种高难度动作运动控制问题已经成为强化学习的标准基准,深度强化学习方法被证明适用于包括操纵和移动的多种任务。但是,使用深度强化学习训练的智能体通常行为不太自然,会出现抖动、步伐不对称、四肢动作过多等现象。而最近 BAIR 实验室将模仿真实动作片段与强化学习结合,令智能体能从参考动作片段中学习流畅和高难度的动作。2级标题...原创 2020-02-26 12:52:55 · 4313 阅读 · 0 评论 -
python 中 join ( ) 函数的用法
Python 中 有 join ( ) 和 os. path. join ( ) 两个函数,具体说明如下1. join ( ) 函数连接字符串数组。将字符串、元组、列表中的元素以指定的字符(分隔符)连接成一个新的字符串。语法: ’ sep ’ . join (seq)参数说明:sep:分隔符,可以为空。(‘ ’,这种中间有空格就是以空格为分隔符,而不是空)seq:要连接的元素序列,...原创 2020-02-24 10:43:57 · 755 阅读 · 0 评论 -
python 从命令行 外部传入参数 sys.argv [ ] 与parser.add_argument ( ) 的用法
参考自: python中sys.argv[]的用法.1. sys.argv [ ] 的用法sys.argv [ ] 说白了就是一个从程序外部获取参数的桥梁。因为从外部取得的参数可以是多个,所以获得的是一个列表( list ),也就是说sys.argv 其实可以看作是一个列表,所以才能用 [ ] 提取其中的元素。其第一个元素是程序本身,随后才依次是外部给予的参数。下面我们通过一个极简单的 te...转载 2020-02-24 10:05:12 · 1357 阅读 · 0 评论