深度学习
tensorflow、pytorch等
Rover Ramble
这个作者很懒,什么都没留下…
展开
-
网络训练时loss不下降的原因
1. 网络训练时train loss与test loss的结果分析:(1) train loss不断下降,test loss不断下降 可能发生的原因: 网络还在学习中,loss在稳步下降。(2) train loss不断下降,test loss趋于不变 可能发生的原因: 网络出现过拟合的现象,因此在训练集上表现为网络仍在学习,但是test loss趋于不变说明网络泛化能力差。(3) train loss趋于不变,test loss不断下降 可能发生的原因: 数据集100%是...转载 2020-11-18 13:29:52 · 3693 阅读 · 0 评论 -
深度协同过滤NCF实践
修改官网代码去掉了不方便直接引用的from official.utils.*代码,关键处理处添加了注释。从official.utils.flags扒出一个有用的小函数:def get_gpus_num(): """ 获取GPU个数 """ from tensorflow.python.client import device_lib local_device_protos = device_lib.list_local_devices() return sum([1 for d in原创 2020-05-30 16:06:41 · 1594 阅读 · 0 评论 -
tensorflow提升树实践
以决策树为基函数的提升方法称为提升树(boosting tree)。提升树采用前向分步算法,根据每轮迭代的残差值,学习得到一个回归树,用加法模型得到提升树的结果。回归问题采用平方误差损失函数,分类问题用指数损失函数。指数损失通过最小化指数损失来逐步学习多个输出为1和−1的二值基函数{φj}j=1b\{\varphi_j\}^b_{j=1}{φj}j=1b的线性组合。对离群点、噪声非常敏感,常用在AdaBoost算法中。指数损失详解HIGGS 数据集包含有 11 million 个样本,具有 28原创 2020-05-26 11:48:13 · 524 阅读 · 0 评论 -
win10安装tensorflow-gpu版本
几个月前用conda创建了一个python3.6的虚拟环境用于安装tensorflow-gpu,而win10下Anaconda自带的python是3.7.4版本的,后来发现默认的python3.7环境中 "No module named 'tensorflow'"!坑爹啊。干脆就把之前的python3.6版本下的虚拟环境给删除了,使用命令conda remove -n tf-py36 --all ,然后重新安装!在官网https://www.tensorflow.org/install/source可以原创 2020-05-23 14:32:24 · 544 阅读 · 0 评论 -
循环神经网络简介
循环神经网络(recurrent neural network)源自于1982年由Saratha Sathasivam 提出的霍普菲尔德网络。RNN用于解决训练样本输入是连续的序列,且序列的长短不一的问题,比如基于时间序列的问题。基础的神经网络只在层与层之间建立了权连接,RNN最大的不同之处就是在层之间的神经元之间也建立的权连接。RNN神经网络的结构如下:XRNNYh0Func_WX_t-1h_t-1Func_WX_th_tFunc_WX_t+1h_t+1RNN每个神经元的计算使用相同的权重参数和函数原创 2020-05-19 17:54:55 · 2196 阅读 · 0 评论 -
wide & deep Learning 实践
简单修改了官网的例子,并添加了一点点注释。主要是为了理解用法。https://github.com/tensorflow/models/tree/r1.9.0/official/wide_deeptf.__version__ == 1.9.0数据集是预测收入是否超过5万美元,二分类问题。下载数据集:def _download_and_clean_file(filename, ...原创 2020-04-20 17:59:33 · 297 阅读 · 0 评论 -
tensorflow实现knn算法
TF v1.9.0,knn添加了L2距离,解决了 No module named 'tensorflow.contrib.boosted_trees.lib' 的问题。参考:https://github.com/aymericdamien/TensorFlow-Examples/# coding: utf-8# In[1]:import warningswarnings.f...原创 2019-08-08 15:29:33 · 361 阅读 · 0 评论 -
卷积池化后-特征图大小的计算
featureMap的大小有什么规律,怎么计算呢?padding就是扩充图片,在输入图片外围补充一些像素点,并初始化为0。目的是保持feature map 不要太小。Tensorflow中的填充只有两种类型:SAME:是填充;VALID:是不填充。 # VALID 对应的是不填充,即不做任何处理。 # SAME 这种填充方式在strides=1的情况下,使得输出能够保...原创 2020-04-20 11:06:28 · 1292 阅读 · 0 评论