DeepLearning学习笔记
文章平均质量分 50
主要用于记录DeepLearning学习笔记,分享深度学习经验。
team79
我在努力。
展开
-
Keras 多GPU模式在计算val的准确率时报错
错误信息:Error: tensorflow/stream_executor/cuda/cuda_dnn.cc:444] could not convert BatchDescriptor {count: 0 feature_map_count: 32 spatial: 149 149 value_min: 0.000000 value_max: 0.000000 layout: Batc...原创 2018-05-21 16:16:59 · 3579 阅读 · 2 评论 -
Keras保存模型的方法
使用model.save(filepath)可以将Keras模型和权重保存在一个HDF5文件中,该文件将包含:模型的结构,以便重构该模型模型的权重训练配置(损失函数,优化器等)优化器的状态,以便于从上次训练中断的地方开始使用keras.models.load_model(filepath)来重新实例化你的模型,如果文件中存储了训练配置的话,该函数还会同时完成模型的编译只保...原创 2018-05-17 14:28:42 · 4628 阅读 · 0 评论 -
机器学习实战(二)
# -*- coding: utf-8 -*-"""Created on Fri Nov 06 16:51:05 2015@author: hzh"""from numpy import*from os import listdirimport operatorimport matplotlibimport matplotlib.pyplot as plt# Create rando原创 2015-11-09 19:56:00 · 777 阅读 · 0 评论 -
机器学习实战(三)
两个星期看了三章,感觉这本书讲的也就那样,幸亏之前看过机器学习的算法,不然感觉应该看起来会很吃力。 书上都是直接讲这个函数是干嘛的,很多时候连函数参数的具体意思都不解释一下。这样的话,书直接给源码得了,讲那么多没卵用。 这是对前几章的感觉,接着看试试。 tree.py 构建决策树:# -*- coding: utf-8 -*-"""Created on Mon Nov 09 21:14:原创 2015-11-13 22:06:27 · 879 阅读 · 0 评论 -
梯度下降法
梯度下降法(英语:Gradient descent)是一个一阶最优化算法,通常也称为最速下降法。 要使用梯度下降法找到一个函数的局部极小值,必须向函数上当前点对应梯度(或者是近似梯度)的反方向的规定步长距离点进行迭代搜索。如果相反地向梯度正方向迭代进行搜索,则会接近函数的局部极大值点;这个过程则被称为梯度上升法。 梯度下降方法基于以下的观察:如果实值函数F(X)在点a处可微且有定义,那么函数F(X原创 2016-07-13 15:22:51 · 708 阅读 · 0 评论 -
感知机
损失函数:,M是误分类点的集合感知机算法原始形式:Novikoff定理:(证明算法收敛) 证明见《统计学习方法》31页感知机算法对偶形式:原创 2016-07-13 15:28:20 · 628 阅读 · 0 评论 -
kd树(学习总结及伪代码)
代码实现:GitHub:team79\Tree\KDTreekd树是用来为求k临近而创建的数据结构,查询的平均复杂度是logN(和二叉树很像)kd树的创建 这里在创建kd树的时候,这里的算法是循环依次采取各个维度来构建二叉树,也有做法是选取数据在该维度上方差最大的那一维,因为方差大代表数据较分散,会有更好的分辨率。插入节点insert(Point x, KDN...原创 2016-07-13 17:07:20 · 4402 阅读 · 2 评论 -
ubuntu14.04+GTX960+cuda8.0+cudnn5.1+Theano+Tensorflow安装教程
折腾了两天总算是能跑起来了,当初是想装tensorflow的,但是装着装着发现theano比较好装,现在能跑theano,先看看这个,过段时间再折腾tensorflow。一、NVIDIA驱动及cuda8.0安装最开始的时候看网上的教程都是要先安装NVIDIA驱动,但是装完重启电脑后会一直再登录界面循环。 最后发现其实cuda里面有NVIDIA的显卡驱动,所以直接装cuda就好了。 然后有一点也原创 2016-11-27 23:12:12 · 887 阅读 · 2 评论 -
Tensorflow实现卷积神经网络
#============================================================================#图像分类#数据采用CIFAR-10#============================================================================import cifar10, cifar10_i原创 2017-05-14 16:43:01 · 584 阅读 · 0 评论 -
ImportError: No module named '_pywrap_tensorflow_internal'解决方法
>>>import tensorflowTraceback (most recent call last): File "C:\Program Files\Anaconda3\lib\site-packages\tensorflow\python\pywrap_tensorflow_internal.py", line 18, in swig_import_helper return原创 2017-08-20 17:09:25 · 8551 阅读 · 7 评论 -
用深层LSTM实现简单的自然语言建模
这里写链接内容 一个有10000个不同单词的文本,通过深层lstm来实现句子下一单词的预测。 数据来源 通过reader.ptb_raw_data函数来读入文本,并将单词转换为数字id 然后通过PTBModel类来搭建深层LSTM模型import tensorflow as tfimport numpy as np import readerDATA_PATH = "data"HIDD原创 2017-08-21 22:48:07 · 2044 阅读 · 0 评论 -
阿里云PAI读取图像
最近PAI免费,研究了一下,简直就是学生党的福音啊,希望将来收费的时候能便宜点。 FLAGS.buckets获取的就是数据源选择的文件夹,然后调用这个read_image_in_pai函数就能读取目录内的全部图像。def read_image( filepath ): img_obj = file_io.read_file_to_string(filepath) file_io.w原创 2017-09-23 11:05:31 · 1009 阅读 · 0 评论 -
矩阵的QR分解(三种方法)Python实现
#coding:utf8import numpy as npdef gram_schmidt(A): """Gram-schmidt正交化""" Q=np.zeros_like(A) cnt = 0 for a in A.T: u = np.copy(a) for i in range(0, cnt): u -原创 2017-11-28 15:37:07 · 13662 阅读 · 3 评论 -
贝叶斯线性回归及最大后验估计
贝叶斯推断贝叶斯定理:通过观察到的数据DDD,把先验概率p(θ)p(θ)p(θ)转化为后验概率p(θ∣D)p(θ∣D)p(θ∣D)p(θ∣D)=p(D∣θ)p(θ)∫p(D∣θ)p(θ)dθ=p(D∣θ)p(θ)p(D)p(θ∣D)=p(D∣θ)p(θ)∫p(D∣θ)p(θ)dθ=p(D∣θ)p(θ)p(D)p(θ∣D)=\frac{p(D∣θ)p(θ)}{∫p(D∣θ)p(θ...原创 2018-01-24 15:28:16 · 1453 阅读 · 1 评论 -
CNN底层实现(python版)
用的cifar-10的数据 Githubimport numpy as npimport timeimport sysimport random# from tt import TwoLayerNetdef conv2(X, k): # as a demo code, here we ignore the shape check x_row, x_col =原创 2018-01-30 16:16:58 · 3359 阅读 · 1 评论 -
Google免费GPU使用攻略
google drive链接在Google Drive上创建文件夹Colab用的数据都存储在Google Drive云端硬盘上,所以,我们需要先指定要在Google Drive上用的文件夹。 新建Colab笔记本 然后进去设置免费GPU点笔记本设置 然后就可以运行代码了用Colab运行.py文件先运行下面这些代码,来安装必要的库、执行授原创 2018-02-02 11:17:15 · 1914 阅读 · 2 评论 -
阿里云PAI使用多文件
遇到一个问题:gzip: stdin: not in gzip format tar: Child returned status 1 tar: Error is not recoverable: exiting 打包的时候一定要用-zcvftar -zcvf usr.tar.gz /usr然后指定主文件 ...原创 2018-02-08 22:23:30 · 383 阅读 · 0 评论 -
机器学习中的偏差(Bias)与方差(Variance)
Error=Bias2+Variance+NoiseError=Bias2+Variance+NoiseError = Bias^2 + Variance + NoiseBias是 “用所有可能的训练数据集训练出的所有模型的输出的平均值” 与 “真实模型”的输出值之间的差异;Variance则是“不同的训练数据集训练出的模型”的输出值之间的差异。bias与variance...原创 2018-02-27 17:04:25 · 1229 阅读 · 0 评论 -
激活函数
sigmoidsigmoidsigmoid sigmoid非线性函数的数学公式是:σ(x)=11+e−xσ(x)=11+e−x\sigma(x)=\frac{1}{1+e^{-x}}. 缺点:Sigmoid函数饱和使梯度消失。当神经元的激活在接近0或1处时会饱和:在这些区域,梯度几乎为0。Sigmoid函数的输出不是零中心的。tanhtanhtanh tanhtanht...原创 2018-03-07 21:41:11 · 325 阅读 · 0 评论 -
过拟合与正则化
过拟合与欠拟合机器学习的主要挑战是我们的算法必须能够在先前未观测的新输入上表现良好,而不只是在训练集上表现良好。在先前未观测到的输入上表现良好的能力被称为泛化。通常情况下,当我们训练机器学习模型时,我们可以使用某个训练集,在训练集上计算一些被称为训练误差(training error)的度量误差,目标是降低训练误差。目前为止,我们讨论的是一个简单的优化问题。机器学习和优化不同的地方在于,我...原创 2018-03-12 22:24:05 · 500 阅读 · 0 评论