机器学习
linjiet
笔记、分享
展开
-
西瓜书机器学习第一章绪论笔记
机器学习这一个领域非常大,机器学习!=深度学习,机器学习包括了机械学习(即死记硬背学习,只是对之前输入的进行存储检索),深度学习和数据挖掘中的数据分析技术等等,机器学习划分有很多种,这里不一一举例。以下主要以深度学习为主。深度学习中神经网络自身通常都是对自然界中某种算法或函数的逼近,也可能是对一种逻辑策略的表达,比如用感知机表达与或非运算。机器学习中的一些概念:关于对一个事件或者对象的...原创 2018-08-09 19:01:29 · 296 阅读 · 0 评论 -
解决使用nvidia-smi命令显示NVIDIA-SMI has failed because it couldn't communicate with the NVIDIA driver
之前使用nvidia-smi命令能够成功显示显存的使用情况,但是最近就不行了,提示如下错误NVIDIA-SMI has failed because it couldn’t communicate with the NVIDIA driver. Make sure that the latest NVIDIA driver is installed and running.查了网上好多的教程,...原创 2019-02-26 11:43:49 · 22483 阅读 · 6 评论 -
用一个例子说明怎么使用Swagger和connexion、Docker构建深度学习服务
因为鄙人大创的需要,需要将深度学习模型打包成服务,所以这里写一个教程说明如何搭建服务。因为此刻我们的模型还没有训练好,所以就写一个简单的demo,实现的步骤都是一样的。自己对于connexion包用得不多,且YAML语言也是简单了解了一下,所以如果有错,请指正。工具解释SwaggerSwagger是一个强大的工具,就我掌握的而言,它是一个集文档生成、前后端代码生成功能的强大工具,能够根据...原创 2019-03-09 01:17:25 · 1647 阅读 · 0 评论 -
李飞飞计算机视觉笔记(5)--神经网络训练细节part2
参数更新算法动量更新(Momentum)复习一下SGD公式Wi=Wi−lr∗gradW_i=W_i-lr*gradWi=Wi−lr∗grad我们在使用SGD时比其他参数更新策略更慢,一般使用中也不会仅仅使用SGD,如下我们使用SGD,等高线表示损失值相同的区域可以这样理解,水平方向表示参数xxx,垂直方向表示参数yyy,损失值是xxx和yyy的函数,中间的损失值最小,这是我们的目标,...原创 2019-03-10 17:50:49 · 1303 阅读 · 0 评论 -
Structured Learning --Structured SVM
This article notes Lecture3 of YouTube HongYi Li .原创 2019-04-06 19:06:10 · 652 阅读 · 0 评论 -
SVM from another perspective
This article records my process of study.Binary ClassificationBecause g(x)g(x)g(x) only outputs +1+1+1 or −1-1−1.Thus δ\deltaδ can’t use gradient descent.We use another loss function.(PS: δ\deltaδ...原创 2019-04-21 21:35:00 · 752 阅读 · 0 评论 -
DAPs: Deep Action Proposals for Action Understanding
Record my reading of DAPs paper.AbstractThis paper introduces Deep Action Proposals(DAPs) ,an effective and efficient algorithm for generating temporal action proposals from long videos.Authors sh...原创 2019-04-25 23:23:28 · 1201 阅读 · 0 评论 -
Learning Spatiotemporal Features with 3D Convolutional Networks
AbstractWe introduce a simple and effective approach for spatiotemporal features learning by using deep 3-dimensional convolutional networks(3D ConvNets).3D ConvNets are better than 2D ConvNets.T...原创 2019-04-15 01:33:44 · 412 阅读 · 0 评论 -
周志华Watermelon Book SVM部分公式补充、一些原理解释
Z.F Zhou Watermelon Book SVM.This article is a supplementary material for SVM.Watermelon Book6.3Suppose training data set is linear separable.Minimum margin is δ\deltaδ.{wTx+b>=+δ,yi=+1wT...原创 2019-04-22 20:05:02 · 256 阅读 · 0 评论 -
RNN(1)--Cross the threshold of RNN
This article records our learning process about RNN part in Dive Into Deep learning bookIntroductionRNN is designed for time sequence. It has a state variable to store historical information.Curr...原创 2019-04-23 21:17:07 · 541 阅读 · 0 评论 -
Linear Regression
This article records my note about Linear regression.I think that Linear Regression is a single layer neural network.Trough this model,we see theory of gradient descent with intuition.modelf(x)=w...原创 2019-04-24 20:46:12 · 331 阅读 · 0 评论 -
Faster R-CNN实现细节
本篇博客记录Fatser R-CNN的实现过程。Ref部分给的链接的代码是python+c+CUDA混合编程的,本博客不会涉及CUDA的并行,完全基于Python+Pytorch+Numpy。PS:都做人工智能了,CUDA的并行也得学习,大牛的代码都是会考虑性能的,不能还是初级阶段实现功能就行。文章目录算法思想整体架构NMS(Non-Maximum Suppression)非极大值抑制特征层...原创 2019-07-02 17:34:49 · 765 阅读 · 0 评论 -
李飞飞计算机视觉笔记(3)--反向传播与神经网络初步
当前梯度值:上一层传入当前层的梯度值两层神经网络:除开输入层总共为2层的神经网络单层隐藏层的神经网络:与两层神经网络结构一致,我们描述神经网络的层数是通过有多少层的权值来定的,所以输入层不计入层数里面。梯度计算前一篇文章说了梯度计算有两种方法,一种数值方法,直接简单但速度慢,第二种就是解析方法,通过微积分进行计算,计算速度快,但有时候的结果是错误的,所以一般会进行梯度检查的操作。我们一...原创 2019-02-13 00:05:29 · 989 阅读 · 0 评论 -
李飞飞计算机视觉笔记(4)--神经网络训练细节part1
这里说明一下,因为这个视频是2016年的,可能现在有些东西已经变化。是否我们应该需要大量的数据集对模型进行训练?这种认识是错误的,我们一般很少直接对卷积神经网络进行训练,通常会先在大数据集如ImageNet中进行预训练,然后将训练好的卷积神经网络提取出来,去除分类层即softmax层,然后加一层新的分类层,在我们自己的数据集上进行训练。如果我们的数据集很小,那么我们可以只训练softmax...原创 2019-02-22 21:22:53 · 3732 阅读 · 0 评论 -
李飞飞计算机视觉笔记(2)--线性分类器损失函数与最优化
多类SVM损失(Multiclass SVM loss)这里偷个懒,SVM损失对应的公式如下图(图片来自李飞飞计算机视觉课件):公式中的下标jjj表示不正确类别,yiy_{i}yi表示正确类别,sss对应是得分向量,而sjs_{j}sj和syis_{y_i}syi分别表达不正确类别的得分和正确类别的得分。LiL_iLi的含义是对于第iii张图片来说预测的损失值,他等于不正确类别的得...原创 2019-02-08 22:40:33 · 879 阅读 · 0 评论 -
西瓜书第二章模型评估与选择
说明:此篇博客是总结性,因为具体的一些方法推导和介绍足以再写一篇博客,具体细节可以查看西瓜书上的介绍。欠拟合:是指对于训练样本的一般属性尚未学好。过拟合:是指对于训练样本中样本的独有的性质当做训练样本的一般性质学习了。模型评估方法:三种方法都是对数据集进行划分得到训练集S和测试集T。1.留出法:D=S并T,空=S交T。通过分层采样法,保持测试集和训练集的数据分布一致性。用测试集结果...原创 2018-08-09 20:35:58 · 524 阅读 · 0 评论 -
k-means聚类算法过程与原理
k-means算法(k-均值聚类算法)是一种基本的已知聚类类别数的划分算法。它是很典型的基于距离的聚类算法,采用距离作为相似性的评价指标,即认为两个对象的距离越近,其相似度就越大。该算法认为簇是由距离靠近的对象组成的,因此把得到紧凑且独立的簇作为最终目标。它是使用欧氏距离度量的(简单理解就是两点间直线距离,欧氏距离只是将这个距离定义更加规范化,扩展到N维而已)。它可以处理大数据集,且高效。它的输入...原创 2018-08-14 22:05:18 · 70886 阅读 · 3 评论 -
决策树简单理解
决策时主要用于做分类任务,通过变形也可以做回归任务(叫做回归树)。它是一颗数据结构中的树的概念,它的非叶节点对应属性,叶节点对应预测结果。在我之前关于西瓜书第一章绪论部分的笔记中就提到过,所有的模型都是对现实世界某一个函数的逼近。决策树也不例外。训练样例是由特征属性和类标组成,而分类任务则是根据这些特征属性来对类标进行预测,与回归任务预测变量是连续值不同,分类任务主要用于预测离散值。神经网络对...原创 2018-08-12 22:02:00 · 3887 阅读 · 0 评论 -
机器学习和数学建模中的目标函数的通俗理解
目标函数是一个函数,这个得明确。它的作用就是度量模型的好坏或者用于某些优化问题求解。理解最好的方式就是举例子。机器学习中分类任务是指将提供的输入得到对应的离散值输出,输出就是所属类别。拿分类任务来说,目标函数就是误差函数,他度量了模型好坏。当误差函数取全局最小时模型相对这个问题来说最好。在数学建模中经常使用目标函数即min f=g(x),来表达解是使f最小的解。 目标函数就...原创 2018-08-15 19:32:28 · 3740 阅读 · 0 评论 -
机器学习中梯度下降算法解释为什么梯度方向函数值是下降的
之前学习逆向传播算法对参数的优化,看到了它的原理是梯度下降,所以查了知乎,看到了梯度下降(知乎上资料的链接)的数学原理。梯度就是偏导数构成的一个向量,梯度的模与方向导数最大值一样,指的是函数值变化最大的方向,但是为什么反梯度方向即为函数下降最快呢?很多地方都没有说明,本文用直观的方法进行说明。...原创 2018-08-24 14:05:09 · 1470 阅读 · 0 评论 -
建模方法(七)-中心化处理和标准化处理
一、中心化(又叫零均值化)和标准化(又叫归一化)概念及目的?1、在回归问题和一些机器学习算法中,以及训练神经网络的过程中,通常需要对原始数据进行中心化(Zero-centered或者Mean-subtraction(subtraction表示减去))处理和标准化(Standardization或Normalization)处理数据标准化(归一化)处理是数据挖掘的一项基础工作,不同评价指标往...转载 2018-08-25 11:16:35 · 13431 阅读 · 0 评论 -
建模方法(八)-PCA主成分分析算法
主成分分析法与因子分析本质都是降维,使得满足限制条件和尽可能保证数据的完整性而使特征维度减少。主成分指的就是降维后得到的各个维度。 他是将特征进行融合的一种算法,我们希望用更小的维度来完整表达一个个体,将数据沿方差最大方向投影(方差最大,即最分散。这也容易理解,毕竟分散的数据更容易区分开来,PCA的降维方式),数据更易于区分——这就是PCA降维的核心思想。 举个简单例子:学生与他的成绩 ...转载 2018-08-25 13:55:51 · 2191 阅读 · 0 评论 -
Tensorflow(一)--用tensorflow实现卷积层和池化层的前向传播
import tensorflow as tfweights=tf.get_variable("weights",[5,5,3,16],initializer=tf.truncated_normal_initializer(stddev=0.1))#偏值项bias=tf.get_variable("biases",[16],initializer=tf.constant_initializ...原创 2018-10-14 17:03:09 · 269 阅读 · 0 评论 -
Tensorflow(一)--使用3层全连接神经网络(包含输入层)识别MNIST数据集
import tensorflow as tffrom tensorflow.examples.tutorials.mnist import input_dataINPUT_SIZE=784HIDE_LAYER_SIZE=500OUTPUT_SIZE=10BATCH_SIZE=100BASE_LEARN_RATE=0.8LEARN_DECAY_RATE=0.99MOVINGAV...原创 2018-10-18 17:34:18 · 1819 阅读 · 0 评论 -
Tensorflow(二)--Tensorflow变量管理
import tensorflow as tf#用于简化函数参数,直接通过命名空间+变量名获取已有变量v2=tf.get_variable("v",[1]) #不报错,相当于variable_scope为“”#v3=tf.get_variable("v",[1]) 报错已存在#with tf.variable_scope(reuse=True):# v4=tf.get_vari...原创 2018-10-21 20:21:22 · 138 阅读 · 0 评论 -
Tensorflow(三)--持久化模型(1)
"""#存储import tensorflow as tf#重构计算图,注意计算图和变量取值分开看,计算图是结构而值是计算图中变量具体的取值a=tf.Variable(tf.constant(1),name="v1") #在checkpoint文件中的名字为v1b=tf.Variable(tf.constant(1),name="v2")saver=tf.train.Saver(...原创 2018-10-21 22:25:01 · 172 阅读 · 0 评论 -
机器学习(一) - 机器学习基础
<< Machine Learning in Action >> Chapter one.什么是机器学习?机器学习是利用计算机技术分析数据背后的含义。Terminology特征(features):即一个实例所包含的属性(attributes);...原创 2019-08-10 00:39:12 · 284 阅读 · 0 评论