JoeYF_-CSDN博客

原创 itksnap加入linux应用程序列表

linux applicationslinux管理的应用程序均位于/usr/share/applications/，有很多以*.desktop为后缀名的文件，linux通过这个目录下的配置文件来管理应用程序。文件内容按照格式：name 软件名comment 这是应用程序的描述Exec 应用程序启动的指令Type 定义了desktop文件的类型。常见的数值是Application和Link。Application表示当前文件指向一个应用程序，而Link表明当前文件指向一个URL，即链接文件

2021-06-30 21:31:20 390

原创 Ubuntu16.04 RTX2080ti NVIDIA驱动安装

禁用系统默认显卡驱动打开系统黑名单:sudo gedit /etc/modprobe.d/blacklist.conf将下列代码填入文件末尾:# for nvidia display device installblacklist vga16fbblacklist nouveaublacklist rivafbblacklist rivatvblacklist nvidiafb...

2019-10-06 12:25:26 178

原创【cs231n】Detection and Segmentation

文章目录1 语义分割1.1 Sliding Window1.2 FCN（Fully Convolutional）去池化转置卷积2 目标检测2.1 R-CNN2.2 Fast R-CNNFaster R-CNNYOLO/SSD图像检测和分割是cv的两个重要任务，这节课对其进行总结。1 语义分割输入图像，并对每个像素进行分类并输出，而对于同类的目标，语义分割不会对其进行区分。1.1 Slidi...

2019-09-01 21:45:09 492

原创【cs231n】RNN LSTM

文章目录RNN(Recurrent Neural Networks)RNN(Recurrent Neural Networks)上图是RNN的计算图，输入为一定长度的时间序列X及隐藏层的初始态h0h_0h0，每一时刻的隐藏层都是由上一时刻的隐藏层ht−1h_{t-1}ht−1及当前的输入层X计算得到：ht=tanh⁡(Wxh⋅xt+Whh⋅ht−1+b)h _ t = \operator...

2019-08-05 22:55:27 269

原创【AndrewNg机器学习】异常检测(Anomaly detection)

文章目录异常检测(Anomaly detection)高斯分布异常检测算法开发和评价一个异常检测系统异常检测与监督学习之对比特征的选择多元高斯分布及其应用异常检测(Anomaly detection)假设我们有数据集{x(1),x(2),……,x(m)x^{(1)},x^{(2)},……,x^{(m)}x(1),x(2),……,x(m)},其中每个样本都有两个特征值(x1,x2)(x_1,x_...

2019-06-05 22:32:11 910

原创【AndrewNg机器学习】线性回归(Linear Regression)

文章目录1 单变量线性回归1.1 模型基本概念1.2 代价函数1 单变量线性回归1.1 模型基本概念线性回归模型是监督学习的一种。之所以叫做回归，是因为我们的模型预测结果为一个准确的数值；与之相对应的是分类问题，即预测结果为0或1从而将数据集分为两类。假设有一个房价预测的问题，如下图所示，我们有房子的面积和对应的价格，我们要构建一个模型来预测其他的房价，这个模型就是线性回归，在下图中，我们...

2019-06-05 22:31:51 201

原创【AndrewNg机器学习】逻辑回归(Logistic Regression)

文章目录1 模型描述1.1 分类问题1.2 假设函数1.3 判定边界2 代价函数与梯度下降2.1 代价函数2.2 梯度下降1 模型描述1.1 分类问题在分类问题中，我们要预测的变量y是离散的值，即判断其结果是否属于某一个类。在二分类问题中，我们将因变量可能属于的两个类分别称为负向类(y=0)和正向类(y=1)。当我们使用线性回归来解决分类时，我们会设定一个阈值0.5，当y&amp;amp;amp;gt;0.5时，我...

2019-06-05 22:31:39 200

原创【AndrewNg机器学习】正则化(Regularization)

文章目录1 过拟合问题2 正则化3 正则化应用3.1 正则化线性回归1 过拟合问题如下图所示的回归问题，第一个模型是线性模型，欠拟合，不能很好地适应训练集；第三个模型就属于过拟合，太过于强调训练数据，而不能推广到新的数据，进行对新数据的预测。中间的模型最为合适。同样的，在分类问题中也有这种现象：如何处理过拟合问题：丢弃一些不能帮助我们正确预测的特征。可以手工选择保留哪些特征，或使用...

2019-06-05 22:30:51 212

原创【AndrewNg机器学习】推荐系统(Recommender Systems)

文章目录1 什么是推荐系统2 基于内容的推荐系统1 什么是推荐系统推荐系统可以依靠你过去浏览的信息或者评价的电影来推荐新的信息。因此这会给互联网内容企业带来很大一部分收入，对企业有实质性的影响。另外，对于机器学习算法来说，数据特征有很大的影响，不同的特征会影响算法的准确性和性能。对于特征的获取，我们可以手动设计数据特征，也可以设计一个算法来学习使用的特征。推荐系统就是后者的一个例子。假如我...

2019-06-05 22:30:35 328

原创【AndrewNg机器学习】降维(Dimensionality Reduction)

1. 降维如下图所示，有一个含m个样本量的数据组，每个样本包含两个特征，我们可以找到一条直线z，将所有的点投影到该条直线上，那么每个样本的两个特征x1x_1x1和x2x_2x2就被压缩成一个特征z1z_1z1，数据集由{(x1(1),x2(1)),……(x1(m),x2(m))(x^{(1)}_1,x^{(1)}_2),……(x^{(m)}_1,x^{(m)}_2)(x1(1),x2(1...

2019-06-05 22:30:13 302

原创【AndrewNg机器学习】聚类(Clustering)

文章目录无监督学习无监督学习无监督学习：数据不带有任何标签，训练集只有x而没有对应的label聚类：如下图中数据，可以看为两个分开的点集，用聚类算法可以找到圈出这两个点集的方法...

2019-06-05 22:30:00 321

原创【AndrewNg机器学习】支持向量机(Support Vector Machine)

文章目录1 SVM1.1 代价函数1.2 大边界1 SVM1.1 代价函数在推导svm的代价函数之前，先回顾以下逻辑回归中每一个训练样本的代价函数:−(ylog⁡hθ(x)+(1−y)log⁡(1−hθ(x)))- \left( y \log h _ { \theta } ( x ) + ( 1 - y ) \log \left( 1 - h _ { \theta } ( x ) \righ...

2019-06-05 22:29:33 184

原创【cs231n】Assignment2总结

Assignment2的两个要点：全连接神经网络的系统构建、深度学习优化方法、正则化、归一化等等内容作业代码全连接神经网络的构建cs231n/classifiers/fc_net.py相关层的前向与反向传播（affine\relu\bn\ln\dropout）cs231n/layers.py相关层的组合(affine\relu)cs231n/layer...

2019-05-06 14:03:47 1858

原创【cs231n】卷积神经网络及反向传播

文章目录卷积神经网络卷积层池化层反向传播卷积层反向传播卷积神经网络CNN一般由卷积层、池化层、全连接层三种类型的层构成。卷积层一些概念：感受野：即每个神经元与输入数据的局部区域连接的空间大小，其大小为卷积核尺寸（F），深度永远与输入数据的深度相同。步长：卷积核在输入数据上滑动时，每步所移动的像素大小零填充：为了使得输出与输入保持同样的大小而仅仅在深度上不同，需要在输入数据四边进行...

2019-05-05 22:29:57 639

原创【cs231n】正则化

文章目录L2 regularizationL1 regularizationDropout当训练数据过少、网络复杂或训练过多时，会出现过拟合。在训练集上的准确度不断提高，但在测试集上的准确率不高。为了解决这个问题，就需要在损失函数中加入正则化项，来降低网络的复杂度，提高其泛化能力。L2 regularizationL2正则化就是在损失函数后加一项Loss+12λ∑j=1nwj2Loss+\f...

2019-04-25 13:51:34 333

原创【cs231n】Batchnorm及其反向传播

文章目录BatchNormalization其他Normalization方法LayerNormalizationInstanceNormalizationGroupNormalization神经网络中有很多层的叠加，数据经过每一层后，其分布会发生变化，给下一层的训练带来麻烦，这一现象称为Internal Covariate Shift。在bn之前一般通过减小学习率、初始化权重、以及细致训练策略...

2019-04-22 17:42:08 3027 2

原创【cs231n】深度学习优化方法

文章目录随机梯度下降minibatch-SGD学习率衰减动量（Momentum）更新Nesterov动量更新逐参数适应学习率方法AdagradRMSpropAdam随机梯度下降minibatch-SGD最简单的更新形式，沿着梯度负方向改变参数，其中dx由小批量数据求得x += - learning_rate * dx学习率衰减随步数衰减：经过多少步，衰减为之前得0.9指数衰减：α...

2019-04-16 15:36:44 328

原创【cs231n】Assignment1总结

cs231n的第一部分主要为knn，svm，softmax以及two_layer_network，作为入门，主要难点在于损失函数构建及梯度求导。算法代码重难点KNNcs231n/classifiers/k_nearest_neighbor.py \qquad knn.ipynbnoloop求距离交叉验证SVMcs231n/classifiers...

2019-04-09 22:05:26 520

原创【cs231n】两层神经网络的反向传播

文章目录矩阵求导方法两层神经网络的梯度求导矩阵求导方法维度相容原则：假设每个中间变量量的维度都不不⼀一样，看怎么摆能把雅克比矩阵的维度摆成矩阵乘法规则允许的形式。只要把矩阵维度倒腾顺了了，公式也就对了了。设有f(Y):Rm×p→Rf ( Y ) : \mathbb { R } ^ { m \times p } \rightarrow \mathbb { R }f(Y):Rm×p→R，Y=A...

2019-04-02 15:37:25 1233 1

原创 TensorFlow学习笔记(8) Tensorboard可视化

文章目录Tensorboard简介TensorFlow计算图可视化命名空间与Tensorboard图上节点节点信息监控指标可视化Tensorboard简介Tensorboard是Tensorflow的可视化工具，通过tf程序输出的日志文件来可视化程序的运行状态。下面的代码完成了Tensorboard日志输出的功能。import tensorflow as tfinput1 = tf.co...

2019-03-22 17:30:22 408

原创 TensorFlow学习笔记(7) 多线程输入数据处理框架

目录多线程输入数据处理框架队列与多线程输入文件队列组合训练数据输入数据处理框架多线程输入数据处理框架为了避免图像预处理成为神经网络模型训练效率的瓶颈，TF提供了一套多线程处理输入数据的框架。经典的输入数据处理流程为如图所示。队列与多线程在tensorflow中，队列不仅是一种数据结构，更提供了多线程机制，队列也是TF中多线程输入数据处理框架的基础。比如...

2019-03-18 14:26:31 855

原创【cs231n】SVM与Softmax的梯度下降

文章目录SVM在CS231n课程的线性分类中讲了SVM和Softmax两种分类方法，但是没有给出梯度的具体计算过程，本文着重记录一下两个算法的梯度计算。SVMSVM的损失函数的计算过程如下：首先计算Score：S=WXS = WXS=WX，其中S(N,C)，W(N,D)，X(D,C)，矩阵S中得每一行即代表该训练样本在每一类别上得到的分数。[S00S01⋯S0CS10S11⋯S1C⋮⋮S...

2018-12-19 23:23:38 1287 2

原创决策树

https://www.cnblogs.com/yonghao/p/5061873.html、https://blog.csdn.net/qq_40587575/article/details/80247076https://blog.csdn.net/jiaoyangwm/article/details/79525237https://blog.csdn.net/qq_41577045/a...

2018-12-14 19:51:27 565

原创【机器学习算法总结】逻辑回归

文章目录1 逻辑回归2 损失函数3 损失函数求解4 正则化4.1 过拟合4.2 正则化应用于逻辑回归1 逻辑回归在分类问题中，我们要预测的变量y是离散的值，即判断其结果是否属于某一个类。具体来说，在二分类问题中，我们将因变量可能属于的两个类分别称为负类(y=0)(y=0)(y=0)和正类(y=1)(y=1)(y=1)。那如何可以将线性回归的连续模型转化为离散模型呢？这里我们要设定一个阈值0....

2018-12-11 22:59:29 216

原创【机器学习算法总结】线性回归

文章目录1 机器学习概念2 线性回归3 代价函数4 代价函数求解4.1 正规方程求解4.2 梯度下降法4.2.1 批量梯度下降(BGD)4.2.2 随机梯度下降(SGD)1 机器学习概念损失函数/代价函数：当我们选定决策函数f(X)f(X)f(X)时，对于给定的输入XXX，由f(X)f(X)f(X)给出相应的输出YYY，为了能够表现出f(X)f(X)f(X)拟合的好坏，我们定义一个函数来度量...

2018-12-10 12:03:17 363

原创 TensorFlow学习笔记(6) 图像数据处理

目录TFRecord输入数据格式Tensorflow图像预处理函数图像编码处理图像大小调整图像翻转图像色彩调整处理标注框图像预处理完整样例TFRecord输入数据格式TF提供了一种统一的格式来存储数据，这个格式就是TFRecord。TFRecord文件中的数据都是通过tf.train.Example存储的。tf.train.Example中包括一个从属性名称...

2018-02-13 16:56:23 1369

原创 TensorFlow学习笔记(5) 卷积神经网络

目录卷积神经网络的基本结构卷积层池化层经典卷积网络LeNet-5模型Inception-v3模型迁移学习卷积神经网络的基本结构前面所提到的MNIST是一个相对简单的数据集，而在其他更复杂的图像识别数据集上，卷积神经网络有更好的表现。比如Cifar数据集和ImageNet数据集。Cifar分为Cifar-10和Cifar-100两个问题，都是32*32的彩色...

2018-02-12 20:44:38 2517 2

原创 TensorFlow学习笔记(4) 变量管理及模型持久化

目录变量管理模型持久化保存模型读取模型保存为可移植单个文件持久化原理及数据格式TensorFlow最佳实践样例程序mnist_inference.pymnist_train.pymnist_eval.py变量管理随着神经网络的结构更加复杂，参数更多时，需要一个更好的方式来传递和管理变量。在TF中提供了通过变量的名字来创建或者获取一个变量的机制，通过这...

2018-02-08 15:58:39 390

原创 TensorFlow学习笔记(3) MNIST数字识别问题

MNIST数据集MNIST是一个手写体数字识别数据体，作为机器学习的入门样例。这个数据集包含了60000张图片作为训练数据，其中图片的大小为28*28。一般从中划出5000张作为验证数据（validation），另外55000张作为训练数据（train），还有10000张图片作为测试数据（test），且每一张图片都代表了0-9中的一个数字。在TF中专门提供了一个类来处理MNIST数据：f...

2018-02-05 12:07:27 716

原创 TensorFlow学习笔记(2) 深层神经网络

目录一、深度学习与深层神经网络二、损失函数定义交叉熵均方误差（MSE，mean squared error）自定义损失函数三、神经网络优化算法四、神经网络的进一步优化1.学习率的设置2.过拟合问题3.滑动平均模型一、深度学习与深层神经网络深度学习是指一类通过多层非线性变换对高复杂性数据建模算法的合集，深层神经网络就是实现多层非线性变换最常用的一种方法...

2018-02-03 13:05:34 497

原创 TensorFlow学习笔记(1) 计算图、张量、会话及简单的神经网络

一、TensorFlow计算模型——计算图(Computational Graph）二、TensorFlow数据模型——张量（tensor）三、TensorFlow运行模型——会话（session）四、TensorFlow实现神经网络一、TensorFlow计算模型——计算图(Computational Graph）TensorFlow——Tensor和Flow。T...

2018-02-01 11:12:28 480

－