pyStar_公众号-CSDN博客

HTTPSHTTPS = HTTP + 加密 + 认证 + 完整性保护HTTPS并非是应用层的一种新协议，只是HTTP通信接口部分用SSL（安全套接层）和TLS（安全传输层协议）协议代替而已。HTTP的不足：通信使用明文（不加密），内容可能被窃听即使经过加密，通信内容也会被窥视，只是无法破解报文信息的含义通信加密，建立通信安全线路（SSL+TLS）内容加密，对报文主体进行加密不验证通信方的身份，可能遭遇伪装伪装的Web服务器伪装的客户端无法确定对方是否具有访问权限无法判断

2022-01-28 11:16:02 2820

原创 Mybatis 报 java.lang.IllegalArgumentException: Result Maps collection already contains...异常原因分析

使用 Mybatis 时报 java.lang.IllegalArgumentException: Result Maps collection already contains… 异常，目前碰到的原因如下：*.xml 中 id 存在重复，分两种情况- 写的时候粗心写重复，此时你就重新起个 id 名吧- 逆向工程中 mybatis 用什么追加模式，导致编译后的文件中存在重复，此时就 clean 一下，然后重新 compile。说白了就是删除文件，重新编译。*.xml 中类型写错，例如 resu

2021-10-14 09:12:14 1045

原创 Siamese网络

Siamese网络

2020-07-20 21:34:46 772

原创 DenseNet---比ResNet更优模型

DenseNetDenseNet模型的基本思路与ResNet一致，但它是前面所有层与后面层的密集连接（dense connection），它的名称也是由此而来。如下图所示：如上图所示，DenseNet每两个层之间都有直接的连接，因此该网络的直接连接个数为L(L+1)2\frac{L(L+1)}{2}2L(L+1)。对于每一层，使用前面所有层的特征映射作为输入，并且其自身的特征映射作为所有后续层的输入。DenseNet的优点: 缓解了消失梯度问题，加强了特征传播，鼓励特征重用，并大大减少了参数的

2020-07-18 19:05:40 1831

原创 ResNet

ResNetResNet是2015年何恺明推出的，在ISLVRC和COCO上横扫所有选手，获得冠军。论文：Deep Residual Learning for Image Recognition从 AlexNet (7层) 到VGGNet (16–>19层) 再到GoogLeNet (22层)，似乎是网络越深 (复杂，参数多) ，表征能力越强。但实验表明，随着网络加深，优化效果反而越差，测试和训练数据的准确率反而降低。这里涉及两个臭名昭著的问题：网络的加深会造成梯度爆炸和梯度消失。然而，这两个

2020-07-18 13:49:42 584

原创 GoogLeNet

GoogLeNetGoogLeNet中的Le是为了致敬前辈LeNet。GoogLeNet在2014的ImageNet分类任务上击败了VGGNet夺得冠军。GoogLeNet在加深网络的同时（22层），也在网络结构上做了创新，引入Inception结构代替了单纯的卷积+激活的传统操作（这思路最早由Network in Network提出）。GoogleNet参数为500万个，AlexNet参数个数是GoogleNet的12倍，VGGNet参数又是AlexNet的3倍，因此在内存或计算资源有限时，Googl

2020-07-16 22:07:51 449

原创 VGGNet---网络进一步加深

VGGNetVGGNet由牛津大学计算机视觉组（Visual Geometry Group）和Google DeepMind公司研究员一起研发的深度卷积神经网络。VGGNet获得了ILSVRC 2014年比赛的亚军和定位项目的冠军，在top5上的错误率为7.5%。它主要的贡献是展示出网络的深度（depth）是算法优良性能的关键部分。VGGNet作者总结出LRN层作用不大。论文：Very Deep Convolutional Networks for Large-Scale Image Recogniti

2020-07-12 23:33:30 570

原创 AlexNet---卷积网络声名鹊起

完整代码：LeNet实现完整代码AlexNetAlexNet由Hinton和他的学生Alex Krizhevsky设计，在2012年ImageNet竞赛中以超过第二名10.9个百分点的绝对优势一举夺冠。从此深度学习和卷积神经网络名声鹊起，深度学习的研究如雨后春笋般出现。论文：ImageNet Classification with Deep Convolutional Neural NetworksAlexNet网络结构操作输入数据维度输出数据维度卷积核卷积步长池化核大小池化

2020-07-11 21:25:19 290

原创 LeNet—卷积网络的开山之作

LeNet-5LeNet-5由Yann LeCun于1998年提出，是卷积网络的开篇之作。（论文：Gradient-based learning applied to document recognition）。由于 LeNet-5 提出的时间比较早，其网络中使用的一些技术在现在已经很少使用，因此现在我们所使用的 LeNet-5 与原始论文的有所不同。LeNet-5 的结构图CiC_iCi：卷积层；SiS_iSi：下采样层（池化层）；FiF_iFi：全连接层对上图中的每层操作及参数进行解释

2020-07-03 12:13:22 1111

原创深度学习---0 介绍

深度学习几个重要的概念：人工智能：让机器具备人的思维和意识。人工智能的三大学派： 1. 行为主义：基于控制论，构建感知-动作控制系统。 2. 符号主义：基于算术逻辑表达式，求解问题是先把问题描述为表达式，再求解。 3. 联结主义：仿生学，模仿神经元连接关系。中心思想：当网络将大量简单的计算单元连接在一起时，可以实现智能行为。机器学习：软件系统需要具备自己获取知识的能力，即从原始数据中提取模式的能力。表示学习：使用机器学习来发掘表示本身，而不仅仅把表示映射到输出，这种方法称

2020-06-28 12:35:07 259

原创激活函数

激活函数（Activation Function）激活函数为神经网络模型引入了非线性计算。如果神经网络中没有激活函数，那么神经网络中的每一层的输出都是上层输入的线性函数，因此无论神经网络有多少层，输出都是输入的线性组合，这就是最原始的感知机（Perceptron）。在现实任务中，大多数任务都是非线性的，因此激活函数给神经网络引入了非线性因素，使得神经网络可以任意逼近任何非线性函数，这样神经网络就可以应用到众多的非线性计算任务中。如下图，在神经元中，输入的 inputs 通过加权，求和后，被作用于一个

2020-06-20 13:50:59 285

原创 Apriori算法（关联分析算法）

Apriori算法Apriori算法是发现数据集中的频繁项集、及数据之间的关联规则。频繁项集：经常出现在一块的物品的集合关联规则：暗示两种物品之间可能存在很强的关系频繁项集看一个例子解释几个概念：频繁项集是指那些经常出现在一起的物品，例如上图的{葡萄酒、尿布、豆奶}，从上面的数据集中也可以找到尿布->葡萄酒的关联规则，这意味着有人买了尿布，那很有可能他也会购买葡萄酒。那如何定义和表示频繁项集和关联规则呢？这里引入支持度和可信度（置信度）。支持度：一个项集的支持度被定义为数据集中包含

2020-06-12 10:09:00 762

原创 FP-Growth算法

FP-Growth算法FP-Growth算法用来高效发现频繁项集，但不能用于发现关联规则。FP-Growth算法只需要对数据进行两次扫描，而Apriori算法对于每个潜在的频繁项集都会扫描数据集判定给定模式是否频繁，因此FP-Growth算法的速度要比Apriori算法快。FP-Growth只会扫描数据集两次，它发现频繁项集的基本过程如下：(1) 构建FP树(2)从FP树中挖掘频繁项集FP-Growth算法将数据存储在一种称为FP树的紧凑数据结构中。FP代表频繁模式（Frequent Patte

2020-06-12 10:07:45 3382

原创 AdaBoost元算法

元算法元算法(meta-algorithm)是对其他算法进行组合的一种方式。（或称集成方法，ensemble method）集成方法的不同形式：不同算法的集成同一算法在不同设置下的集成数据集不同部分分配给不同分类器之后的集成基于同一种分类器在多个不同实例下的集成bagging：基于数据随机重抽样的分类器构建方法bagging也称自举汇聚法（bootstrap aggregating）。核心思想：假设训练集有NNN个样本，从中随机抽取SSS次，每次有放回的获取MMM个样本，用某个单独的算

2020-06-12 10:06:06 236

原创 k-means算法

k-means算法k-means算法是一种聚类算法，所谓聚类，即根据相似性原则，将具有较高相似度的数据对象划分至同一类簇，将具有较高相异度的数据对象划分至不同类簇。聚类与分类最大的区别在于，分类的目标事先已知，而聚类结果的类别没有预先定义，聚类也称无监督分类。K-means算法原理k-means算法中的k代表类簇个数，means代表类簇内数据对象的均值（这种均值是一种对类簇中心的描述），因此，k-means算法又称为k-均值算法。k-means算法是一种基于划分的聚类算法，以距离作为数据对象间相似性度

2020-06-12 10:04:46 528 1

原创树回归

树回归CART（Classification And Regression Trees），即分类回归树。顾名思义，该算法使用的是树形结构，既可用于分类，又能用于回归。线性回归（局部加权线性回归除外）在构建模型时需要拟合所有样本，当数据特征较多并且之间关系较复杂时，构建全局模型就显得太难。相比于线性回归，树回归更适合对复杂、非线性数据进行回归建模。树构建算法算法名称特征选择方式分支方式用途ID3信息增益选取当前最佳的特征分割数据，并按照该特征的所有可能取值来切分。此方法只能

2020-06-12 10:03:21 276

原创预测数值型数据：回归

回归回归一词是由达尔文的表兄弟Francis Galton发明的，Galton根据上一代的豌豆种子（双亲）的尺寸来预测下一代豌豆种子（孩子）的尺寸。Galton在大量对象上应用了回归分析，甚至包含人的身高。Galton注意到，如果双亲的高度比平均高度高，他们子女也倾向于比平均高度高，但尚不及双亲。孩子的高度向着平均高度回退(回归)。Galton在多项研究上都注意到这个现象，所以尽管这个英文单词跟数值预测没有任何关系，但这种研究方法仍被称作回归。本节中的回归的目的是预测数值型的目标值。假设方程 y=w1

2020-06-12 10:01:40 188

原创朴素贝叶斯

朴素贝叶斯（Bayes）k-NN和决策树这类分类器的结果是非错即对（即明确给出数据预测类别），但有时我们希望分类器给出预测类别的概率估计值，这就引出了基于概率论的分类方法–朴素贝叶斯。（朴素的意思是在形式化过程中，只做最原始，最简单的假设）在了解贝叶斯分类器之前，我们需要先了解什么是条件概率。条件概率条件概率：简单来说就是在A事件发生的条件下，B事件发生的概率，形式化描述为：p(B∣A)p(B|A)p(B∣A)如果已知p(A∣B)p(A|B)p(A∣B)、p(B)p(B)p(B)及p(A)p(A

2020-06-12 10:00:44 129

原创 Logistic回归

Logistic回归假设有一堆数据点，用一条直线对这些点进行拟合（该条直线成为最佳拟合直线），这个拟合过程就称为回归。利用Logistic回归进行分类的思想：根据现有数据对分类边界线建立回归公式，以此进行分类。这里的回归源于最佳拟合，表示要找到最佳拟合参数集。利用Logistic回归如何分类假设在二分类情况下，我们希望有某个函数在接受所有输入之后可以预测出类别（即可以输出0或1，表示不同类别）。这种函数称为海维赛德阶跃函数（或者称为单位阶跃函数）。然而海维赛德阶跃函数在跳跃点上从0瞬间跳跃到1，这个

2020-06-12 10:00:22 188

原创支持向量机（SVM）

支持向量机（SVM）再讲之前先看一个机器学习算法热度榜：从图片中可以看出支持向量机（SVM）在机器学习中多么重要！！！在讲SVM之前，再看两幅图：从左图中可以看出红绿数据点基本可以通过一条直线进行区分，我们称这种情况为线性可分。而右图中的两种数据点有的交织在一起，不可能通过一条直线进行区分，这种情况称之为线性不可分。将数据集分割开来的直线我们称为分隔超平面（separating hyperplane）。上面左图数据点都在二维平面上，所以此时的分割超平面就是一条直线。数

2020-06-12 09:59:58 205

原创决策树

决策树算法介绍决策树：Decision Tree什么是决策树顾名思义，决策树是将样本处理成树形结构，再对新数据按照树形规则进行分类。上图的流程图就是一个决策树，正方形代表判断模块（decision block），椭圆代表终止模块（terminating block），即数据最终分类结果。...

2020-06-12 09:59:18 188

原创 kNN算法

k-NN算法介绍kNN（k - Nearest Neighbor），中文名：k-近邻算法工作原理：存在一个数据集，数据集中的每个样本都有对应的标签（即该样本属于哪个类别）。当输入没有标签的新数据时，计算新数据与数据集中每个样本对应特征之间的距离之和，新数据与哪个样本距离之和最小（最近邻），就把该样本的标签作为新数据的标签。k的意思是，在实际应用中一般选取前k个与新数据距离最小的样本，在k个样...

2020-06-12 09:58:09 203

原创 Python实现二叉树

二叉树的性质什么的在这就不多说了，相信既然想代码实现，就已经了解了这些基本的东西。直接上代码：1.代码的目录结构2.定义树结点类的模块：Node.pyclass Node(object): def __init__(self, elem=-1, lchild=None, rchild=None): self.elem = elem se...

2018-10-22 18:17:22 333 1

原创 git --- 远程仓库

目录创建SSH Key创建远程仓库关联远程仓库…or create a new repository on the command line…or push an existing repository from the command line克隆远程仓库远程仓库是建立在某个服务器上的版本库。在实际工作中，一个项目会有很多人参与，那么多...

2018-07-18 13:07:48 350

原创 git --- 创建分支

目录master分支新建分支git branchmaster分支我们每次的提交，Git都把它们串成一条时间线，这条时间线就是一个分支。截止到目前，只有一条时间线，在Git里，这个分支叫主分支，即master分支。HEAD严格来说不是指向提交，而是指向master，master才是指向提交的，所以，HEAD指向的就是当前分支。刚开始，master分支是一条线，G...

2018-07-18 10:40:59 2966

原创 git---工作区、暂存区

接着前面的介绍：https://blog.csdn.net/qq_42413820/article/details/81086894目录工作区（Working Directory）版本库（Repository）工作区（Working Directory）比如learngit文件夹就是一个工作区：版本库（Repository）工作区有一个隐藏目录.git，这个不...

2018-07-18 10:13:32 291

原创 git --- 简单使用

首先放个图，这就是大名鼎鼎的git：git是现在世界上最先进的分布式版本控制系统......吹捧它的话咱就不说了。目录安装Git在Linux上安装Git在Mac OS X上安装Git在Windows上安装Git创建版本库初始化git版本库git add 和 git commitgit statusgit loggit reset --hard...

2018-07-17 21:07:34 287

原创用tensorflow扩充数据集

在cifar10_input.py有个功能很强大的数据-----distorted_inputs。它可以对train数据进行变形处理，起到数据增广的作用，在数据集比较小，数据量远远不够的情况下，可以对图片进行翻转、随机剪裁等操作以增加数据，制造出更加多的样本，提高度图片的利用率。核心功能代码在cifar10_input.py文件的 169~183 行：# Image processin...

2018-07-12 15:44:26 3739 1

原创卷积神经网络三-----CIFAR数据集

CIFAR也是一堆图片的数据集。在官网 http://www.cs.toronto.edu/~kriz/cifar.html 可以下载，该数据集是已经打包好的文件，分别为python、MATLIB、二进制bin文件包，方便不同的程序读取。不过该文件包在官网下载速度比较慢，可以从下面的链接中获取 https://pan.baidu.com/s/1HNgVRrCdYEuqLwug5kBJ...

2018-07-12 15:33:17 990

原创 tensorflow中gradients基本用法

import tensorflow as tf"""在反向传播过程中，神经网络需要对 loss 对应的学习参数求偏导(也叫梯度)，该值用来乘以学习率然后更新学习参数使用的。它是通过 tf.gradients 函数来实现的 """weight = tf.Variable([[1, 2]])y = tf.matmul(weight, [[9], [10]])"""第一个参数：求导公式...

2018-07-12 14:37:19 2054

原创卷积神经网络二

反卷积神经网络中的反卷积是指，通过测量输出和已知输入重构未知输入的过程，其并不具备学习能力，仅仅是用于可视化一个已经训练好的卷积神经网络模型，没有学习的过程。看一下VGG-16反卷积神经网络的结构，VGG-16是一个深度神经网络模型，其反卷积过程就是将中间数据，按照前面卷积，池化等变化过程，完全相反的做一遍，从而得到类似原输入的数据。反卷积的原理反卷积可以理解为...

2018-07-12 14:33:29 592

原创卷积神经网络一

卷积神经网络是深度学习中最经典的模型之一。它可以解决全连接网络中参数过多的问题，它可以使用很少的权重参数达到全连接网络实现不了的效果。下面我们通过简单的计算，看一看全连接网络的带来的问题。假设在对MNIST数据集(28x28)进行训练时，使用的网络有两个隐藏层，每层256个节点，输出层10个节点。则训练中所需参数： (权重w参数 28*28*256+256*256+256*...

2018-07-12 13:31:07 866

原创过拟合、欠拟合

过拟合(over-fitting): 其实就是所建的机器学习模型或者是深度学习模型在训练样本中表现得过于优越，导致在验证数据集以及测试数据集中表现不佳。举个例子：假设有一个看照片识别物种的模型，训练时，你把你的大量照片输入进去进行训练。然后测试时，当输入你的照片，无论什么姿势什么造型，模型都能准确识别，咦，这是个人。当你把好朋友的照片输进去，满心等待输出人时，结果很意外，输出的不是个人。这种情况...

2018-07-06 15:09:33 680

原创 tensorflow中的梯度下降函数

tensorflow中的梯度下降函数如下：在训练过程中先实例化一个优化函数如tf.train.GradientDescentOptimizer，并基于一定的学习率进行梯度优化训练。 optimizer = tf.train.GradientDescentOptimizer(learning_rate) 接着使用一个minimize...

2018-07-06 14:16:18 1125

原创 tensorflow中常见的loss函数

损失函数(loss/cost)用于描述模型预测值与真实值的差距大小. 一般常见的有两种算法----均值平方差(MSE) 和交叉熵。参考：https://blog.csdn.net/qq_42413820/article/details/809360921）均值平方差在tensorflow中没有独立的MSE函数，不过可以自己组合： MSE = ...

2018-07-06 13:47:22 15008

原创 softmax

softmax基本上可以算作是分类任务的标配。那么什么是softmax呢？对于一些激活函数，例如：sigmoid，tanh，relu等，其输出值只有两种(0、1，-1、1，或0、x)，他们对于解决二分类问题比较不错。那么对于多分类的问题怎么解决方便呢？这时就需要使用 softmax。 softmax看到名字差不多就能猜出它是选取输出结果中的最大值进行分类的，输出值所代表的意义就...

2018-07-06 13:22:06 1768

原创单个神经元

先来看一下单个神经元网络模型：其中 xi 表示输入，wi 和 b 表示参数。图中下方的公式是 1 函数的模型，嗯，就是一个线性模型。那么就这么一个简单的线性模型怎么仿真出人类神经元那么复杂的玩意儿呢？一个线性模型当然满足不了，这不就有了函数 2。函数 2 这类的函数我们常称之为激活函数或者激励函数。那么有人又问了你怎么知道图中那一大堆 wi 和 b 参数到底取值是什么，别急，网络模型...

2018-07-06 11:31:42 5876

原创识别手写数字

识别手写数字的数据集是mnist。以下内容复制粘贴在py文件中，可以直接运行。import tensorflow as tffrom tensorflow.examples.tutorials.mnist import input_dataimport pylab'''自动下载 mnist 数据集并解压到 mnist_data 目录下如果程序下载慢，就上网把数据集下载下来，放到 mnist_dat...

2018-07-04 13:08:52 344

原创分布式TensorFlow

在大型的数据集上进行神经网络训练，往往需要更大的运算资源, 而且需要耗费的时间也是很久的。因此TensorFlow提供了一个可以分布式部署的模式，将一个训练任务拆成若干个小任务，分配到不同的计算机来完成协同运算，这样可以节省大量的时间。我们先看一下简单情况下的训练模式：1）单CPU单GPU 这种情况就是最简单的，对于这种情况，可以把参数和计算都定义再gpu上，不过如果参数模...

2018-07-04 09:35:17 298