- 博客(28)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 SEnet实战 -- 垃圾分类
有一个文件夹data，下面一个train文件夹，再下面有6个子文件夹，文件夹名称分别是每种垃圾图片的类别，每个类别下面有该类垃圾的图片。数据预处理过程比较简单，只进行了大小的调整，全部缩放到224x224。采用SEnet网络训练进行分类，加注意力机制后准确率会稍高一些。（还可以增加的常规的数据增强操作，如翻转、裁剪等）SEnet：resnet18+通道域注意力。SE层结构如下，暂时不讲注意力机制。训练文件train.py代码如下。训练集占70%，测试集占30%
2020-04-26 18:13:45
1300
4
原创 深度学习 --- 优化
1、学习和纯优化有什么不同机器学习通常是间接作用的。在大多数机器学习问题中，我们关注某些性能度量P，其定义于测试集上并且可能是不可解的。因此，我们只是间接地优化P。我们希望通过降低代价函数 J(θ) 来提高P。纯优化最小化目标 J 本身。通常，代价函数可写为训练集上的平均，如更希望最小化取自数据生成分布pdata 的期望，而不仅仅是有限训练集上的对应目标函数：经验...
2020-04-13 12:21:41
348
原创 深度学习 --- 正则化
有许多正则化策略。有些策略向机器学习模型添加限制参数值的额外约束。有些策略向目标函数增加额外项来对参数值进行软约束有时候，这些约束和惩罚被设计为编码特定类型的先验知识；其他时候，这些约束和惩罚被设计为偏好简单模型，以便提高泛化能力。有时，惩罚和和约束对于确定欠定的问题是必要的其他形式的正则化，如被称为集成的方法，则结合多个假说来解释训练数据估计的正则化以偏差的增加...
2020-04-13 12:21:28
891
原创 深度学习 --- 神经网络基础
1、深度前馈网络深度前馈网络，也叫前馈神经网络，或者多层感知机（MLP）前馈网络的目标是近似某个函数f*。前馈网络定义了一个映射y=f(x;θ)，并且学习参数θ的值，使它能够得到最佳的函数近似。前馈神经网络通常用不同函数复合在一起来表示。该模型与一个有向无环图相关联，而图描述了函数是如何复合在一起的。整流线性激活函数2、基于梯度的学习神经网络的非线性导致大多...
2020-04-13 12:20:57
677
原创 机器学习应用（1）
利用boston数据集，对数据标准化后进行回归，并进行多模型对比。代码如下：import pandas as pdimport numpy as npfrom sklearn.datasets import load_bostonfrom sklearn.model_selection import train_test_splitfrom sklearn.preprocessing ...
2020-04-12 17:33:31
131
原创 深度学习 - 深度学习的数据表示
深度学习的数据表示张量是一个数据容器。它包含的数据几乎总是数值数据，因此它是数字的容器。矩阵是二维张量。张量是矩阵向任意维度的推广。张量的维度通常叫作轴标量（0D 张量）：仅包含一个数字的张量叫作标量（scalar，也叫标量张量、零维张量、0D 张量）向量（1D 张量）：数字组成的数组叫作向量（vector）或一维张量（1D 张量）。一维张量只有一个轴。矩阵（2D 张量）：向量组成的数组...
2020-04-12 11:04:34
630
原创 深度学习 --- 应用数学和机器学习基础（机器学习基础）
1、学习算法任务列举如下分类：计算机程序需要指定某些输入属于k类中的哪一类输入缺失分类：当一些输入可能丢失时，学习算法必须学习一组函数。有效定义这样一个大集合函数的方法是学习所有相关变量的概率分布，然后通过边缘化缺失变量来解决分类任务。计算机程序仅需学习一个描述联合概率分布的函数回归：对给定输入预测数值转录：机器学习系统观测一些相对非结构化表示的数据，并转录信息为离散的文本形式...
2020-04-12 09:42:25
1150
原创 深度学习 --- 应用数学和机器学习基础（数值计算）
机器学习算法通常需要大量的数值计算。这通常指通过迭代过程更新解得估计值来解决数学问题的算法，而不是通过解析过程推导出公式来提供正确解的方法。常见的操作包括优化和线性方程组的求解。1、上溢和下溢连续数学在数字计算机上的根本困难是，我们需要通过有限数量的位模式来表示无限多的实数。这意味着我们在计算机中表示实数时，几乎总会引入一些近似误差。在许多情况下，这仅仅是舍入误差。舍入误差会导致一些问题，...
2020-04-12 09:30:10
866
原创 深度学习 --- 应用数学和机器学习基础（概率论与信息论）
一、概率论概率论是用于表示不确定性声明的数学框架。它不仅提供了量化不确定性的方法，也提供了用于导出新的不确定性声明的公理。概率论两种用途：首先，概率法则告诉我们AI系统如何推理，据此我们设计一些算法来计算或者估算由概率论导出的表达式；其次，可以用概率和统计从理论上分析我们提出的AI系统的行为。概率论使我们能够提出不确定性的声明以及在不确定性存在的情况下进行推理，而信息论使我们能够量化概...
2020-04-12 09:18:07
424
原创 深度学习 --- 应用数学和机器学习基础（线性代数）
1、线性相关和生成子空间对于线性方程组：Ax=b，如果逆矩阵 存在，那么对每一个向量b恰好存在一个解。但是，对于方程组而言，对于向量b的某些值，有可能不存在解或者存在无限多解。为了分析方程有多少个解，我们可以将A的列向量看作从原点出发的不同方向，确定有多少种方法可以到达向量b。在这个观点下，向量x中的每个元素表示我们应该沿着这些方向走多远，即xi表示我们需要沿着第i个向量的方向走多远。一般...
2020-04-12 09:08:29
485
原创 《python机器学习及实践_从零开始通往kaggle竞赛之路》——读书笔记
一、简介1、什么是机器学习AprogramcanbesaidtolearnfromexperienceEwithrespecttosomeclassoftasksTandperformancemeasureP,ifitsperformanceattasksinT,asmeasuredbyP,improveswithexperienceE.2、机器学习三要素...
2020-04-12 08:52:14
554
原创 机器学习（15） -- 规则学习
15.1 基本概念机器学习中的“规则”通常指语义明确、能描述数据分布所隐含的客观规律或领域概念、可写成“若……，则……”形式的逻辑规则。规则学习是从训练数据中学习出一组能用于对 未见示例进行判别的规则。规则学习具有更好的解释性。集合中每条规则都可看作一个子模型，规则集合是这些子模型的一个集成规则覆盖：符合该规则的样本称为被该规则“覆盖”。“冲突”：当同一个示例被判别结...
2020-04-12 08:51:52
1089
原创 机器学习（14） -- 概率图模型
14.1 隐马尔可夫模型机器学习最重要的任务，是根据一些已观察到的证据（如训练样本）来对感兴趣的未知变量（如类别标记）进行估计和推测。概率模型提供了一种描述框架，将学习任务归结于计算变量的概率分布。在概率模型中，利用已知变量推测未知变量的分布称为“推断”，其核心是如何基于可观测变量推测出未知变量的条件分布。Y：所关心的变量集合O：可观测变量集合R：其他变量集合“生成式”模型考虑...
2020-04-12 08:51:43
627
原创 机器学习（13） -- 半监督学习
13.1 未标记样本让学习器不依赖外界交互、自动地利用未标记样本来提升学习性能，就是半监督学习要利用未标记样本，必然要做一些将未标记样本所揭示的数据分布信息与类别标记相联系的假设，最常见的是“聚类假设”，即假设数据存在簇结构，同一个簇的样本属于同一类别。另一种常见假设是“流形假设”，即假设数据分布在一个流形结构上，邻近的样本具有相似的输出值。“邻近”程度常用“相似”程度来刻画，因此流形假设...
2020-04-12 08:51:33
603
原创 机器学习（12） -- 计算学习理论
12.1 基础知识12.1 基础知识计算学习理论研究的是关于通过“计算”来进行“学习”的理论，即关于机器学习的理论基础，目的是分析学习任务的困难本质，为学习算法提供理论保证，并根据分析结果指导算法设计样例集 ，, ，所有样本 i.i.d. ，h为X到Y的映射（下面公式中的D是所有样本服从的一个未知分布D）泛化误差：，简记为，≤ε，ε表示预先设定的学得模型所应满足的误差要求，...
2020-04-12 08:51:21
466
原创 机器学习（11） -- 特征选择与稀疏学习
11.1 子集搜索与评价特征选择：从给定的特征集中选择出相关特征子集的过程。特征选择过程必须确保不丢失重要特征。处理高维数据两大主流技术：降维，特征选择无关特征：与当前学习任务无关冗余特征：它们所包含的特征能从其他特征中推演出来。有时候不起作用，去除减轻学习负担；有时候会降低学习任务的难度。若某冗余特征恰好对应了完成学习任务所需的“中间概念”，则该冗余特征是有益的子集搜索...
2020-04-12 08:50:58
752
原创 论文阅读（1） —— Character Region Awareness for Text Detection
一、Introduction（这部分可忽略，暂时为保留完整性写下来。）深度学习出现之前，场景文本检测是采用自底而上的方法，大多使用人工特征，比如MSER or SWT 作为基本成分。而基于深度学习的文本检测提出采用目标检测或实例分割的方法，比如SSD，Faster R-CNN，FCN基于回归的文本检测：和一般物体不同，文本形状不规则，长宽比不同为了解决这个问题，TextBoxes改变卷...
2020-04-11 23:02:39
424
原创 手写PCA -- 人脸重建
纯手写，有助于深入理解PCA'''数据描述：X 大小：m×n ---n个m维样本每一列是一个样本'''import osimport globimport cv2import numpy as np# 设置文件路径os.getcwd()os.chdir('C:/Users/h/Desktop/ML/ORL')os.getcwd()# 读取图像# path...
2020-04-11 15:34:54
446
原创 机器学习（10） -- 降维与度量学习
10.1 k近邻学习懒惰学习：在训练阶段仅仅把样本保存起来，训练时间开销为零，待收到测试样本后再进行处理；急切学习：在训练阶段就对样本进行学习处理的方法。最近邻分类器的泛化错误率不超过贝叶斯最优分类器的错误率的两倍给定样本x，其最近邻样本为z，则最近邻分类器出错的概率：假设样本独立同分布，且对任意x和任意小正数δ，在x附近δ范围内总能找到一个训练样本。于是得证...
2020-04-11 14:54:30
707
原创 机器学习（9） -- 聚类
9.1 聚类任务聚类试图将数据集中的样本划分为若干个通常不想交的子集，每个子集称为一个簇。9.2 性能度量聚类性能度量大致两类：外部指标、内部指标外部指标：将聚类结果与某个“参考模型”进行比较内部指标：考察聚类结果 而不利用任何参考模型外部指标：聚类给出的簇划分：参考模型给出的簇划分：相应的簇标记向量为λ，λ*SS包含了在C中隶属于相同簇且...
2020-04-11 14:48:06
408
原创 机器学习（8） -- 集成学习
8.1 个体与集成集成学习通过构建并结合多个学习器来完成学习任务，有时也被称为多分类器系统，基于委员会的学习等。同质集成，只包含同种类型的个体学习器，同质集成的个体学习器亦称“基学习器”，相应的学习算法为“基学习算法”异质集成，包含不同类型的个体学习器，异质集成中的个体学习器由不同的学习算法生成，这时就不再有基学习算法，个体学习器常称为“组件学习器”，或直接称为个体学习器弱学习器：...
2020-04-11 14:38:46
706
原创 机器学习（7） -- 贝叶斯分类器
7.1 贝叶斯决策论贝叶斯决策论是概率框架下实施决策的基本方法。对分类任务来说，在所有相关概率都已知的理想情形下，贝叶斯决策论考虑如何基于这些概率和误判损失来选择最优类别标记。把样本x分类为ci，在样本x上的“条件风险”：总体风险贝叶斯判定准则：最小化总体风险，只需在每个样本上选择那个能使条件风险R(c|x)最小的类别标记h*称为贝叶斯最优分类器，与之对应的总...
2020-04-11 14:31:26
719
原创 机器学习（6） -- 支持向量机
6.1 间隔与支持向量优化即6.2 对偶问题对上式使用拉格朗日乘子法可得其对偶问题分别对我w,b求偏导代入L（w,b,α），消去w,b，即得----------1式求解α，代入模型上述过程满足KKT条件：这个是拉格朗日乘子约束条件这个是拉格朗日乘子求解1式，SMO算法SMO算法基本思路是先固定之外的所有参...
2020-04-11 14:24:29
381
原创 机器学习（5） -- 神经网络
5.1 神经元模型神经网络是由具有适应性的简单单元组成的广泛并行互联的网络，最基本的成分是神经元模型。M-P神经元模型如下：从计算机科学角度看，将神经网络视为包含了许多参数的数学模型，这个模型是若干函数，例如 相互嵌套而得。5.2 感知机与多层网络感知机由两层神经元组成，输出层是M-P 神经元，亦称“阈值逻辑单元”感知机能实现与、或、非运算，与、或、非问题是线性可分问题...
2020-04-11 14:07:13
298
原创 机器学习（4） -- 决策树
4.1 基本流程一般，一个决策树包含根节点、若干内部节点和若干叶节点；叶节点对应于决策结果，其他每个节点则对应于一个属性测试；每个节点包含的样本集合根据属性测试的结果被划分到子结点中；根节点包含样本全集。从根节点到每个叶结点的路径对应了一个判定测试序列决策树生成是一个递归过程，三种情形导致递归返回1）当前结点包含的样本全属于同一类别，无需划分。2）当前属性集为空，或所有样本在所有属...
2020-04-11 14:00:30
598
原创 机器学习（3） -- 线性模型
3.1 基本形式w直观表达了各属性在预测中的重要性，因此线性模型有很好的解释性3.2 线性回归对离散属性，若属性值之间存在“序”关系，可通过连续化将其转化为连续值，如高矮可转换为{1,0}，高中低可转化为{1,0.5,0}；若属性之间不存在序关系，假设有K个属性值，则通常转化为k维向量，如西瓜、 南瓜、黄瓜可转化为（0,0,1），（0,1,0），（1,0,0）均...
2020-04-11 13:52:44
282
原创 机器学习（2） -- 模型评估与选择
2.1 经验误差与过拟合错误率：分类错误的样本数占总样本数的比例精度 = 1 - 错误率误差：学习器的实际预测输出与样本的真实输出之间的“差异”学习器在训练集上的误差称为“训练误差”或“经验误差”在新样本上的误差称为“泛化误差”当学习器把训练样本学得太好的时候，很可能把训练样本自身的一些特点当作了所有潜在样本都会具有的一般性质，会导致泛化性能下降，即过拟合，...
2020-04-11 13:45:20
338
原创 机器学习（1） -- 绪论
1.1 引言机器学习：研究如何通过计算的手段，利用经验来改善系统自身地性能。“经验”以数据的形式存在计算机科学：研究关于“算法”的学问机器学习： 研究关于“学习算法”的学问模型：泛指从数据中学得的结果1.2 基本术语：， ， 表示包含了m个示例的数据集，每个示例是d维空间Χ的一个向量，d是维数数据集：一组记录的集合，亦称一个“样本”，因为可看作对样本空间的采样；其中每条记录是关于...
2020-04-11 13:25:13
389
1
Detection Hub-Unifying Object Detection Datasets via Query Adapt
2023-11-10
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人