- 博客(167)
- 资源 (7)
- 收藏
- 关注
RSS订阅原创 TensorRT 系列 -转化问题中遇到的问题记录
网络的输出一直有问题，比如输出值一直是1.7515477e+37这种极大的数这个问题我一开始也不确定是什么问题，最后是在将图片数据格式转为np.float32解决的。
2022-05-19 15:18:08
326
原创 集成学习-Boosting
Boosting主要思想是通过多个模型去学习同一个数据集，从而得到多个简单的弱分类器模型，最后将这些模型组成一个性能十分强大的机器学习模型。Valiant 和Kearns提出“弱可学习”和“强可学习”的概念。同时，Schapire证明出，强可学习和弱可学习是等价的。也就是一个概念可强学习的充分必要条件是这个概念可弱学习。弱学习：识别错误率小于1/2（即准确率仅比随机猜测略高的学习算法）强学习：识别准确率很高并能在多项式时间内完成的学习算法大多数的boosting算法通过改变训练集的概率分布或者权
2021-08-29 23:46:39
207
原创 集成学习-stacking
Stacking集成算法是一个两层模型的集成，第一层含有多个基础分类器，把预测的结果（元特征）提供给第二层，而第二层的分类器通常是逻辑回归，将第一层分类器的结果当作特征做拟合输出预测结果。1、Blending集成学习算法Blending集成学习的流程：(1)将数据划分为训练集和测试集（test set)，其中训练集需要再次划分为训练集（train set)和验证集(val set).(2)创建第一层的多个模型，这些模型可以是同质或者异质。(3)使用 train set训练步骤2中的多个模型，然后
2021-08-26 21:59:38
419
原创 集成学习-bagging
1、什么是bootstrap？在统计学中，Bootstrap从原始数据中抽取子集，然后分别求取各个子集的统计特征，最终将统计特征合并。每个子集的构成都是通过重采样（即又放回的）抽取生成的。2、bagging与bootstrap的区别？bootstrap是统计学上估计总体的统计特征的方法。而bagging的核心思路就是bootstrap。bagging对训练集有放回的取k个样本，组成一个子样本集合，重复这样的过程T次，得到T个大小为K的子样本集合。然后针对T个样本集合训练T个学习器，将最后得到的T个结果
2021-08-24 23:49:55
186
原创 集成学习-方差与偏差
1、偏差，方差？偏差是用训练数据集训练出的模型的输出的平均值与真实模型的输出值之间的差异。2、 偏差，方差，误差之间的关系？Error = Bias + Variance + Noise4、方差是岭回归与lasso回归的异同点？个人觉得岭回归和lasso回归都可以降低模型的复杂度，但是lasso回归由于只能在坐标轴上取值，所以其优化结果不如岭回归。5、降维前三维椭球，降维后是？降维后是二维的球形。主要是PCA降维主要是通过选取主要特征向量，能够很好进行降维。...
2021-08-22 23:06:20
126
原创 集成学习-基础数学模型回归
参考链接作业详情链接参考学习的教案链接1、最小二乘法的表达式：假设研究的问题有n个样本。X=(x1,x2,...,xn)TX=(x_1,x_2,...,x_n)^TX=(x1,x2,...,xn)TY=(y1,y2,...,yn)TY=(y_1,y_2,...,y_n)^TY=(y1,y2,...,yn)TL(W)=12(XW−Y)T(XW−Y)L(W)=\frac{1}{2}(XW-Y)^T(XW-Y)L(W)=21(XW−Y)T(XW−Y)2、极大似然估计和最小二乘法的关系
2021-08-19 23:44:56
96
原创 集成学习-数学基础
作业打卡研究Rosenbrock函数，其定义为f=(x1−a)2+(x2−x12)2f = (x_1-a)^{2} +(x_2-x_1^2)^2f=(x1−a)2+(x2−x12)2问题一：a,b的选择会对函数的凹凸性会产生很大的变化，但是函数的大体形状不变。问题二：求解最优解采用的最速下降法，初始点为(1,1).import numpy as npimport matplotlib.pyplot as pltdef f(x1,x2,a,b): return (a-x1)**2
2021-08-17 23:10:51
103
转载 Datawhale-python自动化办公-task04-pdf操作
批量拆分pdf将一个完整的 PDF 拆分成几个小的 PDF，因为主要涉及到 PDF 整体的操作，所以本小节需要用到 PyPDF2 这个库拆分的大概思路如下：读取 PDF 的整体信息、总页数等遍历每一页内容，以每个 step 为间隔将 PDF 存成每一个小的文件块将小的文件块重新保存为新的 PDF 文件需要注意的是，在拆分的过程中，可以手动设置间隔，例如：每5页保存成一个小的 PDF 文件def split_pdf(filename, filepath, save_dirpath, step=5
2021-06-23 23:32:34
115
转载 Datawhale-Python自动化办公-taks03-word操作
初识docx# 导入库from docx import Document# 新建空白文档doc_1 = Document()# 添加标题（0相当于文章的题目，默认级别是1，级别范围为0-9）doc_1.add_heading('新建空白文档标题，级别为0',level = 0)doc_1.add_heading('新建空白文档标题，级别为1',level = 1)doc_1.add_heading('新建空白文档标题，级别为2',level = 2)# 新增段落paragraph_
2021-06-20 23:20:32
98
转载 Datawhale-Python自动化办公-taks02-excel操作
Excel读取1、打开已经存在的Excel表格from openpyxl import load_workbookexl = load_workbook(filename = '20190823.xlsx')print(exl.sheetnames)2、根据名称获取表格sheet = exl['今全单'] # 获取表格print(sheet.dimensions) # 获取该 表格的维度3、读取某个单元格的具体内容cell = sheet.cell(row=1,column=2
2021-06-18 13:16:51
77
原创 Latex语法-配置定理类的学习
最近由于科研需要，开始学习Latex的使用，写的时候发现网上的博客质量不大行。所以自己做一个详细的记录。自己是个初学者，有什么不正确的地方，还希望大家指出，我会及时修正的。定义一个环境\newtheorem{环境名1}{名称1}[section]环境名：标识这个环境的关键字（用于编程）,类似于你的身份证一样，唯一的。名称：在文档中打印出来的名称。类似于你的姓名。section：定理编号依赖于某个章节层次（比如：定理1.1）如果你希望两个环境共用一个计数器的话，可以直接定义\newtheor
2021-03-07 17:21:57
1006
原创 异常检测-高维异常
1、引言在实际场景中，很多数据集都是多维度的。随着维度的增加，数据空间的大小（体积）会以指数级别增长，使数据变得稀疏，这便是维度诅咒的难题。维度诅咒不止给异常检测带来了挑战，对距离的计算，聚类都带来了难题。例如基于邻近度的方法是在所有维度使用距离函数来定义局部性，但是，在高维空间中，所有点对的距离几乎都是相等的（距离集中），这使得一些基于距离的方法失效。在高维场景下，一个常用的方法是子空间方法。集成是子空间思想中常用的方法之一，可以有效提高数据挖掘算法精度。集成方法将多个算法或多个基检测器的输出结合起来
2021-01-24 23:29:58
204
原创 异常检测-基于相似度的方法
1、概述异常点，是一个数据对象，它显著不同于其他数据对象，与其他数据的分布较为显著的不同。而噪声数据是指被测量变量的随机误差或方差。一般而言，噪声在数据预处理中剔除的，减少对后续模型预估的影响，增加精度。异常点由于其分布不同其他数据的分布，所以需要对其进行检测。在基于相似度的方法中，主要思想是异常点的表现和正常点不同。2、基于距离的度量 基于距离的方法是一种常见的适用于各种数据域的异常检测算法，它基于最近邻距离来定义异常值。 此类方法不仅适用于多维数值数据，在其他许多领域，
2021-01-21 21:36:12
251
原创 异常检测-基于统计学的方法
1、概述统计学方法对数据的正常性做出假定。它们假定正常的数据对象由一个统计模型产生，而不遵守该模型的数据是异常点。统计学方法的有效性高度依赖于对给定数据所做的统计模型假定是否成立。异常检测的统计学方法的一般思想是：学习一个拟合给定数据集的生成模型，然后识别该模型低概率区域中的对象，把它们作为异常点。即利用统计学方法建立一个模型，然后考虑对象有多大可能符合该模型。根据如何指定和学习模型，异常检测的统计学方法可以划分为两个主要类型：参数方法和非参数方法。参数方法假定正常的数据对象被一个以Θ\Theta
2021-01-16 00:46:14
358
原创 异常检测-线性模型
1、2、数据可视化3、线性回归3.1、基于自变量与因变量的线性回归3.1.1、最小二乘法为了简单起见，这里我们一元线性回归为例:Y=∑i=1dai⋅Xi+ad+1Y=\sum_{i=1}^{d} a_{i} \cdot X_{i}+a_{d+1}Y=i=1∑dai⋅Xi+ad+1变量Y为因变量，也就是我们要预测的值；X1...XdX_{1}...X_{d}X1...Xd为一系列因变量，也就是输入值。系数a1...ad+1a_{1}...a_{d+1}a1...ad+1为要学习的
2021-01-15 23:55:30
305
原创 异常检测-概述
1、异常检测异常检测（Outlier Detection）是指识别出与正常数据不同的数据，与预期行为差异大的数据。这类数据往往是少数的。1.1、异常的类别点异常指少数个体实例异常，大多数个体实例正常，例如正常人和病人的健康数据指标上下文异常指的是在特定情境下个体实例是异常的，在其他情境下都是正常的，例如在特定时间下的温度突然上升或下降，在特定场景中的快速信用卡交易群体异常指的是在群体集合中的个体实例出现异常的情况，而该个体实例自身可能不是异常，例如社交网络中虚假账
2021-01-12 21:56:50
643
原创 Reinforcement learning DDPG 算法
DDPG起源对于这些连续的动作控制空间，Q-learning、DQN 等算法是没有办法处理的。在上面这个离散动作的场景下，比如说我输出上下或是停止这几个动作。有几个动作，神经网络就输出几个概率值，我们用 πθ(at∣st)\pi_\theta(a_t|s_t)πθ(at∣st)来表示这个随机性的策略。在连续的动作场景下，比如说我要输出这个机器人手臂弯曲的角度，这样子的一个动作，我们就输出一个具体的浮点数。我们用 μθ(st)\mu_{\theta}(s_t)μθ(st)来代表这个确定性的策略
2020-11-06 20:57:17
483
1
原创 reinforcement learning 稀疏奖励与模仿学习
稀疏矩阵实际上 agent进行学习的时候，多数的时候 是没有办法得到 reward 的。那在没有办法得到 reward 的情况下，训练 agent 是非常困难的。举例来说，假设你要训练一个机器手臂使用螺丝起子把螺丝钉栓进去，因为你知道一开始 agent 是什么都不知道的，它唯一能够做不同的 action 的原因是 exploration。只有随机到，它把螺丝起子捡起来，再把螺丝栓进去，然后就会得到 reward 1，但是这件事情很难发生。所以，不管你的 actor 做了什么事情，它得到 reward 永远
2020-11-05 20:46:21
510
2
原创 Reinforcement Learning DQN 算法及 Actor-Critic 算法
1、Actor-Critic在 Actor-Critic 里面，最知名的方法就是 A3C(Asynchronous Advantage Actor-Critic)。如果去掉前面这个 Asynchronous，只有 Advantage Actor-Critic，就叫做 A2C。如果前面加了 Asynchronous，变成 Asynchronous Advantage Actor-Critic，就变成 A3C。那我们复习一下 policy gradient，在 policy gradient，我们在 up
2020-11-04 09:50:10
607
原创 Reinforcement Learning - 策略梯度和近端策略优化（PPO)
策略梯度（Policy Gradient）在 reinforcement learning 中有 3 个components，actor，environment，reward function。举例子说明让机器玩 video game 时，actor 做的事情就是去操控游戏的摇杆， 比如说向左、向右、开火等操作；environment 就是游戏的主机， 负责控制游戏的画面负责控制说，怪物要怎么移动， 你现在要看到什么画面等等；reward function 就是当你做什么事情，发生什么状况的
2020-10-27 21:50:29
1168
原创 reinforcement learning MDP与表格型方法
MDPMarkov Process** 马尔可夫性质：**下一个状态只与当前状态有关即未来的状态和过去的状态是独立，只和现在有关。马尔可夫性质是所有马尔可夫过程的基础。Markov chain根据图片的例子：从s1s_1s1开始：s1s_1s1有 0.1 的概率继续存活在s1s_1s1有 0.2 的概率转移到s2s_2s2有 0.7 的概率转移到s4s_4s4其实，上述的状态转移过程，我们可以使用状态转移矩阵来描述。Markov Reward Process（MRP)
2020-10-23 21:38:26
162
原创 reinforcement learning - 基础概述
强化学习讨论的问题是一个智能体（agent）怎么在一个复杂不确定的环境（environment)中取得奖励的最大值。强化学习研究的问题是 agent 跟环境交互，上图左边画的是一个 agent，agent 一直在跟环境进行交互。这个 agent 把它输出的动作给环境，环境取得这个动作过后，会进行到下一步，然后会把下一步的观测跟它上一步是否得到奖励返还给 agent。通过这样的交互过程会产生很多观测，agent 就是为了从这些观测之中学到能极大化奖励的策略。1、强化学习与监督学习的区别区别强
2020-10-20 20:49:30
1098
原创 随机打乱word文档的题目 python
整体思路是设计一个寻找题目的函数先找到一个题目，在将这个题目随机插入到另一个题目之前由于整体题目的格式还是比较单一的，所以该任务并不复杂。涉及的知识点：insert（），re模块，正则匹配公式，docx模块from docx import Documentimport reimport randomdef find(row,l): """ :param row: 随机生成的 :param l: 存储内容的数组 :return: 挖出的题目数组 "
2020-10-19 11:25:20
1043
转载 Datawhale 零基础入门CV - Task 05 模型集成
Datawhale 零基础入门CV赛事-Task5 模型集成在上一章我们学习了如何构建验证集，如何训练和验证。本章作为本次赛题学习的最后一章，将会讲解如何使用集成学习提高预测精度。5 模型集成本章讲解的知识点包括：集成学习方法、深度学习中的集成学习和结果后处理思路。5.1 学习目标学习集成学习方法以及交叉验证情况下的模型集成学会使用深度学习模型的集成学习5.2 集成学习方法在机器学习中的集成学习可以在一定程度上提高预测精度，常见的集成学习方法有Stacking、Bagging和Boost
2020-06-02 23:37:00
104
原创 Datawhale 零基础入门CV - Task 04 模型训练与验证
Datawhale 零基础入门CV赛事-Task4 模型训练与验证在上一章节我们构建了一个简单的CNN进行训练，并可视化了训练过程中的误差损失和第一个字符预测准确率，但这些还远远不够。一个成熟合格的深度学习训练流程至少具备以下功能：在训练集上进行训练，并在验证集上进行验证；模型可以保存最优的权重，并读取权重；记录下训练集和验证集的精度，便于调参。4 模型训练与验证为此本章将从构建验证集、模型训练和验证、模型保存与加载和模型调参几个部分讲解，在部分小节中将会结合Pytorch代码进行讲解。4
2020-05-30 23:07:44
230
原创 Datawhale 零基础入门CV - Task 03 字符识别模型
Datawhale 零基础入门CV赛事-Task3 字符识别模型在前面的章节，我们讲解了赛题的背景知识和赛题数据的读取。本章开始构建一个字符识别模型，基于对赛题理解本章将构建一个定长多字符分类模型。3 字符识别模型本章将会讲解卷积神经网络（Convolutional Neural Network, CNN）的常见层，并从头搭建一个字符识别模型。3.1 学习目标学习CNN基础和原理使用Pytorch框架构建CNN模型，并完成训练3.2 CNN介绍卷积神经网络（简称CNN）是一类特殊的人工神
2020-05-26 22:46:51
142
原创 Datawhale 零基础入门CV - Task 02 数据读取与数据扩增
Task2 数据读取与数据扩增2 数据读取与数据扩增本章主要内容为数据读取、数据扩增方法和Pytorch读取赛题数据三个部分组成。2.1 学习目标学习Python和Pytorch中图像读取学会扩增方法和Pytorch读取赛题数据2.2 图像读取由于赛题数据是图像数据，赛题的任务是识别图像中的字符。因此我们首先需要完成对数据的读取操作，在Python中有很多库可以完成数据读取的操作，比较常见的有Pillow和OpenCV。2.2.1 PillowPillow是Python图像处理函式库(
2020-05-23 23:36:16
140
原创 Datawhale 零基础入门CV - Task 01 赛题理解
1 赛题理解赛题名称：零基础入门CV之街道字符识别赛题目标：通过这道赛题可以引导大家走入计算机视觉的世界，主要针对竞赛选手上手视觉赛题，提高对数据建模能力。赛题任务：赛题以计算机视觉中字符识别为背景，要求选手预测街道字符编码，这是一个典型的字符识别问题。为了简化赛题难度，赛题数据采用公开数据集SVHN，因此大家可以选择很多相应的paper作为思路参考。1.1 学习目标理解赛题背景和赛题数据完成赛题报名和数据下载，理解赛题的解题思路1.2 赛题数据赛题以街道字符为为赛题数据，数据集报
2020-05-20 22:11:06
112
原创 java-LinkedList用法
构造方法构造方法LinkedList()构造一个空列表。LinkedList(Collection<? extends E> c) )构造一个包含指定 collection 中的元素的列表，这些元素按其 collection 的迭代器返回的顺序排列。package first_package;import java.util.*;public class test_linklist { public static void main(String[..
2020-05-16 11:32:36
225
原创 pyinstaller 遇到的问题
问题一：failed to execute script pyi_rth_pkgres解决方法：pip uninstall pyinstallerpip install https://github.com/pyinstaller/pyinstaller/archive/develop.zip问题二：“failed to execute script xxx”这里的xxx是你的文件名解决方法：将源码涉及的资源配置文件复制到exe文件下...
2020-05-15 21:48:19
260
翻译 Task06 边缘检测
6.1 简介6.1.1 什么是边缘？边缘是图像强度函数快速变化的地方6.1.2 如何检测边缘？为了检测边缘，我们需要检测图像中的不连续性，可以使用导数来检测不连续性。如上图所示，上图的第一幅图表示一张数字图片，我们对水平红线处进行求导，便可得到上图二中的关系，可以看到在边缘处有着较大的跳变。但是，导数也会受到噪声的影响，因此建议在求导数之前先对图像进行平滑处理（上图三）。但是，导数也...
2020-05-01 23:54:02
346
原创 Task05. 阈值分割——二值化
Datawhale 计算机视觉基础-图像处理（上）-Task05 图像分割/二值化5.1 简介该部分的学习内容是对经典的阈值分割算法进行回顾，图像阈值化分割是一种传统的最常用的图像分割方法，因其实现简单、计算量小、性能较稳定而成为图像分割中最基本和应用最广泛的分割技术。它特别适用于目标和背景占据不同灰度级范围的图像。它不仅可以极大的压缩数据量，而且也大大简化了分析和处理步骤，因此在很多情况下，...
2020-04-29 21:55:59
1061
翻译 Task04 图像滤波
4.1 简介图像的实质是一种二维信号，滤波是信号处理中的一个重要概念。在图像处理中，滤波是一种非常常见的技术，它们的原理非常简单，但是其思想却十分值得借鉴，滤波是很多图像算法的前置步骤或基础，掌握图像滤波对理解卷积神经网络也有一定帮助。4.2 学习目标了解图像滤波的分类和基本概念理解均值滤波/方框滤波、高斯滤波的原理掌握OpenCV框架下滤波API的使用4.4 算法理论...
2020-04-27 23:33:45
177
原创 PyQt5-继承方式创建一个界面
当我们使用desginer设计好了一个界面之后，我们可以直接去实例化界面。if __name__ == '__main__': import sys app = QApplication(sys.argv) ui = QMainWindow() # 实例化一个QMainWindow类 mianwindow = Ui_MainWindow() # 实例化界面的...
2020-04-27 16:53:25
1593
3
翻译 Task03 彩色空间互转
3.1 简介图像彩色空间互转在图像处理中应用非常广泛，而且很多算法只对灰度图有效；另外，相比RGB，其他颜色空间(比如HSV、HSI)更具可分离性和可操作性，所以很多图像算法需要将图像从RGB转为其他颜色空间，所以图像彩色互转是十分重要和关键的。3.2 学习目标了解相关颜色空间的基础知识理解彩色空间互转的理论掌握OpenCV框架下颜色空间互转API的使用3.3 内容介绍1.相关颜...
2020-04-25 23:00:26
136
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人