- 博客(51)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Matlab绘制多组折线图的方法（可直接复制，论文投稿适用）
本文给出Matlab绘制多组数据折线图的代码，可以满足期刊论文发表的绘图要求。
2022-05-24 17:49:42
10361
1
转载 Python语言ACM模式的输入输出格式（转载）
0 前言因为最近需要使用ACM模式进行笔试，就转载了几篇讲ACM模式下输入输出格式的文章，希望对大家也有帮助。1 代码# encoding: utf-8 ''''' Created on Nov 6th, 2014 @author: Speedcell ''' '''''Python的输入是野生字符串，所以要自己转类型 strip去掉左右两端的空白符，返回str slipt把字符串按空白符拆开，返回[str] map把list里面的值映射到指定类型，返回[type]
2021-09-01 11:05:38
2017
1
原创 ELMO，BERT和GPT的原理和应用总结（李宏毅视频课整理和总结）
介绍几种主流的NLP模型，ELMO，BERT，GPT然而这不符合语言学的特点，例如：“太阳就是日”和“我日你大爷”。很明显两个“日”表达的意思并不相同，但是如果使用word2vec做静态embedding，那么神经网络看到的“日”是同样的语意。于是就延伸出带有上下文的embedding(Contextualized word embedding)。这种embeding可以保证同一个字在不同的语境下有不同的embeding。而本文介绍的三个网络都是Contextualized word embedding
2021-08-27 00:47:28
2461
39
原创 Python中list和array切片的简单比较
1 Listpython中list切片的使用非常简洁，但是list不支持二维数组。因为list不是像nampy数组那么规范，没办法直接进行切片操作。2 arrayX[:,0]是numpy中数组的一种写法，表示对一个二维数组，取该二维数组第一维中的所有数据，第二维中取第0个数据，直观来说，X[:,0]就是取所有行的第0个数据, X[:,1] 就是取所有行的第1个数据。X[n,:]是取第1维中下标为n的元素的所有值。X[:, m:n]，即取所有数据的第m到n-1列数据，含左不含右。...
2021-08-24 12:11:29
530
5
原创 Anomaly Detection（异常检测）的原理及最新的技术应用（李宏毅视频课整理和总结）
文章目录0 前言1 Introduction1.1 Problem Formulation1.2 Base Idea2 With Classifier2.1 Base Method2.2 Evaluation2.3 More2.3.1 Possible Issues2.3.2 Network for Confidence Estimation2.3.3 Obtain Anomaly3 Without Labels0 前言本节学习的是Anomaly Detection（异常检测），即让一个系统从数据中学
2021-08-22 00:59:38
3226
68
原创 Auto-encoder（自编码器）的原理及最新的技术应用（李宏毅视频课整理和总结）
文章目录0 前言1 Auto-encoder1.1 PCA1.2 Deep Auto-encoder2 Some Applications2.1 Text Retrieval（文字检索）2.2 Similar Image Search（相似图片搜索）2.3 Pre-training（预训练）3 De-noising Auto-encoder（加噪的自编码器）4 Auto-encoder for CNN4.1 Unpooling（反池化）4.2 Deconvolution（反卷积）4.3 Generate I
2021-08-20 10:22:39
6408
70
原创 MySQL连接查询操作总结和测试代码
文章目录0 前言1 连接查询的定义2 内连接查询3 外连接查询4 联合查询5 外键6 测试代码6.1 创建Database6.2 操作代码0 前言总结了MySQL连接查询操作的相关操作且给出了部分测试代码，大家可以输入到MySQL中进行验证。文章来源于麦子学院king老师的课程内容。我会及时回复评论区的问题，如果觉得本文有帮助欢迎点赞 ????。1 连接查询的定义连接查询是将两个或两个以上的表按某个条件连接起来，从中选取需要的数据。连接查询是同时查询两个或两个以上的表时使用的。当不同的表中存在相同
2021-08-18 00:58:54
1490
12
原创 MySQL查询数据操作(DQL)总结和测试代码
文章目录0 前言1 查询记录2 查询表达式3 WHERE 条件4 GROUP BY查询结果分组5 LIMIT限制查询结果显示条数6 测试代码6.1 创建表6.2 查询操作测试0 前言总结了MySQL数据表的相关操作，建了一些表的样例且给出了部分测试代码，大家可以输入到MySQL中进行验证。我会及时回复评论区的问题，如果觉得本文有帮助欢迎点赞 ????。1 查询记录SELECT select_expr [, select_expr …][FROM table_references[WHERE
2021-08-16 22:01:18
316
1
原创 MySQL数据的基础插入、更新和删除操作总结
文章目录0 前言1 插入数据2 更新和删除数据3 测试代码0 前言总结了MySQL数据表的相关操作，建了一些表的样例且给出了部分测试代码，大家可以输入到MySQL中进行验证。我会及时回复评论区的问题，如果觉得本文有帮助欢迎点赞 ????。1 插入数据不指定具体的字段名INSERT [INTO] tbl_name VALUES|VALUE(值…)列出指定字段INSERT [INTO] tbl_name(字段名称1,…) VALUES|VALUE(值1,…)同时插入多条记录INSERT [I
2021-08-15 23:15:55
1470
2
转载 MySQL数据表相关操作的总结和测试代码
0 前言总结了MySQL数据表的相关操作，建了一些表的样例且给出了部分测试代码，大家可以输入到MySQL中进行验证。我会及时回复评论区的问题，如果觉得本文有帮助欢迎点赞 ????。1 表的定义数据表是数据库最重要的组成部分之一，是其它对象的基础数据表是存储数据的数据结构数据表是包含了特定实体类型的数据数据表由行(row)和列(column)构成的二维网络数据表一定先有表结构，再有数据数据表至少有一列，可以没有行或者多行数据表名称要求唯一，而且不要包含特殊字符2 创建数据表2.1 增删数
2021-08-14 11:49:30
151
4
原创 MySQL中的数据类型总结和测试代码
文章目录0 前言1 数据类型1.1 整数类型1.2 浮点类型1.3 字符串类型1.4 日期时间类型1.5 实例2 测试各种类型的数据2.1 测试整型2.2 无符号UNSIGNED2.3 零填充ZEROFILL2.4 测试浮点类型2.5 测试CHAR和VARCHAR2.6 测试枚举类型2.7 测试集合类型2.8 测试日期时间0 前言总结了MySQL中的数据类型，大家也可以在MySQL中查看帮助手册。并且建了一些表的样例且给出了部分测试代码，大家可以输入到MySQL中进行验证。1 数据类型1.1 整数
2021-08-13 00:25:40
1471
6
原创 深度学习中Transformer的原理和方法（李宏毅视频课笔记）
文章目录0 前言1 RNN to CNN2 Self-Attention2.1 Base Method2.2 Matrix Representation2.3 Multi-head Self-attention2.4 Positional Encoding3 Seq2Seq Based on Self-Attention3.1 Base Method3.2 Transformer4 Attention Visualization0 前言本节学习的是Transformer。Google于2017年6月发
2021-08-10 15:39:44
1681
10
原创 使用Pytorch搭建CNN模型完成食物图片分类（李宏毅视频课2020作业3，附超详细代码讲解）
文章目录0 前言1 任务描述1.1 数据描述1.2 作业提交1.3 数据下载1.3.1 完整数据集1.3.2 部分数据集2 过程讲解2.1 读取数据2.2 数据预处理2.3 模型搭建2.4 模型训练2.4.1 Training2.4.2 Validating2.5 模型测试2.6 运行结果3 完整代码3.1 我的版本3.2 原始版本（需要GPU且安装cuda）0 前言本文利用深度学习框架-Pytorch复现了李宏毅机器学习2020年作业3例程，有问题欢迎在评论区交流，我会及时回复。1 任务描述收集
2021-08-09 00:29:19
5513
20
原创 深度学习Conditional Generation by RNN & Attention的原理和方法（李宏毅视频课笔记）
文章目录0 前言1 Generation1.1 Base Method1.2 Conditional Generation（有条件的生成）1.2.1 Image Caption Generation1.2.2 Machine Translation1.2.3 Chat-bot（聊天机器人）2 Attention2.1 Machine Translation（Attention-based Model）2.2 Speech Recognition2.3 Image Caption Generation（Att
2021-08-07 01:15:58
763
41
原创 深度学习中模型压缩（Network Compression）的几种方法（李宏毅视频课总结）
文章目录0 前言1 Network Pruning（网络剪枝）1.1 Base method1.2 Weight Pruning1.3 Neuron Pruning2 Knowledge Distillation（知识蒸馏）3 Parameter Quantization （参数量化）3.1 Base Method3.2 Binary Weight（二元权值）4 Architecture Design（结构设计）4.1 Low Rank Appropriation4.2 Depthwise Separabl
2021-08-06 00:44:40
3065
转载 Pytorch中使用transforms.ToTensor和transforms.ToPILImage的numpy.ndarray与Tensor和PILImage的转换举例（转载）
作为刚接触Pytorch的新人，在刚开始时候处理三种数据tensor，numpy，PIL有点弄晕了，而且中间的转换过程需要注意类型，仅此记录下来，如果能有幸帮到大家那更好了。Pytorch中使用transforms.ToTensor和transforms.ToPILImage的numpy.ndarray与Tensor和PILImage的转换举例进入正题，我们首先看看numpy to tensor的情况：import numpy as npfrom torchvision import transfo
2021-08-05 14:39:53
707
原创 深度学习中模型攻击与防御（Attack DL Models and Defense）的原理与应用（李宏毅视频课笔记）
文章目录0 前言1 Attack（模型攻击）1.1 Attack on Image Recognition Network Model（对图像识别网络模型的攻击）1.1.1 Loss Function for Attack1.1.2 Constraint（相似度的限制）1.1.3 Solution to Attack（求解攻击信号）1.1.4 Example1.1.5 Explanation of Attack1.2 FGSM（快速梯度下降法）1.3 Black Box Attack（黑盒攻击）1.3.1
2021-08-05 03:39:11
5086
1
原创 numpy和cv2.imread( )中三维数组位置详解
文章目录0 前言1 numpy中的三维数组2 cv2.imread( )中的三维数组0 前言我们在做图像处理的时候会遇到三维数组。我们可以将三维数组想象成为一个立方体，第一维度理解为立方体的长，第二维度理解为宽，彩色图片是3通道的，所以第三维“图片通道”想象成深度。用立方体中直观展示：1 numpy中的三维数组通过 np.zeros( ) 创建一个2行4列3个通道的三维数组，并给第1行第2列第1通道赋值为1。import numpy as npdef test3D(): data_a
2021-08-03 01:01:30
3311
1
原创 可解释机器学习（Explainable/ Interpretable Machine Learning）的原理和应用（李宏毅视频课笔记）
文章目录0 前言1 Introduction of Explainable/ Interpretable ML1.1 Why we need Explainable ML?1.2 Interpretable v.s. Powerful2 Local Explanation2.1 Introduction of Local Explanation2.1 Removing Way2.2 Modifying Way2.3 Limitation of Gradient based Approaches2.4 At
2021-08-02 01:58:24
3810
原创 常用的词嵌入（Word Embedding）方法及其原理（超详细的李宏毅视频课笔记）
介绍最早的电脑读取文字的每一个词汇都当做一个符号，都用向量来描述，这个方法是不足的，这样词汇和词汇之间的相关性反应不出来。后来有了word class，将词汇进行分类。这个方法也比较粗糙，比如动物也分了很多种Word Embedding 每一个的词汇都用向量来描述，但是每一个维度是一个属性。怎么做？这是一个无监督方法，通过让模型阅读大量词汇，就可以知道这个embedding的feature vector长什么样子。就是找一个network，输入是一个词汇，输出就是那个embedding，输
2021-08-01 02:40:24
12214
1
原创 半监督学习的原理和实现方法总结（李宏毅视频课&个人理解）
0 前言本文由整理李宏毅老师视频课笔记和个人理解所得，主要讲述了半监督学习的原理及实现方法。有问题欢迎在评论区下方交流，我会及时回复。1 有监督和半监督的概念有监督学习：{(xr,y^r}r=1R\left\{\left(x^{r}, \hat{y}^{r}\right\}_{r=1}^{R}\right.{(xr,y^r}r=1R 训练时用了R个带标签的样本数据，用已经标记好的数据(labelled data)，用来做训练来预测新数据的类型(class)。也就是说训练的过程中不仅参考了样本信息，
2021-07-31 02:46:21
3361
原创 使用Pytorch快速搭建神经网络模型（附详细注释和讲解）
0 前言代码参考了知乎上“10分钟快速入门PyTorch”系列，并且附上了详细的注释和函数讲解。从今天这篇博文开始，我将和大家一起踏上Pytorch的学习道路，希望有问题可以指出！1 数据读入torchvision.datasets里面有很多数据类型，里面有官网处理好的数据，比如我们要使用的MNIST数据集（手写数字数据集），可以通过torchvision.datasets.MNIST()来得到：import torchfrom torch import nnfrom torch.utils.d
2021-07-29 01:06:01
17853
5
转载 各类PyTorch教程和案例的链接汇总（转载）
文章目录0 前言1 入门系列教程2 入门实例3 图像、视觉、CNN相关实现4 对抗生成网络、生成模型、GAN相关实现5 机器翻译、问答系统、NLP相关实现6 先进视觉推理系统7 深度强化学习相关实现通用神经网络高级应用0 前言转载了一篇适合新手的各类PyTorch教程总结的文章，希望对大家有帮助，原文链接在文末。1 入门系列教程PyTorch Tutorialshttps://github.com/MorvanZhou/PyTorch-Tutorial.git著名的“莫烦”PyTorch系列教程
2021-07-28 00:11:01
1096
2
原创 通俗理解循环神经网络（RNN）和LSTM（李宏毅视频课笔记整理）
文章目录0 前言1 RNN1.1 RNN的基本框架1.2 其他类型的RNN模型1.2.1 Jordan Network1.2.2 Bidirectional RNN2 LSTM2.1 简介2.2 LSTM的基本框架2.3 LSTM的一些讨论2.3.1 LSTM和其他模型的关系2.3.2 LSTM解决梯度消失0 前言RNN（Recurrent Neural Network）是一类用于处理序列数据的神经网络，它能挖掘数据中的时序信息以及语义信息。本文以李宏毅老师上课内容为基础，介绍RNN和LSTM的模型
2021-07-27 15:04:19
1587
1
原创 卷积神经网络（CNN）的讲解（李宏毅老师视频课总结，小白快速理解）
0 前言1 引子在图像处理中常有一个问题，比如下图的一只鸟，如果要使得模型识别出鸟的信息，实际上我们并不需要学习整张图片，而是只需要关注特定部位，比如鸟嘴，羽毛等等。此时仅需要获得特定部位“窗口”的信息，就能有好的效果了。基于这种窗口思想，CNN在图像处理上有显著的效果。因为“窗口”的存在，无论鸟嘴在哪个位置，都能探测到：另外对于图片来说，降采样不会改变物体的形态：2卷积神经网络主要由这几类层构成：输入层、卷积层，ReLU层、池化（Pooling）层和全连接层（全连接层和常规神经网络中的一
2021-07-26 17:19:02
1042
原创 训练DNN的一些Tips（李宏毅视频课笔记分享）
0 前言训练DNN模型一般会关注两个结果：第一是检查在训练数据上的结果，第二是检查在测试数据上的结果。面对坏结果，大家可能首先想到的是三种情况：陷入了局部最优解？DNN的参数很多，很难有大部分参数都在同一个位置形成一个局部最优解，一般收敛了就是在最优解了，或者离的也不远。欠拟合？欠拟合是因为参数不够多和样本不够多导致，但是对于DNN来说，参数和样本都是极大满足的，很难发生欠拟合的情况；过拟合？如果不仅是在测试数据上差，在训练数据上也很差，那可能就不是过拟合的问题。实际对于DNN训练来说以上三个
2021-07-25 13:44:56
1116
原创 全连接神经网络的介绍（多图预警）
前言各种神经网络都是基于全连接神经网络出发的，所以需要先了解最基本的原理，接下来的各种网络也能学得得心应手。全连接神经网络它作为神经网络家族中最简单的一种网络，相信大家看完它的结构之后一定会对它有个非常直观的了解。很简单：左边输入，中间计算，右边输出。可以将整个网络视为一个fff函数：f([00])=[0.510.85]f\left(\left[\begin{array}{l}0 \\0\end{array}\right]\right)=\left[\begin{array}{l}0
2021-07-23 22:26:31
2185
原创 主流的深度学习优化方法（SGD，SGDM，Adagrad，RMSProp，Adam）
0 前言介绍主流的深度学习优化方法（SGD，SGD with Momentum，Adagrad，RMSProp，Adam），梯度优化的基本原则是起始的时候降得快，后来降的慢，以此原则来理解下面这些算法。理解不是非常深，有问题希望大家指出。1 SGD一般的梯度下降所用的损失函数会计算所有样本的损失，但是随机梯度下降比梯度下降多了随机两个字，也即用样本中的一个例子的损失值来代替整体的损失。因而随机梯度下降是会带来一定的问题，因为计算得到的并不是准确的一个梯度。如下图，SGD是按照单个样本更新，所以前面几
2021-07-22 22:22:30
4283
1
原创 关于随机森林和决策树的面试问题
前言介绍几个关于随机森林和决策树的面试问题，并给出参考答案。1. 随机森林为何可以提高正确率, 且降低过拟合程度?随机森林是一种集成算法（Ensemble Learning），它属于 Bagging 类型，通过组合多个弱分类器，最终结果通过多数投票或取均值。由于在生成每颗树的时候，每颗树仅是选取少数特征，而且对于样本也是随机有放回的选择，这样的随机性降低了过拟合程度。而且由于采取了集成算法，本身精度就比单个算法好。2. 决策树后剪枝可以怎么操作?为了提高决策树的泛化能力，需要对树进行剪枝 (Pru
2021-07-20 20:47:42
680
原创 概率，贝叶斯定理，贝叶斯网络的那点事
0 前言最近在学习贝叶斯网络，有些概念已经忘记了，索性就从头开始，将概率—>贝叶斯定理—>贝叶斯网络的公式和概念都串起来讲一遍。1 概率公式1.1 联合概率联合概率指的是包含多个条件且所有条件同时成立的概率，记作P(X=a,Y=b)或P(A,B)，有的书上也习惯记作P(AB)。注意是所有条件同时成立，同时发生。1.2 边缘概率(又称先验概率)边缘概率是与联合概率对应的，P(X=a)或P(Y=b)，这类仅与单个随机变量有关的概率称为边缘概率1.3 联合概率与边缘概率的关系P(X=a
2021-07-20 01:03:15
1243
原创 聚类算法之层次聚类和密度聚类（图文并茂）
前言层次聚类方法对给定的数据集进行层次的分解，直到达到某种条件为止。具体又可分为：凝聚的层次聚类——AGNES算法采用自底向上的策略，首先将每个对象作为一个簇，然后这些簇根据某些准则被一步步合并，两个簇之间的距离由这两个的不同簇中距离最近的数据点的相似度来确定；聚类的过程直到所有对象满足簇的数目才停止。分裂的层次聚类：DIANA算法采用自顶向下的策略，首先将所有对象初始化在一个簇当中，然后根据一些原则将该簇分类，直到达到预定的簇数目或者距离超过某个阈值。凝聚和分裂是相反的过程：合并策略有诸多
2021-07-18 11:38:52
4409
原创 机器学习进阶（10）：K-means的推导和算法理解
前言聚类就是对大量未标注的数据集，按照数据的内在相似性将数据划分为多个类别，使得类别内的数据相似度较大，而类间相似度较小。1 几种聚类常用距离欧式距离：dist(X,Y)=(∑i=1n∣xi−yi∣p)1p\mathrm{dist(}X,Y)=\left( \sum_{i=1}^n{\left| x_i-y_i \right|^p} \right) ^{\frac{1}{p}}dist(X,Y)=(i=1∑n∣xi−yi∣p)p1一般的情况用欧式距离。Jaccard相似系数：J(
2021-07-17 00:23:36
370
原创 机器学习进阶（9）：超详细的支持向量机（SVM）的公式推导和理解
前言1 线性可分支持向量机1.1 硬间隔1.2 硬间隔SVM2 线性支持向量机2.1 软间隔2.2 软间隔SVM3 非线性支持向量机3.1 核函数3.2 带核函数的SVM
2021-07-16 01:52:33
1056
原创 机器学习进阶（8）：XGboost代码案例（DMatrix）和一些数据预处理的技巧
前言讲XGboost的代码案例并结合Kaggle上的Titanic数据总结一点数据预处理的技巧。案例1简单使用xgboost做分类，了解一些特性。import xgboost as xgbimport numpy as np# 1、xgBoost的基本使用# 2、自定义损失函数的梯度和二阶导# 3、binary:logistic/logitraw# 定义f: theta * x# 类似于定义了逻辑回归def log_reg(y_hat, y): p = 1.0 / (1.
2021-07-13 22:35:14
8257
原创 机器学习进阶（7）：Adaboost模型的推导
前言Adaboost算法的模型是加法模型，损失函数为指数函数，学习算法为前向分布算法的二类学习方法。这里仅介绍模型。模型建立设训练样本为T={(x1,y1),(x2,y2)...(xN,yN)}\mathrm{T}=\left\{ \left( \mathrm{x}_1,\mathrm{y}_1 \right) ,\left( \mathrm{x}_2,\mathrm{y}_2 \right) ...\left( \mathrm{x}_{\mathrm{N}},\mathrm{y}_{\mathrm
2021-07-12 22:26:33
169
原创 机器学习进阶（6）：Boosting方法
前言Boosting是机器学习技术，与单纯随机森林依靠累加模型不同，它每一步产生一个弱预测模型，并且加权累加到总模型中。如果每一步的弱模型生成方向都是依据损失函数的梯度方向，则称之为梯度提升（Gradient Boosting）。梯度提升算法首先给定一个目标损失函数，它的定义域是所有可行的弱函数集合（基函数）；通过迭代的选择一个负梯度方向上的基函数来逐渐逼近局部极小值。如果一个问题存在弱分类器，则可以通过Boosting方法得到强分类器。模型建立...
2021-07-12 00:55:52
333
原创 Matlab绘制多组柱状图的方法（可直接复制）
前言论文中常有需要用柱状图表示数据的情况，本文给出Matlab绘制多组数据的柱状图的代码，并给出常用论文示图配色。显示效果如下：脚本代码%% 数据准备BMRKSH=[67.98 43.19 65.72 30.97 26.90 33.78 56.76 66.03 67.56];TCA=[63.82 33.26 62.53 34.34 24.34 31.91 50.17 59.13 67.08];IGLDA=[64.69 34.69 63.33 34.31 23.78 31.74 50.56 59.
2021-07-11 00:19:11
18856
7
原创 机器学习进阶（5）：决策树的一些Tips
前言一些决策树相关的笔记，有兴趣的同学可以看看。Tips决策树是弱分类器，而SVM和LR是强分类器，Bagging 更适合弱分类器。参与决策树生成的数据叫做bag，其他叫做 Out of Bag（OBB）,OBB数据可以用于取代测试集用于误差估计，精度和同规模的测试集精度相同。这样得到的参数模型是无偏估计。随机森林的里DT1和DT2的训练样本都是不同的。在样本和特征的角度都加入随机性，特征也是起始随机选取。随机森林/Bagging和决策树的关系：基础分类器除了选择决策树也可以选择
2021-07-10 00:34:38
207
原创 机器学习进阶（4）：熵，联合熵，条件熵，互信息的推导和联系
前言机器学习领域有一个十分重要的概念：熵。大家或多或少都听过一些熵的概念和定义，但是可能对他们的关系不是很清楚，本文就熵，联合熵，条件熵，互信息的推导展开介绍。熵H(X)=−∑xεXP(x)logP(x)H(X)=-\sum_{x\varepsilon X}{P}(x)\log P(x)H(X)=−xεX∑P(x)logP(x)联合熵H(X,Y)=−∑x,yp(x,y)logp(x,y)H(X,Y)=-\sum_{x,y}{p}(x,y)\log p(x,y)H(X,Y)=−x,y∑
2021-07-09 01:21:43
2235
原创 逻辑回归的推导和理解（公式清晰）
前言Logistic Regression 虽然被称为回归，但其实际上是分类模型，并常用于二分类。LR也是面试时常需要手撕的模型，本文从各种角度推导了LR的相关公式，希望对大家有帮助（未完待续）。模型建立推导由线性回归的定义式出发，hθ(x)h_{\theta}(x)hθ(x)是预测值：hθ(x)=∑i=0nθixi=θTxh_{\theta}(x)=\sum_{i=0}^n{\theta _i}x_i=\theta ^Txhθ(x)=i=0∑nθixi=θTxSigmoid函数（s
2021-07-08 00:56:38
748
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人