- 博客(19)
- 收藏
- 关注
RSS订阅原创 西瓜书第五章
学习目标：看西瓜书第五章，并结合南瓜书推导公式学习内容：1、神经元模型2、感知机与多层网络3、误差逆传播算法4、全局最小与局部最小学习时间：1、周六、周天抽时间2、周一补公式的推导学习产出：神经网络其实是机器学习与神经学之间的交叉学科，之前一直搞不清楚神经网络、深度学习、机器学习之间的关系。其实可以简单想，机器学习是一个大类，深度学习就是让机器模仿人类神经网络的传递、学习方法。深度学习可以简单理解为神经网络。简单的感知机就是两个神经节点，可以很好地做出“与、或、非”这样的逻辑门
2021-07-25 23:28:45
286
原创 西瓜书第四章
学习目标：看西瓜书+南瓜书第四章学习内容：1、剪枝处理2、ID3决策树学习时间：周三上午周四晚上学习产出：ID3决策树是以信息增益为准则来选择划分属性的决策树信息增益：在已知属性（特征a）的取值后y的不确定性减少的量，也即纯度的提升。因为熵等于零是理想状态，一般实际情况下，熵介于0和1之间 。熵的不断最小化，实际上就是提高分类正确率的过程。剪枝处理预剪枝：在判断的过程中修剪掉一些非叶节点，防止过拟合，提高泛化能力。后剪枝：在生成决策树之后，再对叶节点进行修剪。判断修剪能够
2021-07-22 22:20:56
89
原创 西瓜书第三章
学习目标：西瓜书第三章学习内容：1、一元线性回归2、多元线性回归3、对数几率回归4、二分类线性判别分析学习时间：周一晚上八点学习产出：一元线性回归是有一个因素，根据这个因素进行判断，e.g. 西瓜的颜色与甜度之间的关系；损失函数E(w,b)，最小二乘法、正交法argmin：并不是说损失函数最小等于多少，而是损失函数最小时，此时的参数分别为多少？...
2021-07-19 23:51:25
108
2
原创 西瓜书第一、二章
学习目标：简略过一遍西瓜书第一、二章学习内容：看西瓜书，对照南瓜书的公式学习学习时间：周一 上午周二 上午+下午1h输出学习产出：归纳偏好 具体问题中，才有模型“好”与“坏”之分 脱离具体问题，不存在模型好坏的判断过拟合与欠拟合 过拟合：为训练系量身定制，泛化性能很差 欠拟合：泛化性能好，但是过于General，准确率低评估法 数据量足够 留出法 交叉验证法 数据量很小 boot
2021-07-13 18:01:45
49
原创 集成学习Ensemble Learning（四）| 对模型超参数进行调优
对模型超参数进行调优调优超参数与参数Pipeline管道机制使用网格搜索搭配Pipline找出最优参数调优超参数与参数超参数，即需要人手工调整的参数，比如说我们在损失函数后面加上的正则化参数中的λ\lambdaλ。而同样，损失函数中的www，是通过学习/训练，找出最优的，这就是参数。Pipeline管道机制Pipeline管道机制，顾名思义，它就像水管一样，数据就像水一样，在管道之间流动，Pipline的每一步就将一节节水管，数据经由这一节水管留到下一节水管，流向下一节水管的就是经由上一节水管处
2021-03-24 21:58:32
214
原创 集成学习Ensemble Learning（一）| 机器学习的三大主要任务
机器学习的三大主要任务概述监督学习回归分类无监督学习强化学习总结附：scikit-learn工具库自带的数据集概述这次参加集成学习的组对学习，加油加油~ 距离上次系统地学机器学习已经大半年了，好多基础知识都忘得差不多了。正好趁这次再回顾一下，也可以复习一下python里面的一些库的使用方法。在一般情况下，用xik 表示特征数据，大写X表示特征x的向量矩阵。对于特征，都用x(k) 表示，而样本用xi 表示。e.g. 第1个样本的第2个特征为x12 ，第5个样本的第3个特征为x53监督学习回归监督
2021-03-15 22:03:24
160
原创 人多什么都队 提分讨论内容
1.Bert模型方面，分别换了更大的Bert模型，RoBERTa和ERNIE（两位朋友都上了很高的分数！祝贺祝贺！）2. 在Bert之后再加上一个小的神经网络，比如LSTM或Attention机制，三个任务共享的公共层加上Self-attention*3. 修改loss函数、进行动态加权（可以尝试）一些入门Pytorch和TensorFlow的资源：Pytorch Handbookhttps://github.com/zergtant/pytorch-handbookTensorFlow
2021-02-26 00:12:38
47
原创 天池NLP实践-中文文本分类热身赛（文本分类，bert）
比赛流程赛题理解三个任务模型提交过程Docker赛题理解天池的全球人工智能技术创新大赛【热身赛二】，NLP的一次热身赛，这次任务主要是建立一个 多任务问题 ，第一次接触NLP，放一下学习过程三个任务三个任务都是中文文本分类：任务1：OCNLI–中文原版自然语言推理最后有3个输出(0 1 2)，取最大概率作为结果任务2：OCEMOTION–中文情感分类几个情感对应几个输出，最后通过转化，每一个类别对应一个概率，取概率最大的。任务3：TNEWS–今日头条新闻标题分类以数字代表类别（例如财经
2021-02-22 00:22:28
259
1
原创 小白理解Xgboost
XGBoost是陈天奇等人开发的一个开源机器学习项目，高效地实现了GBDT（Gradient Boosting Decision Tree）算法并进行了算法和工程上的许多改进，被广泛应用在Kaggle竞赛及其他许多机器学习竞赛中并取得了不错的成绩。集成学习就是使用多个分类器对数据进行预测。因为XGBoost就是GBDT的一个算法，所以先来理解一下GBDTGBDTGBDT的原理很简单，就是所有弱分类器的结果相加等于预测值，然后下一个弱分类器去拟合误差函数对预测值的梯度/残差(这个梯度/残差就是预测值与
2020-08-25 11:56:06
215
原创 2020-08-22
皮尔逊相关系数适用于：(1)、两个变量之间是线性关系，都是连续数据。(2)、两个变量的总体是正态分布，或接近正态的单峰分布。(3)、两个变量的观测值是成对的，每对观测值之间相互独立。· 连续数据，正态分布，线性关系，用pearson相关系数是最恰当，当然用spearman相关系数也可以， 就是效率没有pearson相关系数高；· 上述任一条件不满足，就用spearman相关系数，不能用pearson相关系数；· 两个定序数据之间也用spearman相关系数，不能用pearson相关系
2020-08-22 23:25:41
92
原创 EDA复习整理 | 如何看多种多样的图？ | 如何从各种图中提取出有用的数据？ | 变量间的相关性分析与独立性分析
EDA复习整理数据可视化时间序列图数据分布可视化图数据可视化时间序列图数据分布可视化图
2020-08-20 23:14:46
338
原创 CV - HOG特征描述算⼦/行⼈检测
HOG特征描述算子图像预处理首先用了伽马校正，这边这步步骤是可选的，可有也可以没有，主要是为了减少光照、亮度等对图片的影响，调整图片的对比度。这步中需要注意，灰度图和彩色图都是可以的，只是彩色图是三个通道进行梯度计算，选取了梯度值最大的那个通道计算图像梯度对每个像素点进行梯度计算，要同时进行水平梯度计算和垂直梯度计算。梯度方向将会取绝对值，这样效果更好。计算梯度直方图这一步是最神奇的一步（感觉这个世界总是有那么多的归一化和各种神奇的变化）这边有个疑惑，为什么bin 是20的地方，计算公式
2020-07-06 23:36:37
160
原创 CV - Harris特征点检测
import cv2 as cvfrom matplotlib import pyplot as pltimport numpy as np# detector parameterblock_size = 3ksize = 3k = 0.05# input imageimage = cv.imread('./lighttower.jpg')print(image.shape)height = image.shape[0]width = image.shape[1]channel
2020-06-24 22:28:28
188
原创 计算机视觉实践 - 街景字符编码识别/关于Task5的一些笔记
模型的集成学习情况调参指导框架观察数据搭建初始框架调参原则模型的集成通过交叉验证集成多模型测试集的数据增强Snapshot学习情况调参指导框架High Train Error：指的是与人类相比的，比如人识别字符的准确率为99%；High Train-Dev Error：过拟合的问题，可以通过正则化、加入更多的数据、或者尝试新的框架High Test-Dev Error：测试集错误率过大，这次比赛中会出现。可能是测试集和验证集的分布出现了差异。观察数据不同字符数量图片的占比，是否存在偏
2020-06-02 22:53:20
158
原创 计算机视觉实践 - 街景字符编码识别/关于Task4的一些笔记
模型训练与验证学习情况模型验证方法留出法交叉验证法K折交叉验证（K-fold Cross Validation）留一法（leave-one-out cross validation）自助采样法（BootStrap）代码学习情况复习了一下机器学习中的模型验证方法，因为深度学习也是机器学习的分支，这一部分还是差不多的。最近还在看CNN的结构、公式推理过程，发现高数线代又忘了…大学的知识难道真的不能靠刷题吗…模型验证方法留出法这是比较简单粗暴的方法，之前传统机器学习分类的方法是“三七分”，就是训练集7
2020-05-30 21:27:39
215
原创 吴恩达DeepLearning之神经网络与深度学习
第一课 - 神经网络与深度学习第一周第二周第三周 浅层神经网络第一周第二周第三周 浅层神经网络这边有个问题，为什么Sigmoid和tanh激活函数，z很大或很小的时候，也就是函数的斜率/梯度很小接近于0的时候，会拖慢梯度下降算法？我自己的理解是：z无限大的时候，梯度变化会很慢，所以在反向传播求导过程中，梯度下降十分慢。浅层神经网络中，正向传播和反向传播的公式推导。这边要注意，逻辑回归中的dz和da都是前面已经给出的定义，就是求偏导，为了方便编程给的定义。这边推导过程看的有些迷糊，
2020-05-28 17:22:10
158
原创 计算机视觉实践 - 街景字符编码识别/关于Task3的一些笔记
字符识别模型学习情况经典的卷积神经网络AlexNetVGG学习情况重点学习一下AlexNet和VGG的模型，跑完步回来码！经典的卷积神经网络AlexNetVGG
2020-05-26 20:33:34
146
原创 计算机视觉实践 - 街景字符编码识别/关于Task2的一些笔记
Task2 数据读取与数据扩增学习情况数据扩增方法transforms.CenterCroptransforms.RandomCroptransforms.ColorJittertransforms.Padtransforms.FiveCroptransforms.Grayscaletransforms.RandomAffine 随机仿射变化常用的数据扩增库学习情况数据扩增方法常见的有一下几种：transforms.CenterCrop 对图片中心进行剪裁transforms.ColorJitt
2020-05-23 21:37:20
245
原创 计算机视觉实践 - 街景字符编码识别/关于Task1的一些笔记
计算机视觉实践 - 街景字符编码识别 关于Task1的一些笔记Task 1 赛题理解学习情况字符识别论文笔记ResNet18CRNNBaseline自己的理解遇到的问题Reference最近参加了DataWhale的计算机视觉入门比赛，认识了很多大佬。虽然之前有过基于深度学习的一些实操经验，但对其中的原理还是不怎么懂，更别提模型的创新了。希望这次比赛过后，在理论和代码能力方面都能有所提高。Task 1 赛题理解赛题名称：零基础入门CV之街道字符识别赛题目标：通过这道赛题可以引导大家走入计算机视觉的
2020-05-20 21:58:40
505
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人