- 博客(20)
- 收藏
- 关注
RSS订阅原创 Task4
Task4 建模与调参此部分为零基础入门金融风控的 Task4 建模调参部分，带你来了解各种模型以及模型的评价和调参策略，欢迎大家后续多多交流。赛题：零基础入门数据挖掘 - 零基础入门金融风控之贷款违约预测项目地址：https://github.com/datawhalechina/team-learning-data-mining/tree/master/FinancialRiskControl比赛地址：https://tianchi.aliyun.com/competition/entrance
2020-09-25 00:21:08
191
原创 task3
Task3 特征工程此部分为零基础入门金融风控的 Task3 特征工程部分，带你来了解各种特征工程以及分析方法，欢迎大家后续多多交流。赛题：零基础入门数据挖掘 - 零基础入门金融风控之贷款违约项目地址：https://github.com/datawhalechina/team-learning-data-mining/tree/master/FinancialRiskControl比赛地址：https://tianchi.aliyun.com/competition/entrance/531830
2020-09-21 23:05:22
117
原创 Task2 数据分析
此部分为零基础入门金融风控的 Task2 数据分析部分，带你来了解数据，熟悉数据，为后续的特征工程做准备，欢迎大家后续多多交流。赛题：零基础入门数据挖掘 - 零基础入门金融风控之贷款违约目的：1.EDA价值主要在于熟悉了解整个数据集的基本情况（缺失值，异常值），对数据集进行验证是否可以进行接下来的机器学习或者深度学习建模.2.了解变量间的相互关系、变量与预测值之间的存在关系。3.为特征工程做准备项目地址：https://github.com/datawhalechina/team
2020-09-18 22:44:44
151
原创 datawhale之金融风控之贷款违约预测挑战赛
Task1 赛题理解Tip:本次新人赛是Datawhale与天池联合发起的0基础入门系列赛事第四场 —— 零基础入门金融风控之贷款违约预测挑战赛。赛题以金融风控中的个人信贷为背景，要求选手根据贷款申请人的数据信息预测其是否有违约的可能，以此判断是否通过此项贷款，这是一个典型的分类问题。通过这道赛题来引导大家了解金融风控中的一些业务背景，解决实际问题，帮助竞赛新人进行自我练习、自我提高。项目地址：https://github.com/datawhalechina/team-learning-data-m
2020-09-15 23:24:54
220
原创 datawhale数据挖掘
直接上项目：import pandas as pdimport numpy as npimport warnings import datetimeimport seaborn as snsimport matplotlib.pyplot as pltimport datetime from scipy import statsimport warningswarnings.filterwarnings('ignore')# 设置数据集路径dataset_path = '/ka
2020-08-20 23:50:39
127
原创 数据载入与初步观察
数据载入与初步观察如何进行数据的导入，如csv,xlsx,等tablepandas.read_table(filepath_or_buffer, sep='\t', delimiter=None, header='infer', names=None, index_col=None, usecols=None, squeeze=False, prefix=None, mangle_dupe_cols=True, dtype=None, engine=None, converters=None, t
2020-08-20 00:18:57
408
转载 Datawhale 零基础入门CV赛事-Task5 模型集成
5 模型集成本章讲解的知识点包括：集成学习方法、深度学习中的集成学习和结果后处理思路。5.1 学习目标学习集成学习方法以及交叉验证情况下的模型集成学会使用深度学习模型的集成学习5.2 集成学习方法在机器学习中的集成学习可以在一定程度上提高预测精度，常见的集成学习方法有Stacking、Bagging和Boosting，同时这些集成学习方法与具体验证集划分联系紧密。由于深度学习模型一般需要较长的训练周期，如果硬件设备不允许建议选取留出法，如果需要追求精度可以使用交叉验证的方法。下面假设构建
2020-06-02 22:51:14
94
原创 Datawhale 零基础入门CV赛事-Task4学习
1、运行模型SVHN_Model1时会出现以下错误：Downloading: "https://download.pytorch.org/models/resnet18-5c106cde.pth" to /root/.cache/torch/checkpoints/resnet18-5c106cde.pth---------------------------------------------------------------------------gaierror
2020-05-30 23:35:15
224
原创 Datawhale 零基础入门CV赛事-Task3 字符识别模型
1、卷积神经网络简介 卷积神经网络（Convolutional Neural Network，CNN或ConvNet）是一种具有局部连接、权重共享等特性的深层前馈神经网络。卷积神经网络最早是主要用来处理图像信息。如果用全连接前馈网络来处理图像时，会存在以下两个问题：（1）参数太多（2）局部不变性特征 卷积神经网络是受生物学上感受野的机制而提出。感受野（Receptive Field）主要是指听觉、视觉等神经系统中一些神经元的特性，即神经元只接受其所支配的刺激区域内的信号。在视觉神经系统中，视觉皮
2020-05-26 22:08:08
225
1
原创 DataWhale task2
pillow图像过滤Pillow是Python图像处理函式库(PIL）的一个分支。Pillow提供了常见的图像读取和处理的操作，而且可以与ipython notebook无缝集成，是应用比较广泛的库。原图from PIL import ImageFilter,Imageimg_path = r'C:\Users\29146\Pictures\xiu\20151107191711_H5LwP.jpeg'im = Image.open(img_path)im1 = im.filter(Ima
2020-05-23 21:59:59
583
原创 Datawhale零基础入门CV赛事-task1赛题理解
Datawhale零基础入门CV赛事-task1赛题理解赛题理解赛题来源自Google街景图像中的门牌号数据集（The Street View House Numbers Dataset, SVHN），并根据一定方式采样得到比赛数据集。数据集报名后可见并可下载，该数据来自真实场景的门牌号。训练集数据包括3W张照片，验证集数据包括1W张照片，每张照片包括颜色图像和对应的编码类别和具体位置；为了保证比赛的公平性，测试集A包括4W张照片，测试集B包括4W张照片。本次赛题的难点是需要对不定长的字符进行识别，与
2020-05-20 22:49:29
383
原创 Datawhale 计算机视觉基础-图像处理（上）- Task06 边缘检测
基本知识什么是边缘？边缘是图像强度函数快速变化的地方如何检测边缘？为了检测边缘，我们需要检测图像中的不连续性，可以使用导数来检测不连续性。Sobel边缘检测的原理索贝尔算子（Sobel operator）主要用作边缘检测，在技术上，它是一离散性差分算子，用来运算图像亮度函数的灰度之近似值。在图像的任何一点使用此算子，将会产生对应的灰度矢量或是其法矢量Sobel卷积因子为：...
2020-05-01 23:27:11
701
原创 Datawhale 计算机视觉基础-图像处理（上）-Task05 图像分割/二值化
阈值分割基本概念1最大类间方差法（大津法）大津法（OTSU）是一种确定图像二值化分割阈值的算法，由日本学者大津于1979年提出。从大津法的原理上来讲，该方法又称作最大类间方差法，因为按照大津法求得的阈值进行图像二值化分割后，前景与背景图像的类间方差最大。它被认为是图像分割中阈值选取的最佳算法，计算简单，不受图像亮度和对比度的影响，因此在数字图像处理上得到了广泛的应用。它是按图像的灰度特性，...
2020-04-29 22:48:37
246
原创 Datawhale 计算机视觉基础-图像处理（上）-Task04 图像滤波
1、空间滤波基础滤波的定义滤波是指接受（通过）或拒绝一定的频率分量低通滤波器通过低频的滤波器。最终效果是模糊（平滑）一幅图像。空间滤波机理空间滤波器由（1）一个邻域（典型地是一个较小的矩形），（2）对该邻域包围的图像像素执行的预定义操作组成。滤波产生一个新像素，新像素的坐标等于邻域中心的坐标，像素的值是滤波操作的结果。滤波器的中心访问输入图像中的每个像素，就生成了处理（滤波）后的图像...
2020-04-27 22:46:45
333
原创 Datawhale 计算机视觉基础-图像处理（上）-Task03 彩色空间互转
简介图像彩色空间互转在图像处理中应用非常广泛，而且很多算法只对灰度图有效；另外，相比RGB，其他颜色空间(比如HSV、HSI)更具可分离性和可操作性，所以很多图像算法需要将图像从RGB转为其他颜色空间，所以图像彩色互转是十分重要和关键的。颜色空间RGBRGB色彩模式是工业界的一种颜色标准，是通过对红®、绿(G)、蓝(B)三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色的，R...
2020-04-25 23:57:46
337
原创 Datawhale 计算机视觉基础-图像处理（上）-Task02几何变换）
1、简介该部分将对基本的几何变换进行学习，几何变换的原理大多都是相似，只是变换矩阵不同，因此，我们以最常用的平移和旋转为例进行学习。在深度学习领域，我们常用平移、旋转、镜像等操作进行数据增广；在传统CV领域，由于某些拍摄角度的问题，我们需要对图像进行矫正处理，而几何变换正是这个处理过程的基础，因此了解和学习几何变换也是有必要的。2、算法理论介绍a、仿射变换原理仿射变换（Affine Tr...
2020-04-23 23:02:31
214
原创 DataWhale计算机视觉入门
简介在图像处理中，平移变换、旋转变换以及放缩变换是一些基础且常用的操作。这些几何变换并不改变图象的象素值，只是在图象平面上进行象素的重新排列。在一幅输入图象[u，v][u，v]中，灰度值仅在整数位置上有定义。然而，输出图象[x，y]的灰度值一般由处在非整数坐标上的（u，v）（u，v）值来决定。这就需要插值算法来进行处理，常见的插值算法有最近邻插值、双线性插值和三次样条插值。算法介绍最邻近算法...
2020-04-21 22:48:34
207
原创 Pandas基础上
DataWhale训练营——Pandas基础上此次课程学习了pandas的基本应用，具体如下图2.具体代码运行过程的问题稍后再修改。
2020-04-20 23:06:14
74
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人