广工大数协 阿里云天池 金融风控训练营 - Task2 数据分析学习笔记

最新推荐文章于 2024-09-11 10:21:31 发布
最新推荐文章于 2024-09-11 10:21:31 发布
阅读量418 收藏
点赞数
文章标签： 机器学习 python 数据分析
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_51439571/article/details/116136255
版权
这篇学习笔记详细记录了在阿里云天池金融风控训练营Task2中的数据分析过程，包括使用Python的Pandas库进行数据读取、特征分析、变量分布可视化、时间格式数据处理、透视图生成以及数据报告制作。通过这些步骤，深入理解数据，为后续的特征工程打下基础。
摘要由CSDN通过智能技术生成

目录

 

Task 2

一、学习知识点概要（数据分析）

二、学习内容

1.读取文件

目录

Task 2

一、学习知识点概要（数据分析）

二、学习内容

1.读取文件

2. 查看数据集的样本个数和原始特征维度

4.查看特征的数值类型有哪些，对象类型有哪些 

5.数值连续型变量分析 

6.变量分布可视化 

7.时间格式数据处理及查看

8.使用pivot_table生成透视图

9.用pandas_profiling生成数据报告

三、学习问题及解答

四、学习思考与总结

 

 

 

2. 查看数据集的样本个数和原始特征维度

4.查看特征的数值类型有哪些，对象类型有哪些 

5.数值连续型变量分析 

6.变量分布可视化 

7.时间格式数据处理及查看

8.使用pivot_table生成透视图https://www.cnblogs.com/Yanjy-OnlyOne/p/11195621.html

9.用pandas_profiling生成数据报告

三、学习问题及解答

四、学习思考与总结

 

 

Task 2

一、学习知识点概要（数据分析）

了解数据，熟悉数据，为后续的特征工程做准备

  • 学习如何对数据集整体概况进行分析，包括数据集的基本情况（缺失值，异常值）
  • 学习了解变量间的相互关系、变量与预测值之间的存在关系

二、学习内容

pandas中常用函数总结

Python pandas常用函数详解

df：任意的Pandas DataFrame对象
s：任意的Pandas Series对象

1.读取文件

使用read_csv函数：从文件、URL或文件型对象读取分隔好的数据，逗号是默认分隔符       pd.read_csv(filename)

使用read_table函数：从文件、URL或文件型对象读取分隔好的数据，制表符（“\t”）是默认分隔符    pd.read_table(filename)

使用read_fwf函数：从特定宽度格式的文件中读取数据（无分隔符&#

最低0.47元/天 解锁文章
weixin_51439571
关注
广工大数协 阿里云天池 金融风控训练营 - Task2 数据分析
weixin_45242926的博客
04-25 177
本学习笔记为阿里云天池龙珠计划Docker训练营的学习内容，学习链接为：https://tianchi.aliyun.com/specials/activity/promotion/aicampdocker 一、学习知识点概要 学习如何对数据集整体概况进行分析，包括数据集的基本情况（缺失值，异常值） 学习深入数据-查看数据类型 学习了解变量间的相互关系、变量与预测值之间的存在关系 学习用pandas_profiling生成数据报告 二、学习内容 2.1 数据总体.
数据挖掘比赛预备知识
qq_40128284的博客
11-03 2399
查看特征的数值类型有哪些，对象类型有哪些： 特征一般都是由类别型特征和数值型特征组成，而数值型特征又分为连续型和离散型。 类别型特征有时具有非数值关系，有时也具有数值关系。比如‘grade’中的等级A，B，C等，是否只是单纯的分类，还是A优于其他要结合业务判断。 数值型特征本是可以直接入模的，但往往风控人员要对其做分箱，转化为WOE编码进而做标准评分卡等操作。从模型效果上来看，特征分箱主要是为了降低变量的复杂性，减少变量噪音对模型的影响，提高自变量和因变量的相关度。从而使模型更加稳定。 num
机器学习实战——第八章（回归）：回归——预测数值型数据
摆正心态
07-30 6454
前言 接着上一篇继续学习。 首先感谢博主：Jack-Cui 主页：http://blog.csdn.net/c406495762 回归博文地址：https://blog.csdn.net/c406495762/article/details/78760239 https://blog.csdn.net/c406495762/article/details/82967529 这篇博文对书上的内容很形象的进行了表达，通俗易懂，用自己的实例来进行讲解，比书上讲的清楚太多，于是我才开始了学习，感激不尽，真心推荐。
金融风控数据挖掘-Task3
Captainphiora的博客
04-28 306
金融风控数据挖掘-Task3一、学习知识点概要二、学习内容1、导入数据处理及可视化过程需要的库2、特征值预处理3、异常值处理4、数据分桶5、特征交互6、特征编码7、特征选择三、学习问题与解答1、关于特征处理和特征选择2、关于one hot编码四、学习思考与总结 一、学习知识点概要 #学会利用pandas，numpy等库对数据进行特征处理以及学习特征交互、编码、选择的相应方法。 二、学习内容 1、导入数据处理及可视化过程需要的库 # 导入可能需要用到的库 import pandas as pd import
入门金融风控比赛-Task2-数据分析
weixin_42395998的博客
09-18 504
目的： 1.EDA价值主要在于熟悉了解整个数据集的基本情况（缺失值，异常值），对数据集进行验证是否可以进行接下来的机器学习或者深度学习建模. 2.了解变量间的相互关系、变量与预测值之间的存在关系。 3.为特征工程做准备 2.1 学习目标 学习如何对数据集整体概况进行分析，包括数据集的基本情况（缺失值，异常值） 学习了解变量间的相互关系、变量与预测值之间的存在关系 完成相应学习打卡任务 2.2 内容介绍 数据总体了解： 读取数据集并了解数据集大小，原始特征维度； 通过info熟悉数据类型； 粗略查看数据集中各
python 如何查看列表的维度？
kaggle expert，全球排名前1000，清华计算机研究生，兴趣算法工程
07-21 6907
需要将List转换成numpy数组 import numpy as np l=[[0,1,2],[1,2,3]] print(np.array(l).shape) # (2, 3)
广工大数协 阿里云天池 金融风控训练营 - Task1 赛题理解
weixin_45242926的博客
04-22 221
本学习笔记为阿里云天池龙珠计划Docker训练营的学习内容，学习链接为：https://tianchi.aliyun.com/specials/activity/promotion/aicampdocker 一、学习知识点概要 赛题概况 数据概况 预测指标 分析赛题 二、学习内容 2.1 赛题概况 比赛要求参赛选手根据给定的数据集，建立模型，预测金融风险。 赛题以预测金融风险为任务，数据集可下载，该数据来自某信贷平台的贷款记录，总数据量超过120w，包含47列变量信息，其中15列为匿名变量.
广工大数协 阿里云天池 金融风控训练营 - Task6 贷款违约预测
weixin_45242926的博客
05-05 184
本学习笔记为阿里云天池龙珠计划Docker训练营的学习内容，学习链接为：https://tianchi.aliyun.com/specials/activity/promotion/aicampdocker 一、学习知识点概要 赛题理解 EDA探索性数据分析 特征工程 建模与调参 ...
广东工业大学python数据分析报告，详细全面
06-21
### 广东工业大学Python数据分析报告知识点解析 #### 一、绪论 - **数值分析的发展综述** - 数值分析是一门研究如何利用计算机解决数学问题的学科，特别是那些不能通过传统数学方法精确求解的问题。 - 发展历程...
《数据挖掘导论》学习笔记：第1-2章
bakalaka的博客
08-13 2366
本文转载自：https://blog.csdn.net/u013232035/article/details/48281659   本文主要是在学习《数据挖掘导论（完整版）》中的学习笔记，主要用来梳理思路，并没有多少思考。 第1章 绪论 1.1 什么是数据挖掘 KDD： K nowledge D iscovery in D atabase 过程如下： Created with Raph...
PyTorch学习笔记-2.PyTorch数据处理
ruoqi23的博客
08-03 5271
2.PyTorch数据处理 2.1.数据读取 机器学习模型训练步骤分为：数据，模型，损失函数，优化器，迭代训练 首先是数据，又可以分为：数据收集，数据划分，数据读取，数据预处理 DataLoader就是用来进行数据读取的。 torch.utils.data.DataLoader 功能：构建可迭代的数据装载器 • dataset: Dataset类，决定数据从哪读取及如何读取 • batchsize :批大小 • num_works:是否多进程读取数据 • shuffle:每个epoc...
Task 2 贷款违约预测
Jun_pratice的博客
09-18 623
Task 2 此部分为零基础入门金融风控的 Task2 数据分析部分，带你来了解数据，熟悉数据，为后续的特征工程做准备，欢迎大家后续多多交流。 赛题：零基础入门数据挖掘 - 零基础入门金融风控之贷款违约 目的： 1.EDA价值主要在于熟悉了解整个数据集的基本情况（缺失值，异常值），对数据集进行验证是否可以进行接下来的机器学习或者深度学习建模. 2.了解变量间的相互关系、变量与预测值之间的存在关系。 3.为特征工程做准备 项目地址：https://github.com/datawhalechina/team
数据挖掘150道试题 测测你的专业能力过关吗？
大数据技术杂谈
03-09 6816
单选题 1. 某超市研究销售纪录数据后发现，买啤酒的人很大概率也会购买尿布，这种属于数据挖掘的哪类问题？(A) A. 关联规则发现 B. 聚类 C. 分类 D. 自然语言处理 2. 以下两种描述分别对应哪两种对分类算法的评价标准？ (A) (a)警察抓小偷，描述警察抓的人中有多少个是小偷的标准。 (b)描述有多少比例的小偷给警察抓了的标准。 A. Prec
数据挖掘实践（金融风控）
Blankit1的博客
09-14 1481
Task1 赛题理解 一、赛题 零基础入门金融风控-贷款违约预测 该数据来自某信贷平台的贷款记录，总数据量超过120w，包含47列变量信息，其中15列为匿名变量 训练数据总共有8万条。部分截图如下： 测试数据总共有2万条 变量信息如下： 二、评测标准 提交结果为每个测试样本是1的概率，也就是y为1的概率。评价方法为AUC评估模型效果（越大越好）。 ...
金融风控训练营Task02基础知识学习笔记——EDA探索性数据分析
weixin_46085699的博客
04-25 483
金融风控训练营Task01基础知识学习笔记一、学习知识点概要二、学习内容及问题与解答1.读取文件的拓展知识：2.Python函数： 一、学习知识点概要 二、学习内容及问题与解答 1.读取文件的拓展知识： pandas读取数据时相对路径载入报错时，尝试使用os.getcwd()查看当前工作目录。 TSV与CSV的区别： 从名称上即可知道，TSV是用制表符（Tab,’\t’）作为字段值的分隔符；CSV是用半角逗号（’,’）作为字段值的分隔符； Python对TSV文件的支持： Python的csv模块准确的
广州大学机器学习与数据挖掘实验四
faith312的博客
01-18 3516
实验四 决策树分类 一、 实验目的 本实验课程是计算机、人工智能、软件工程等专业学生的一门专业课程，通过实验，帮助学生更好地掌握数据挖掘与机器学习相关概念、技术、原理、应用等；通过实验提高学生编写实验报告、总结实验结果的能力；使学生对机器学习模型、算法等有比较深入的认识。要掌握的知识点如下： 掌握机器学习中涉及的相关概念、模型、算法； 熟悉机器学习模型训练、验证、测试的流程； 熟悉常用的数据预处理方法； 掌握决策树、随机森林的表示、求解及编程。 二、基本要求 实验前，复习《数据挖掘与机器学习》课程中的
【文献阅读】Unsupervised Machine Learning for Bot Detection on Twitter
最新发布
weixin_42726068的博客
09-11 484
引入新特征，并降低所提模型的复杂性，从而提高基于聚类算法的机器人识别准确性。最小化数据集维度和选择重要特征来实现的。实验证明该方法的特征可以与四种不同的聚类技术（agglomerating、k-medoids、DBSCAN 和 K-means）结合使用，以解决由缺失标签和异常值引起的机器人识别问题。通过选择排名靠前的特征并减少维度，达到了 0.99 的准确率。
【机器学习】从零开始理解深度学习——揭开神经网络的神秘面纱
擅长将自己的感受、想法、知识通俗地表达出来，会点前后端开发、自动化测试、性能测试、爬虫。将来可能学硬件、AI。但一定会写实用的脚本。
09-06 2910
深度学习是机器学习的一个重要分支，通过多层神经网络处理复杂数据，广泛应用于图像识别、自然语言处理等领域。我们将在这篇文章中揭开深度学习和神经网络的神秘面纱。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值