![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习实践
文章平均质量分 97
__盛夏光年__
这个作者很懒,什么都没留下…
展开
-
金融贷款逾期的模型构建3——模型评估
目标:记录7个模型(逻辑回归、SVM、决策树、随机森林、GBDT、XGBoost和LightGBM)关于accuracy、precision,recall和F1-score、auc值的评分表格,并画出ROC曲线。一、评价指标1、基本概念对于一个二分类问题,预测与真实结果会出现四种情况。真实情况 \ 预测情况正类负类正类TP(True Positive)FN(Fal...原创 2018-12-21 11:12:26 · 1656 阅读 · 0 评论 -
集成学习(ensemble learning)(二)
接上一篇:集成学习(ensemble learning)。本篇对集成学习中的 Bagging 和 随机森林算法 进行总结。一、Bagging原理Bagging 的弱学习器之间没有依赖关系,可以并行计算。1、随机采样(BootStrap)自助法,即有放回的采样,也就是说,之前采集到的样本在放回后有可能继续被采集到。一般来讲,随机采样的样本数量和训练集样本数量一致为m,但是两者内容不同。若...原创 2019-04-13 15:19:24 · 817 阅读 · 0 评论 -
【数据竞赛】“达观杯”文本智能处理挑战赛6——模型优化
文章目录一、超参数1、网格搜索2、随机搜索3、贝叶斯优化二、Stacking1、核心图解(1)构建新的训练集(2)构建新的测试集(3)最终的训练与预测2、示例(1)构建新的训练集(2)构建新的测试集(3)多模型的处理(4)最终的训练与预测三、实现一、超参数优化可以分为参数优化和超参数优化。其中,可学习的参数通过优化算法可以进行优化;还有一类参数是用来定义模型结构或优化策略的,这类参数称为超参数...原创 2019-04-15 21:43:36 · 394 阅读 · 0 评论 -
【数据竞赛】“达观杯”文本智能处理挑战赛4
一、逻辑回归逻辑回归(Logistic Regression, LR)是一种常用的处理两类分类问题的线性模型。1、概率估计LR 模型计算输入特征的加权和(加上偏差项),之后将中间结果输入 logistic() 函数进行二次加工后输出。逻辑回归模型的概率估计(向量形式)p^=hθ(x)=σ(θT⋅x)\hat{p}=h_\theta(x)=\sigma(\theta^T·x)p^=hθ...原创 2019-04-11 21:32:35 · 163 阅读 · 0 评论 -
【NLP实战】Task1 数据集探索
一、数据集1、THUCNews数据集传送门链接: https://pan.baidu.com/s/1lziUTaCF7VfnuAKXrGftTw 提取码: saag概述本数据集是清华NLP组提供的THUCNews新闻文本分类数据集的一个子集(原始的数据集大约74万篇文档,训练起来需要花较长的时间)。本次训练使用了其中的10个分类(体育, 财经, 房产, 家居, 教育, 科技, 时尚, ...原创 2019-03-26 09:17:21 · 1081 阅读 · 1 评论 -
【NLP实战】Task2:特征处理
一、基本文本处理技能1、分词匹配方法最大匹配法:最大匹配是指以词典为依据,取词典中最长单词为第一个次取字数量的扫描串,在词典中进行扫描(为提升扫描效率,还可以跟据字数多少设计多个字典,然后根据字数分别从不同字典中进行扫描。下面以“我们在野生动物园玩”详细说明一下这几种匹配方法:(1)正向最大匹配法正向即从前往后取词,从7->1,每次减一个字,直到词典命中或剩下1个单字。第1轮扫描:...原创 2019-03-05 21:40:59 · 548 阅读 · 0 评论 -
用Scikit-learn和TensorFlow进行机器学习(五)
文章目录支持向量机(SVM)一、线性支持向量机分类1、硬间隔分类2、软间隔分类二、非线性支持向量机分类1、多项式核(Polynomial Kernel)2、增加相似特征3、计算复杂度三、SVM回归1、线性SVM回归2、非线性SVM回归四、SVM理论支持向量机(SVM)可做线性或者非线性的分类、回归,甚至异常值检测。适用于:复杂但中小规模数据集的分类问题。一、线性支持向量机分类1、硬间隔分...原创 2019-02-25 16:46:39 · 505 阅读 · 0 评论 -
用Scikit-learn和TensorFlow进行机器学习(四)
文章目录训练模型概述一、线性回归训练模型概述作用:快速找到恰当的机器学习模型、训练算法、好的额假设集、有助于调试参数和有效的误差分析。以简单线性回归为例,讨论不同训练方法的模型最优解问题:直接采用封闭方程进行求解,得到当前训练集的最优参数(最小化损失函数)迭代优化(梯度下降,GD):通过逐渐调整模型参数以获得最小的损失函数。批量梯度下降(Batch GD)、小批量梯度下降(Mini-b...原创 2019-02-24 11:57:08 · 553 阅读 · 0 评论 -
用Scikit-learn和TensorFlow进行机器学习(三)
文章目录分类一、MNIST1、获取数据分类一、MNISTMNIST数据集:70000 张规格较小的手写数字图片。1、获取数据from sklearn.datasets import fetch_mldatamnist = fetch_mldata('MNIST original')print(mnist)...原创 2019-02-11 19:41:01 · 417 阅读 · 0 评论 -
用Scikit-learn和TensorFlow进行机器学习(一)
文章目录机器学习概览一、什么是机器学习?1、定义2、适用二、分类1、监督, 非监督, 半监督和强化学习(1)监督学习(2)非监督学习(3)半监督学习(4)强化学习2、在线学习 vs 批量学习(1)在线学习(2)批量学习3、基于实例学习 vs 基于模型学习(1)基于实例学习(2)基于模型学习三、主要挑战四、测试和确认机器学习概览一、什么是机器学习?1、定义计算机程序利用经验 E 学习任务 T...原创 2019-01-22 21:26:17 · 722 阅读 · 0 评论 -
金融贷款逾期的模型构建7——模型融合
文章目录一、集成学习1、Bagging2、Boosting3、Stacking(1)核心图解a、构建新的训练集b、构建新的测试集c、最终的训练与预测(2)示例a、构建新的训练集b、构建新的测试集c、多模型的处理d、最终的训练与预测三、实现1、Reference数据传送门(data.csv):https://pan.baidu.com/s/1G1b2QJjYkkk7LDfGorbj5Q目标:数据...原创 2019-01-09 19:33:58 · 705 阅读 · 0 评论 -
用Scikit-learn和TensorFlow进行机器学习(二)
文章目录一个完整的机器学习项目一、真实数据二、项目概述1、划定问题2、选择性能指标(损失函数)(1)回归任务(2)平均绝对误差(MAE,Mean Absolute Error)(3)范数3、核实假设三、获取数据1、os模块2、urllib.request.urlretrieve四、查看数据结构1、数据信息查看一个完整的机器学习项目主要步骤:项目概述。获取数据。发现并可视化数据, 发现规...原创 2019-01-24 16:26:23 · 726 阅读 · 0 评论 -
kaggle入门竞赛之泰坦尼克事故存活预测(xgboost方法)
传送门:https://www.missshi.cn/api/view/blog/5a06a441e519f50d0400035e本文我们详细讲解如何利用xgboost方法来解决泰坦尼克沉船事故人员存活预测的问题。实现语言以Python为例来进行讲解。评价标准我们的目标是预测泰坦尼克号中哪些乘客可以幸存下来。评价维度就是预测的准确率。需要上传的文件格式如下:一个csv文件,包含418...转载 2019-01-14 09:11:41 · 2675 阅读 · 1 评论 -
金融贷款逾期的模型构建6——特征选择
文章目录一、原理数据传送门(data.csv):https://pan.baidu.com/s/1G1b2QJjYkkk7LDfGorbj5Q目标:数据集是金融数据(非脱敏),要预测贷款用户是否会逾期。表格中 “status” 是结果标签:0表示未逾期,1表示逾期。任务:分别用IV值和随机森林进行特征选择。然后分别构建模型(逻辑回归、SVM、决策树、随机森林、GBDT、XGBoost和Lig...原创 2019-01-05 20:20:32 · 1813 阅读 · 0 评论 -
金融贷款逾期的模型构建2——集成模型
任务——模型构建构建随机森林、GBDT、XGBoost和LightGBM这4个模型,并对每一个模型进行评分,评分方式任意,例如准确度和auc值。1、相关安装资源随机森林、GBDT均在sklearn包中;LightGBM:https://github.com/Microsoft/LightGBM目前已经是pypi中的资源 ==》pip方式安装XGBoost:https://www...原创 2018-12-19 10:55:56 · 528 阅读 · 0 评论 -
金融贷款逾期的模型构建5——数据预处理
文章目录一、相关库二、数据读取三、数据清洗——删除无关、重复数据四、数据清洗——类型转换1、数据集划分2、缺失值处理3、异常值处理4、离散特征编码5、日期特征处理6、特征组合五、数据集划分六、模型构建七、模型评估数据传送门(与之前的不同):https://pan.baidu.com/s/1G1b2QJjYkkk7LDfGorbj5Q目标:数据集是金融数据(非脱敏),要预测贷款用户是否会逾期。表...原创 2019-01-04 09:41:27 · 1557 阅读 · 2 评论 -
金融贷款逾期的模型构建4——模型调优
文章目录一、任务二、概述1、参数说明2、常用方法二、实现1、模块引入2、模型评估函数3、数据读取4、Logistic Regression(1)调参部分(2)模型评估5、SVM(1)调参部分(2)模型评估6、Decision Tree(1)调参部分(2)模型评估7、Random Forest8、GBDT9、XGBoost10、LightGBM9、XGBoost三、遇到的问题1、UnboundLoc...原创 2018-12-24 14:09:04 · 1058 阅读 · 0 评论 -
金融贷款逾期的模型构建1
数据data_all.csv文件是非原始数据,已经处理过了。数据是金融数据, 我们要做的是预测贷款用户是否会逾期。表格中, status是标签: 0表示未逾期, 1表示逾期。任务——模型构建给定数据集,数据三七分,随机种子2018。(在任务1中什么都不用考虑,即不需数据处理和模型调参)调用sklearn的包,简单构建逻辑回归、SVM和决策树3个模型,评分方式任意(e.g. 准确度和auc值...原创 2018-12-18 10:10:56 · 985 阅读 · 1 评论 -
集成学习(ensemble learning)(三)
集成学习系列第三篇(Boosting相关方法),传送前两篇:集成学习(ensemble learning)(一)集成学习(ensemble learning)(二)文章目录一、一、原创 2019-04-14 21:10:53 · 503 阅读 · 0 评论