- 博客(9)
- 收藏
- 关注
RSS订阅原创 达观杯文本智能处理（六）——模型调优与融合
达观杯文本智能处理（六）——模型调优与融合一、任务描述二、 K折交叉验证回顾三、网格搜索法三、实现与比较数据预处理网格搜索法LR模型优化SVM模型优化lightGBM模型优化三种模型比较一、任务描述进一步通过网格搜索法对3个模型进行调优（用5000条数据，调参时采用五折交叉验证的方式），并进行模型评估，展示代码的运行结果。(可以尝试使用其他模型)模型融合，模型融合方式任意，并结合之前的任务...
2019-04-15 21:43:36
397
原创 达观杯文本智能处理（五）——LightGBM理论与实践
达观杯文本智能处理（五）——LightGBM理论与实践一、LightGBM模型1.GBDT存在的几个问题2.引入LightGBM二、优势三、lightGBM调参四、lightGBM模型实践参考文献一、LightGBM模型1.GBDT存在的几个问题如何减少数据量常用的减少训练数据量的方式是down sample。例如在[5]中，权重小于阈值的数据会被过滤掉，SGB在每一轮迭代中用随机的子集训...
2019-04-12 15:32:35
1227
原创 达观杯文本智能处理（四）——LR和SVM理论与实践
达观杯文本智能处理（四）——LR和SVM理论与实践一、逻辑回归(LR)模型1.算法介绍2.softmax回归二、支持向量机(SVM) 模型1.支持向量机是什么2.线性可分支持向量机三、机器学习评价指标四、LR和SVM实践参考文献【任务 3.1】LR+SVM 时常: 2天使用下面模型对数据进行分类（包括：模型构建&调参&性能评估），并截图F1评分的结果。1）逻辑回归(LR)模型...
2019-04-10 17:00:50
392
原创 达观杯文本智能处理（三）——Word2vec原理与实践
达观杯文本智能处理（三）——Word2vec原理与实践一、Word Embedding背景介绍二、Word2vec1.Word2vec理论2.Word2vec原理3.CBOW与Skip-Gram模式4.训练注意事项3.Word2vec实践一、Word Embedding背景介绍在NLP（自然语言处理）里面，最细粒度的是词语，词语组成句子，句子再组成段落、篇章、文档。所以要处理 NLP 的问题，...
2019-04-08 16:31:40
1176
2
原创 达观杯文本智能处理（二）——TF-IDF理论与实践
达观杯文本智能处理（二）——TF-IDF理论与实践一、TF-IDF概述与原理1.TF-IDF概述2.TF-IDF原理二、TF-IDF 实践三、 TF-IDF在“达观杯”中的应用一、TF-IDF概述与原理1.TF-IDF概述TF-IDF（termfrequency–inverse document frequency）是一种用于资讯检索与资讯探勘的常用加权技术。TF-IDF是一种统计方法，用...
2019-04-06 18:11:26
512
原创 达观杯文本智能处理（一）
达观杯文本智能处理（一）1.赛题背景介绍2.下载数据，读取数据，观察数据3.将训练集拆分为训练集和验证集1.赛题背景介绍2018年人工智能的发展在运算智能和感知智能已经取得了很大的突破和优于人类的表现。而在以理解人类语言为入口的认知智能上，目前达观数据自然语言处理技术已经可以实现文档自动解析、关键信息提取、文本分类审核、文本智能纠错等一定基础性的文字处理工作，并在各行各业得到充分应用。自然语...
2019-04-05 20:57:45
429
原创 决策树算法梳理
决策树算法梳理1.信息论基础（熵 联合熵 条件熵 信息增益 基尼不纯度）2.决策树的不同分类算法（ID3算法、C4.5、CART分类树）的原理及应用场景3. 回归树原理4. 决策树防止过拟合手段5. 模型评估6. sklearn参数详解，Python绘制决策树1.信息论基础（熵 联合熵 条件熵 信息增益 基尼不纯度）熵（entropy）熵是表示随机变量不确定性的度量，如果一件事有n nn种...
2019-04-02 17:49:18
580
原创 逻辑回归算法梳理
逻辑回归算法梳理逻辑回归与线性回归的联系与区别逻辑回归的原理逻辑回归损失函数推导及优化4、 正则化与模型评估指标5.逻辑回归的优缺点6.样本不均衡问题解决办法7.sklearn参数逻辑回归与线性回归的联系与区别虽然逻辑回归能够用于分类，不过其本质还是线性回归。它仅在线性回归的基础上，在特征到结果的映射中加入了一层sigmoid函数（非线性）映射，即先把特征线性求和，然后使用sigmoid函...
2019-04-01 21:09:27
240
原创 初级算法梳理——线性回归
初级算法梳理——线性回归目录1.机器学习基本概念2.线性回归原理3.线性回归损失函数，代价函数，目标函数4.优化方法5.线性回归的评价指标6.sklearn参数详解1.机器学习基本概念2.线性回归的原理3.线性回归损失函数、代价函数、目标函数4.优化方法目录1.机器学习基本概念2.线性回归原理3.线性回归损失函数，代价函数，目标函数4.优化方法5.线性回归的评价指标6.sklearn...
2019-03-29 13:08:55
623
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人