- 博客(8)
- 收藏
- 关注
RSS订阅原创 transformers学习日记1
transformers学习日记1transformers原理学习背景attention架构Self-Attention过程深度学习attention机制中的Q K V分别咋来的？transformers原理学习背景2017 年，Google 提出了 Transformer 模型，用 Self-Attention 的结构，取代了以往 NLP 任务中的 RNN 网络结构。2018 年 10 月，Google 发出一篇论文《BERT: Pre-training of Deep Bidirectional
2021-08-18 14:12:25
189
原创 2021-07-28学习笔记
记录一下jupyter的便捷操作import pandas as pdimport numpy as np#执行该代码可以使得当前nb支持多输出from IPython.core.interactiveshell import InteractiveShell InteractiveShell.ast_node_interactivity = "all" #显示所有列pd.set_option('display.max_columns', None)#显示所有行pd.set_optio
2021-07-28 20:13:37
160
原创 Adaboost与boosting模型
1. Adaboost的基本思路？通过给样本加权实现来对训练样本的分布进行调整. 原来的优化目标是想最小化错误率2、Adaboost.与GBDT的联系与区别？3、Boosting与 Baggingl的区别，以及如何提升模型的精度？4、使用基本分类模型和 Boosting提升的模型，并画出他们的决策边界5、尝试使用 Xgboost模型完成一个具体的分类任务，并进行调参。...
2021-07-25 19:38:58
141
原创 bagging
1.什么是 bootstraps?bootstraps中文名称为自助法，是一种有放回的采样方法。其具体采样操作为：在m个样本组成的样本集合内，每次只抽取一个样本，有放回地抽取m次，这样就得到了m个样本组成的采样集合。引理：D 中的某个样本在自助法采样中不被采到的概率约是 36.8%. 也就是说, 在 D 中大约有 36.8% 的样本未出现在采样数据集 D 中。证明：对其中任意一个样本，它每次采样都不被抽中的概率为p=m−1mp=\frac{m-1}{m}p=mm−1，因此m次抽样它都不被抽中的概率为
2021-07-22 21:01:24
336
原创 机器学习与集成学习作业4
集成学习作业41.回归问题和分类问题的联系和区别，如何利用回归问题理解分类问题？2.为什么分类问题的损失函数可以是交叉熵而不是均方误差？3.线性判别分析和逻辑回归在估计参数方面有什么异同点？4.尝试从0推导svm：5.二次判别分析，线性判别分析，朴素贝叶斯之间的联系和区别6使用 python+ numpy实现逻辑回归。7.基本优化算法入门：梯度下降法，牛顿法，拟牛顿法与smo算法等1.回归问题和分类问题的联系和区别，如何利用回归问题理解分类问题？2.为什么分类问题的损失函数可以是交叉熵而不是均方误差？
2021-07-20 23:42:23
412
1
原创 2021-07-17
datawhale集成学习_31.请用一个具体的案例解释什么是偏差和方差？2.偏差与方差和误差之间的关系。3训练误差与测试误差之间的联系和区别，如何估计测试误差4.岭回归和lasso回归的异同点。5.如果使用pca降维前是一个三维的椭球，那么把该图形降维成二维是一个什么样的图形。6.尝试使用对偶理论和核函数对pca进行非线性拓展，使得Pca变成非线性降维。（拓展题）7.本教程讲述的三种模型简化的方法之间有什么异同点。8.尝试使用 sklearn, 对一组数据先进行特征的简化（使用三种方式），再使用回归模型
2021-07-20 09:52:31
105
原创 集成学习与机器学习【线性回归、决策树】2021-07-15
集成学习与机器学习模型偏差与方差的权衡一般来说，机器学习模型只能在偏差与方差之间做出选择。为什么呢？偏差指的是方差指的是模型在不同训练 or 测试集上的表现越复杂的模型往往意味着越小的偏差，越大的方差特征选取机器学习的目标就是选择一个测试误差达到最小的模型。那如何选择一个测试误差最小的模型，首先要估计出模型的测试误差大小，估计的方式主要有2种：训练误差修正与交叉验证。...
2021-07-16 00:50:48
527
原创 2021-07-13
datawhale集成学习ch1欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Markdown编辑器简单过了一遍高数线代概率论数理统计的知识后，进入了随机过程和拒绝采样，MCMC采
2021-07-13 23:59:36
116
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人