2021-08 集成学习打卡Task01：数学基础

最新推荐文章于 2024-06-24 16:03:54 发布
最新推荐文章于 2024-06-24 16:03:54 发布
阅读量721 收藏 1
点赞数 1
分类专栏： DataWhale组队学习 集成学习 文章标签： 机器学习 概率论
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40258328/article/details/119770259
版权
这篇博客回顾了机器学习中的数学基础知识，重点讲解了概率论中的常见分布，包括二项分布、正态分布、泊松分布、伽马分布和Tweedie分布。Tweedie分布作为泊松和伽马的复合，适用于处理长尾数据，如电商销量预测。文中还提及了根据数据分布选择合适损失函数的重要性。
摘要由CSDN通过智能技术生成

Task01 数学基础

学习地址

介绍

这部分内容主要复习一下机器学习以及深度学习涉及到的数学基础，包括高数、线代、概率论、数理统计、随机过程以及部分数值模拟计算等

常用概率分布总结

在分类和回归等任务中我们经常会假设某些变量服从某种分布，比如假设回归目标变量服从正态分布，有时候当目标变量并不服从正态分布时我们又会想办法通过一些transform将其分布转化到近似正态分布，这是因为常用的损失函数一般选择MSE，其假设分布服从正态分布。然而有时候又很难通过一些变换使目标变量服从正态分布，这时候我们就需要了解更多的概率分布，通过特定的分布选择特定的损失函数，往往效果会更好。比如电商商品销量预测常常会服从长尾右偏的Tweedie分布等等。

1. 二项分布

二项分布

2. 正态分布

最低0.47元/天 解锁文章
wizzniu
关注
专栏目录
Python使用scikit-learn构建广义线性模型：Tweedie回归
pytorchCode的博客
09-04 480
Tweedie回归是广义线性模型的一种形式，适用于处理具有复杂分布特征的响应变量，例如零膨胀（zero-inflated）和过度离散（over-dispersed）的数据。在上述代码中，我们创建了一个TweedieRegressor对象，并将power参数设置为1.5，alpha参数设置为0.5，link参数设置为’log’。使用scikit-learn的Tweedie回归模型，您可以处理具有复杂分布特征的数据集，并获得准确的预测结果。p的取值范围为(1, 2)之间，不同的取值对应不同的数据分布。
Python使用sklearn构建广义线性模型：Tweedie回归（Tweedie regression）实战
data+scenario+science+insight
09-23 1726
Python使用sklearn构建广义线性模型：Tweedie回归（Tweedie regression）实战 目录 Python使用sklearn构建广义线性模型：Tweedie回归（Tweedie regression）实战 #Tweedie回归 #Tweedie回归代码实例 #Tweedie回归 Tweedie分布是三参数分布族，指数扩散模型的特殊形式，是几种常见分布（正态、gamma、泊松、inverse Gaussian分布）的通用形式。 Tweedie分布是一种泊松分布和.
Tweetie分布
人工智能曾小健
08-18 427
Tweedie分布在商业场景中有很多例子，比如人们进入某个商城后的消费额。，Tweedie分布最明显的一个特点是。以一定的概率生成数值为0的样本。Tweetie分布是一种。中有很多例子，例如，数据。
贝叶斯统计：Tweedie公式及其证明
一个不愿透露姓名的博客
09-04 3755
贝叶斯统计：Tweedie公式及其证明 Tweedie公式是贝叶斯统计中用来研究正态分布的均值问题的最重要的公式之一，不管是在经典的对正态均值进行区间估计、假设检验等领域中，还是在现代贝叶斯统计用均值的特殊先验构造其shrinkage estimator的领域中，Tweedie公式都是重要的基础工具，所以这一篇我们一起学习一下这个公式及其证明。 Tweedie公式 考虑y∣μ∼N(μ,σ2)y|\mu \sim N(\mu,\sigma^2)y∣μ∼N(μ,σ2)，其中σ2\sigma^2σ2已知，μ\mu
【隐语笔记6】逻辑回归LR与广义线性模型GLM开发实践
最新发布
yj1248805281的博客
06-24 883
逻辑回归（LR）和广义线性模型（GLM）是统计学和机器学习中的重要工具，广泛用于解决预测和分类问题。逻辑回归专用于二分类问题，而广义线性模型则适用于更广泛的数据分布类型。逻辑回归是广义线性模型的一个特例，用于处理二分类问题，其中响应变量 YYY 遵循二项分布，采用 Logit 链接函数。广义线性模型是一个统计框架，用于描述预测变量和响应变量之间的关系。响应变量的分布属于指数分布族。如果响应变量 YYY 遵循泊松分布，适合的链接函数是自然对数： log⁡(μ)=η \log(\mu) = \eta log(μ
根据标签分布来选择损失函数
yaohaishen的专栏
01-19 696
首先回到经典的面试问题： 为什么线性回归使用mse作为损失函数？ 为什么逻辑回归二分类常用二元交叉熵作为损失函数? 熟悉lgb、xgb或者是sklearn中的各类回归模型包括了线性回归，tweedie回归等等应该都比较熟悉，我们在模型的框架之下可以选择不同的损失函数，以lightgbm为例： 针对于回归问题有非常多的备选损失函数，那么这些损失函数什么时候用，为什么？ 回到基本面试问题，首先我们需要知道的是，使用特定损失函数的前提是我们对标签的分布进行了某种假设，在这种假设的前提下通..
matlab代码注释标准-2021spring-term-lerning:寒假打卡学习
05-24
寒假打卡学习 总目标 编程能力能较以往大大增强（比如写代码速度远远胜于之前，比如速度能比以前快一倍，bug比以前少一半）。 算法能力增强（对于数学问题的MATLAB原理与实现，数值分析的MATLAB原理与实现，模式识别...
yg-covid-report-action::microbe: 使用 GitHub Actions 自动填报远光健康打卡
05-02
使用 GitHub Actions 自动填报远光健康打卡。 这个 Action 会自动在北京时间的每天 7:00 AM 进行填报。 使用方法 首先，点击上方绿色的 Use this template，使用这个模板创建你自己的 Repository； 然后，在你自己...
leetcode卡-ARTS:ARTS鸽友打卡:bird:
07-06
鸽友打卡:bird: Algorithm：每周至少做一个 leetcode 的算法题，或者参加codeforces比赛 Review：阅读并点评至少一篇英文技术文章 Tip：学习至少一个技术技巧 Share：分享一篇有观点和思考的技术文章，每月一篇博客...
ElitesAI·动手学深度学习PyTorch版-第二次打卡task03
01-06
1、卷积神经网络基础： 1.1 二维卷积操作： 二维互相关（cross-correlation）运算的输入是一个二维输入数组和一个二维核（kernel）数组，输出也是一个二维数组，其中核数组通常称为卷积核或过滤器（filter）。卷积核...
XGBoost Parameters
Yongchun_Zhu的博客
12-10 1498
在跑XGBoost之前，我们必须设置三种类型的参数：general parameters、booster parameters和task parameters。 General parameters关系到我们选择哪个booster来做boosting，通常是树模型和线性模型。 Booster parameters取决于你选择的哪个booster。 Learning Task parameters决定
回归分析资料
tongle.wang Homepage
06-02 1737
《回归模型》PPT和数据集 (2015-09-12 17:33:58) 转载▼   分类： 《回归模型》课件 教材：孟生旺，回归模型，中国人民大学出版社，2015.  点击下列链接从百度云盘进行下载： 孟生旺《回归模型》PPT：http://pan.baidu.com/s/1miizhHY 《回归
XGBoost参数设置中文版及XGBoost的Python模块解释
物是人非事事休 欲语泪湿春衫袖
06-29 4347
前言本文来源于 m_buddy 博主的《XGBoost参数解释》博文，进行了简单修改，原文链接。XGBoost参数官方文档：XGBoost Parameters (official guide)。XGBoost的Python模块介绍官方文档：Python Package Introduction在运行XGboost之前, 我们必须设置三种类型的参数: 通用参数（general parameters...
Python手册(Machine Learning)--statsmodels(Regression)
热门推荐
WilenWu
12-19 1万+
Regression一般线性回归TheoryModel ClassesResults ClassesExamples广义线性回归TheoryModel ClassesResults ClassesExamples广义估算方程线性混合模型离散因变量回归Examples Python手册(Machine Learning)–statsmodels(Quickstart) Python手册(Machi...
各种分类器的调用
静心净气的博客
11-24 6044
前言：主要介绍sklearn里面的各种分类器使用方法。 0、分类器支持参数的细节 核函数： 1. Linear核：主要用于线性可分的情形。参数少，速度快，对于一般数据，分类效果已经很理想了。 2. RBF核：主要用于线性不可分的情形。参数多，分类结果非常依赖于参数。 一、K邻近算法 参考文献 from sklearn.neighbors import NearestN...
Python 第三方模块 机器学习 Scikit-Learn模块 有监督学习4 线性模型2
weixin_46131409的博客
04-29 505
一.linear_model 3.线性回归器 (2)带有变量选择的线性回归器(Linear regressors with variable selection): 以"L1范数"(L1 priors)和"L2范数"(L2 priors)的混合作为"正则化器"(regularizer)的"弹性网络回归模型"(Elastic Net Regression model):class sklearn.linear_model.ElasticNet([alpha=1.0,l1_ratio=0.5,fit_inter
python中的统计模型库——statsmodels
weixin_42045968的博客
05-11 4838
起因 在熟悉了使用python进行数据的预处理之后，总想着将在大学时候通常基于R软件的统计模型直接在python中调用。有时两种语言风格切换会使编码过程不是很习惯。 statsmodels就是这样一个库，里面囊括着常用的一些统计模型： 前瞻 一、回归和线性模型 线性回归 广义线性模型 广义估计方程 广义加性模型（GAM） 稳健的线性模型 线性混合效应模型 离散因变量的回归 广义线性混合效应模型 方差分析 二、时间序列分析 时间序列分析 tsa 通过状态空间方法进行时间序列分析 statespace 向量自回
指数衰减-学习率
I‘m Frank Lee
05-23 4331
在神经网络的参数更新过程中，学习率不能太大也不能太小，太大可能会导致参数在最优值两侧来回移动，太小会大大降低优化速度，为了解决学习率的问题，TensorFlow 提供了一种灵活的学习率设置方法，即指数衰减法。 TensorFlow API: tf.keras.optimizers.schedules.ExponentialDecay 每迭代一轮，新的学习率都会根据以上参数更新一次，式子如下： decayed_learning_rate = learning_rate * decay_rate ^ (g
学习率的理解和设置以及指数衰减法
Vici__
08-06 1万+
目录： 一、什么是学习率（learning rate） 二、学习率过小或过大的问题 三、学习率的设置 四、指数衰减法（exponential decay） 一、什么是学习率（learning rate）： 学习率是指导我们该如何通过损失函数的梯度调整网络权重的超参数，通过设置学习率控制参数更新的速度。 我们在做神经网络时，参数权重是通过不断的训练得出的，那么这个参数每一...
日期 start_time end_time 2023-06-10 2023-06-10 16:27:00 2023-06-10 17:39:00 2023-06-11 2023-06-11 01:57:00 2023-06-11 02:02:00 2023-06-11 2023-06-11 15:57:00 2023-06-12 01:51:00 2023-07-01 2023-07-01 08:09:00 2023-07-01 17:25:00 2023-07-01 2023-07-01 17:32:00 2023-07-01 17:41:00 假设以上打卡数据，存在跨天的情况，如何找出某日期正确的上下班打卡时间
07-15
要找出某个日期的正确上下班打卡时间，你可以使用`datetime`模块进行日期时间的比较和筛选。下面是一个示例代码： ```python import datetime # 打卡数据 data = [ {'日期': '2023-06-10', '开始时间': '2023-06-10 16:27:00', '结束时间': '2023-06-10 17:39:00'}, {'日期': '2023-06-11', '开始时间': '2023-06-11 01:57:00', '结束时间': '2023-06-11 02:02:00'}, {'日期': '2023-06-11', '开始时间': '2023-06-11 15:57:00', '结束时间': '2023-06-12 01:51:00'}, {'日期': '2023-07-01', '开始时间': '2023-07-01 08:09:00', '结束时间': '2023-07-01 17:25:00'}, {'日期': '2023-07-01', '开始时间': '2023-07-01 17:32:00', '结束时间': '2023-07-01 17:41:00'} ] target_date = datetime.date(2023, 6, 11) # 指定目标日期 # 遍历打卡数据，找到目标日期的打卡记录 for record in data: record_date = datetime.datetime.strptime(record['日期'], '%Y-%m-%d').date() if record_date == target_date: start_time = datetime.datetime.strptime(record['开始时间'], '%Y-%m-%d %H:%M:%S') end_time = datetime.datetime.strptime(record['结束时间'], '%Y-%m-%d %H:%M:%S') print('开始时间:', start_time) print('结束时间:', end_time) ``` 在上面的示例代码中，我们首先指定目标日期为`2023-06-11`，然后遍历打卡数据，找到与目标日期匹配的记录。然后将开始时间和结束时间转换为`datetime`对象，并打印出来。 你可以根据实际需要修改目标日期和打卡数据，以适应你的情况。 希望对你有所帮助！如果还有其他问题，请随时提问。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值