- 博客(24)
- 收藏
- 关注
原创 常用环境整理-集群环境搭建之MPI
目录前言一、准备工作1、安装虚拟机(VMware)2、安装CentOS7;3、安装必要的软件二、下载并安装mpi安装包1.创建目录并下载包2.解压3.新建下载目录4.进入目录并编译安装三、配置环境1.编辑环境变量2.检查安装情况前言在Centos7下搭建mpi环境,走了很多弯路,现在整理出一套醉简便的方法,分享给大家,希望可以帮助到需要的人提示:以下是本篇文章正文内容一、准备工作1、安装虚拟机(VMware)2、安装CentOS7;3、安装必要的软件sudo yum install n.
2021-10-24 21:10:08
1600
原创 时间序列分析day02-手写时间序列
目录心得体会时间序列综述影响时间序列的因素叠加模型和乘积模型一、简单移动平均法二、加权移动平均法三、趋势移动平均法四、指数平滑法1、一次指数平滑法2、二次指数平滑法3、三次指数平滑法心得体会本次主要学习了时间序列分析中的几种移动平均和指数平滑的时间序列处理方法,并实践了配套的R语言代码,体会到不同算法直接的联系与区别,部分算法是前身算法的加强与改进。在这里感谢datawhale开源社区的小伙伴们给予的学习帮助,今后的学习也要一样加油呀提示:以下是本篇文章正文内容时间序列综述时间序列也称动
2021-10-14 21:27:03
393
原创 时间序列分析day01-前置内容
目录心得体会R语言基础向量与矩阵矩阵生成时间序列画图心得体会本次主要学习了卷积神经网络。卷积神经网络与普通神经网络的区别在于,卷积神经网络包含了一个由卷积层和子采样层构成的特征抽取器。在卷积神在这里感谢datawhale开源社区的小伙伴们给予的学习帮助,今后的学习也要一样加油呀提示:以下是本篇文章正文内容卷积神经网络(Convolutional Neural Network,简称CNN),是一种前馈神经网络,人工神经元可以响应周围单元,可以进行大型图像处理。卷积神经网络包括卷积层和池化层。
2021-10-12 21:59:11
222
原创 day06-卷积神经网络
目录心得体会心得体会本次主要学习了卷积神经网络。卷积神经网络与普通神经网络的区别在于,卷积神经网络包含了一个由卷积层和子采样层构成的特征抽取器。在卷积神经网络的卷积层中,一个神经元只与部分邻层神经元连接。在CNN的一个卷积层中,通常包含若干个特征平面(featureMap),每个特征平面由一些矩形排列的的神经元组成,同一特征平面的神经元共享权值,这里共享的权值就是卷积核。卷积核一般以随机小数矩阵的形式初始化,在网络的训练过程中卷积核将学习得到合理的权值。共享权值(卷积核)带来的直接好处是减少网络各
2021-09-25 20:48:36
322
原创 day05-网络设计的技巧
目录心得体会心得体会本次主要学习了如何设计网络,也主要体现在如何优化梯度上,设计学习率,处理局部最小值与鞍点。可以考虑使用Adam调整学习率神经网络可能陷入 Critical Point 而训练不起来,当神经网络被困于critical point时,有不同的方法可以使模型脱困实现optimization。在这里感谢datawhale开源社区的小伙伴们给予的学习帮助,今后的学习也要一样加油呀提示:以下是本篇文章正文内容参考资料:机器学习视频:https://www.bilibili.co
2021-09-22 22:13:46
79
原创 day4-深度学习介绍与反向传播机制
目录心得体会知识解析一、过拟合与欠拟合(1)什么是欠拟合?如何解决欠拟合?心得体会李宏毅老师本次讲解了深度学习的入门,遵循机器学习的三大步骤:神经网络、模型评估、选择最优函数。随着中间使用层数的增加,引入了普遍性定理来解决相关问题,介绍了一种高效的梯度计算方法:反向传播在这里感谢datawhale开源社区的小伙伴们给予的学习帮助,今后的学习也要一样加油呀提示:以下是本篇文章正文内容知识解析一、过拟合与欠拟合(1)什么是欠拟合?欠拟合是指模型不能在训练集上获得足够低的误差。换句换说,
2021-09-19 17:26:03
144
原创 day03-误差与梯度下降
目录心得体会模型步骤一、模型假设 - 线性模型二、模型评估 - 损失函数三、最佳模型 - 梯度下降四、模型优化回归演示问题补充与解决心得体会李宏毅老师的讲课幽默风趣,举了宝可梦的例子帮助理解,带入其中来解决实际问题。学到了很多之前没注意到的知识点,例如在做正则化操作时,不需要考虑bias的影响(bias的调整只是将目标函数的图像上下移动,不影响平滑度)。学习了回归问题的模型,首先进行模型假设,然后模型评估,选出优秀模型,最后进行模型优化。解决了如何避免陷入鞍点梯度下降如何跳过局部最优等问题。在这
2021-09-17 18:34:25
252
原创 day02-回归定义和应用
目录心得体会模型步骤一、模型假设 - 线性模型二、模型评估 - 损失函数三、最佳模型 - 梯度下降四、模型优化回归演示问题补充与解决心得体会学习了回归问题的模型,首先进行模型假设,然后模型评估,选出优秀模型,最后进行模型优化。解决了如何避免陷入鞍点梯度下降如何跳过局部最优等问题。在这里感谢datawhale开源社区的小伙伴们给予的学习帮助,今后的学习也要一样加油呀提示:以下是本篇文章正文内容模型步骤step1:模型假设,选择模型框架(线性模型)step2:模型评估,如何判断众多模型的
2021-09-15 18:09:56
111
原创 day1-李宏毅机器学习
目录心得体会一、hand-crafted rules二、三类学习方法三、迁移学习四、强化学习心得体会今天开始参加开源学习组织datawhale的组队学习--李宏毅机器学习,再次写一系列文章记录我的学习笔记与感悟。李宏毅老师的讲课生动形象,中间自然而然穿插的英语让人听起来很舒服,有点口音也让人觉得课堂很有趣。初识机器学习,首先是机器学习的步骤(如何将大象放入冰箱?)第一个步骤就是找一个function,第二个步骤让machine可以衡量一个function是好还是不好,第三个步骤是让machine
2021-09-13 20:18:03
270
原创 day7-案例(幸福感预测)详解
目录思路理解一、案例资料1、背景介绍2、数据信息3、评价指标二、第三方包准备三、数据导入及预处理1、数据导入2、数据预处理2.1、异常值处理2.2、数据増广四、特征建模1、选择263维原始特征进行建模1.1、lightGBM1.2、xgboost1.3、RandomForestRegressor随机森林1.4、GradientBoostingRegressor梯度提升决策树1.5、ExtraTreesRegressor 极端随机森林回归1.6、集成建模-stack22、选择49维重要特征进行建模2.1、li
2021-08-28 20:36:22
1116
1
原创 集成学习学习总结
目录心得体会一、思维导图1、数学基础2、回归问题3、分类问题4、集成学习5、Bagging6、Boosting7、Stacking二、辨析集成学习三种模型心得体会参加了开源学习组织datawhale的组队学习,圆满完成集成学习的任务,也带领组员一起坚持了下来,真正领略到机器学习的魅力,写这篇csdn总结一下我所学到的知识,以便后续巩固学习。在这里谈一下我的感悟:在集成学习的学习中,第一次实践了相关的完整案例,解决给出的实际问题,带入到情景中处理数据,利用集成学习的模型与方法得出预测的相关结论。一
2021-08-28 18:09:32
956
原创 day08-案例(蒸汽量预测)与集成学习模型总结
day08-集成学习案例(幸福感预测、蒸汽量预测)目录day08-集成学习案例(幸福感预测、蒸汽量预测)心得体会思路理解案例一(幸福感预测):案例二(蒸汽量预测):心得体会开源学习组织datawhale的组队学习第八天,学习了两个集成学习的案例,体会到对数据的处理与认知才是最重要的,整理了案例思路理解,复现了结果。在这里感谢datawhale开源社区的小伙伴们给予的学习帮助,今后的学习也要一样加油呀提示:以下是本篇文章正文内容,下面案例以及设计到的知识点均为datawhale开源组织提供思
2021-08-28 00:47:45
491
原创 day7-Stacking与案例(幸福感预测)
day7-Stacking(相关案例代码理解分享)目录day7-Stacking(相关案例代码理解分享)心得体会前言一、Blending集成学习算法1、算法原理2、相关案例二、Stacking集成学习算法总结心得体会开源学习组织datawhale的组队学习第二天,学习了集成学习方法的最后一个成员–Stacking,我们可以对三个GBDT模型进行Stacking融合,那么每个GBDT模型都可以看做一个基模型,这样的话,这三个GBDT模型可以标识为mode1、mode2、mode3,利用五折的方法,
2021-08-26 14:13:59
783
原创 day6-Boosting
day6-Boosting目录day6-Boosting心得体会前言一、Boosting方法的基本思路二、Adaboost算法1、Adaboost基本原理2、使用sklearn对Adaboost算法进行建模:三、前向分步算法四、梯度提升决策树(GBDT)1、基本原理2、使用sklearn来使用GBDT五、XGBoost算法1、基本原理2、XGBoost系统讲解3、XGBoost代码示例(1)分类案例(2)回归案例(3)XGBoost调参(结合sklearn网格搜索)六、LightGBM算法1、简介2、Li
2021-08-25 14:37:03
236
原创 day5-投票法与Bagging(相关案例代码理解分享)
day5-投票法与Bagging(相关案例代码理解分享)目录day5-投票法与Bagging(相关案例代码理解分享)心得体会前言一、投票法1、投票法的原理2、投票法的案例分析2.1 基础2.2 完整示例二、bagging1、bagging的原理2、bagging的应用3、案例分析三、作业(1)什么是bootstraps(2)bootstraps与bagging的联系(3)什么是bagging(4)随机森林与bagging的联系与区别(5)使用偏差与方差理论阐述为什么bagging能提升模型的预测精度(6)
2021-08-23 10:30:19
518
原创 day4-分类问题(相关案例代码理解分享)
day4-分类问题(相关案例代码理解分享)https://blog.csdn.net/Codewith_jing/article/details/118927246目录day4-分类问题(相关案例代码理解分享)心得体会前言一、回归、分类、无监督学习1.引入相关科学计算包2. 回归连续型变量问题2.1 导入并查看数据集2.2 画散点图三、作业(1)请详细阐述线性回归模型得最小二乘法表达(2)在线性回归模型中,极大似然估计与最小二乘估计有什么联系与区别吗(3)为什么多项式回归在实际问题中的表现经常不是很好总
2021-08-22 13:52:49
267
原创 day3-偏差和方差理论(相关案例代码理解分享)
day3-偏差和方差理论(相关案例代码理解分享)目录day3-偏差和方差理论(相关案例代码理解分享)心得体会前言一、优化基础模型1、训练均方误差与测试均方误差:2、偏差-方差的权衡:3、特征提取:==1、训练误差修正:====2、交叉验证:====最优子集选择:====向前逐步选择:==4、压缩估计(正则化):==岭回归(L2正则化的例子):====Lasso回归(L1正则化的例子):==5、降维:==主成分分析(PCA):==6、案例==(1) 特征提取的实例:向前逐步回归====(2)岭回归实例分享=
2021-08-21 00:24:25
328
原创 day2-机器学习的基础模型回顾(相关案例代码理解分享)
机器学习的数学基础(相关案例代码理解分享)目录:day1-机器学习的数学基础(相关案例代码理解分享)day2-机器学习基础模型回顾day3-集成学习之投票法与baggingday4-集成学习之boostingday5-集成学习之blending与stackingday6-集成学习之案例分享文章目录机器学习的数学基础(相关案例代码理解分享)摘要一、梯度下降法1.概念简介2.代码示例二、牛顿迭代法1.概念简介2.代码示例三、pi的估计问题1.问题阐述2.代码示例四、电子元件寿命问题1.问题阐述
2021-08-19 17:48:58
230
原创 day1-机器学习的数学基础(相关案例代码理解分享)
CH1-机器学习的数学基础目录:CH1-机器学习的数学基础CH2-机器学习基础模型回顾CH3-集成学习之投票法与baggingCH4-集成学习之boostingCH5-集成学习之blending与stackingCH6-集成学习之案例分享文章目录CH1-机器学习的数学基础摘要一、梯度下降法1.概念简介2.代码示例二、牛顿迭代法1.概念简介2.代码示例三、pi的估计问题1.问题阐述2.代码示例四、电子元件寿命问题1.问题阐述2.代码示例五、三门问题1.问题阐述2.代码示例总结摘要
2021-08-17 20:45:05
173
原创 如何在html中将带有html标签的字符串解析为正常的html标签
项目场景:当后端传递给前端带有html标签的字符串时,若直接在html中显示{{content}}则会显示出字符串,不能正常解析html标签解决方案:在html页面中,利用safe过滤器,则可将字符串中的htnl标签正常解析例如:{{content | safe}}...
2021-01-26 13:12:03
4558
6
原创 在CentOS7系统上搭建MPI环境
目录前言一、准备工作二、下载并安装mpi安装包1.下载包2.创建目录3.安装mpi到该目录下4.进入目录并编译安装三、配置环境1.编辑环境变量2.检查安装情况前言在Centos7下搭建mpi环境,走了很多弯路,现在整理出一套醉简便的方法,分享给大家,希望可以帮助到需要的人提示:以下是本篇文章正文内容一、准备工作更新yum库yum update下载相关依赖包yum install wget -yyum install gcc gcc-c++ gcc-fortran kernel-de.
2020-08-25 15:47:26
5880
13
原创 CentOS7安装GCC-8.2.0
如何在CentOS7下安装GCC8.2.0)笔者吐槽1.安装低版本的gcc2.依次安装三个依赖包3.配置环境变量4.编译gcc5.检查版本笔者吐槽本人Linux小白,在自学完成一个项目的过程中摸爬滚打,跌跌撞撞花了好长时间才完成了最基础的gcc8.2.0编译器配置,中间出现了很多错误,但是在网上各路大神的博客也没有得到有效解决,最后还是在学习其他知识时偶然得到了解决方法,成功安装了gcc8.2.0。现在写下这篇博客跟大家分享一下我遇到的bug,希望能和大家一起学习共同进步。1.安装低版本的gccyu
2020-08-25 13:14:56
6353
5
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人