What We Talk about-CSDN博客

原创 DataWhale组队学习-Docker-Task1

DataWhale组队学习-Docker-Task1Docker是什么镜像，容器与仓库镜像`Image`容器`Container`仓库`Repository`记录Data-WhaleDocker的组队学习过程，在一个多月前的AI Earth人工智能创新挑战赛的组队学习中，由于官方要求要用Docker提交，第一次接触到了Docker，虽然最后照猫画虎的也提交了，但是对于Docker的内部原理一直也不清楚，希望这次组队学习能让自己对Docker有更深入的了解。Task1的任务是安装Docker并了解Docke

2021-04-12 23:58:55 131

原创 DataWhale集成学习-Task6

DataWhale集成学习-Task6记录DataWhale集成学习的组队学习过程，Task6算是一个阶段性的总结，用SVM和PCA对LFW这个人脸识别数据集进行分类。这是一个多分类问题，先用PCA降维，再用SVM做分类。sklearn官方有LFW人脸识别的教程，感兴趣的朋友可以在官方文档上仔细的看整个流程。具体代码如下：import matplotlib.pyplot as pltfrom sklearn.model_selection import train_test_splitfrom sk

2021-03-30 00:28:43 124

原创 DataWhale集成学习-Task5

DataWhale集成学习-Task5算法对比记录DataWhale集成学习的组队学习过程，Task5主要介绍的是一些基本的分类算法，包括逻辑回归、LDA、朴素贝叶斯和CART。因为绝大部分算法在数据挖掘课上都学过，这里就不过多介绍原理了，感兴趣的同学们可以在开源教材上具体的讲解。本篇博客主要是对比以上几种算法的性能以及打卡。。。算法对比这里我们使用sklearn自带的手写数字digit数据集，因为是多分类，所以使用macro-F1作为模型结果的标准，为消除随机性，使用十折交叉验证。import p

2021-03-28 00:11:28 110

原创集成学习-Task4

DataWhale集成学习-Task4概念超参数调节方法实践记录DataWhale集成学习的组队学习过程，Task4主要介绍的是超参数调节。概念我们可以使用梯度方法等优化算法训练算法的参数，那超参数指的又是什么呢。首先，超参数和模型的普通参数都是未知的参数，都会对模型的性能产生影响。区别在于，超参数会直接影响模型的复杂度，我们在确定模型的超参数后才能对模型进行训练，在一定程度上，模型的超参数决定了模型性能的上限。所以超参数的调节对算法性能影响还是很大的。超参数调节方法常用的超参数调节方法还是手动调

2021-03-25 01:04:05 123

原创集成学习-Task3

DataWhale集成学习-Task3泛化误差和经验损失偏差-方差分解降低方差的方法记录DataWhale集成学习的组队学习过程，Task3主要介绍的是方差偏差理论。泛化误差和经验损失在机器学习中，我们真正感兴趣的使模型能很好的拟合未知数据，设模型为fff,损失函数为L(f(x),y)L(f(x),y)L(f(x),y),带标签的数据由随机变量X,YX,YX,Y独立同分布生成，且联合分布为P(X,Y)P(X,Y)P(X,Y)，由概率论的基础知识我们可以知道，损失函数L(f(x),y)L(f(x),y)

2021-03-22 23:20:10 82

原创 DataWhale集成学习-Task2

DataWhale集成学习-Task2线性回归目标函数的数学意义正规方程解决最小二乘问题线性回归推广广义可加模型决策树回归和支持向量回归记录DataWhale集成学习的组队学习过程，Task2是熟悉机器学习中的回归问题，主要介绍了三种算法：线性回归；决策树回归；支持向量回归。线性回归线性回归，顾名思义就是用线性模型来拟合数据，也就是说假设标签与特征之间存在yi=θTxiy_{i}=\boldsymbol{\theta}^{T} \boldsymbol{x_i}yi=θTxi这样的线性关系，线性回归

2021-03-19 00:19:50 117

原创 DataWhale集成学习-Task1

DataWhale集成学习-Task1回归数据集分类数据集无监督数据集记录DataWhale集成学习的组队学习过程，Task1是熟悉机器学习的三个任务，属于入门级的知识。我们知道，根据样本有无标签，传统机器学习可以分为有监督学习（样本有标签）和无监督学习（样本无标签）。有监督学习中的带标签数据集可表示为：D={(x1,y1),(x2,y2)⋯(xm,ym)}D=\{(\boldsymbol{x_1},y_1),(\boldsymbol{x_2},y_2)\cdots(\boldsymbol{x_m},y

2021-03-15 23:37:06 151

原创 AI Earth人工智能创新挑战赛-使用Docker提交baseline

文章目录AI Earth人工智能创新挑战赛-使用Docker提交baseline本地PC准备数据及代码在阿里云中创建镜像仓库构建镜像并推送AI Earth人工智能创新挑战赛-使用Docker提交baseline记录DataWhale时间序列比赛的组队学习过程，Task1是将已经写好的baseline使用Docker提交到天池平台。本次时间序列比赛由阿里天池主办，地址在这里。baseline及赛题讲解可以参考文章从0梳理1场时间序列赛事。Task1主要关注的是使用Docker在天池平台提交，本文记录使用w

2021-02-21 23:33:28 379

原创 DataWhale-异常检测-Task4

文章目录DataWhale-异常检测-Task4LOF算法PyOD实例DataWhale-异常检测-Task4记录DataWhale的异常检测的学习过程，使用的教材可以在此链接中下载。Task4介绍的是传统的基于密度的异常检测算法，主要介绍的是最常用的Local Outlier Factor(LOF)方法。LOF算法LOF等基于密度的算法可以较好地适应数据集中密度不同的集群情况，密度就是点的聚集程度，点与点之间距离越短，则密度越大。LOF算法为每个点定义了一个局部可达密度，然后用这个点与其周围点的

2021-01-22 00:40:46 141

原创异常检测-PCA方法

文章目录异常检测-PCA方法线性回归-最小二乘拟合目标函数的数学意义正规方程解决最小二乘问题PCA用于异常检测PyOD实例异常检测-PCA方法记录DataWhale的异常检测的学习过程，使用的教材可以在此链接中下载。Task3介绍的是传统的基于线性相关方法的异常检测算法，最常用的是PCA方法，本文先介绍最基本的最小二乘拟合，再从线性回归的角度介绍PCA算法，并主要介绍PCA在异常检测中的原理，最后在breast cancer数据集上对比了PCA与HBOS算法的性能。线性回归-最小二乘拟合基于最小二

2021-01-19 00:15:54 3303 2

原创异常检测-Task2

文章目录异常检测-Task2统计方法概述基于高斯分布的参数方法多元高斯分布高斯混合模型非参数方法-HOSS算法算法思想直方图划分异常检测-Task2记录DataWhale的异常检测的学习过程，使用的教材可以在此链接中下载。Task2介绍的是传统的基于统计方法的异常检测算法，主要可以分为两类，第一类是参数方法，介绍的是使用高斯分布对数据进行建模；第二类是非参数方法，介绍了Histogram-based Outlier Score(HBOS)算法[1]。最后介绍的一个HBOS算法的实例。统计方法概述统

2021-01-15 23:39:59 163

原创 Pandas数据分析-结课作业

文章目录DataWhale-Pandas数据分析-Task11DataWhale-Pandas数据分析-Task11记录DataWhale的Pandas数据分析的学习过程，使用的教材为 joyful-pandas。Task10是pandas的时间序列数据的处理，内容基本可以分为四个部分，第一部分介绍了pandas中时序数据的四个基本对象；第二部分介绍了时间戳的构造，索引，dt对象；第三部分介绍了时间差的构造，dt对象和运算；第三部分介绍了日期偏执对象及其常用方法；第四部分介绍了时序滑动窗口和分组。本篇

2021-01-13 23:54:25 301

原创异常检测-Task1

文章目录DataWhale-异常检测-Task1思维导图PyOD例子DataWhale-异常检测-Task1记录DataWhale的异常检测的学习过程，使用的教材可以在此连接中下载。本次异常检测课程主要是面向初学者，介绍了一些比较成熟的异常检测算法和PyOD这个异常检测库的使用，PyOD的主要完成人是知乎上的微调大佬,微调大佬以前也在知乎上发布过PyOD介绍文章，作为微调大佬多年的老粉，立个flage好好学这门课程。第一章没有讲具体的算法，主要是介绍了异常检测的宏观概念和常用方法。思维导图PyO

2021-01-12 20:20:48 246

原创 Pandas数据分析-Task11

文章目录DataWhale-Pandas数据分析-Task11思维导图练习1-太阳辐射数据集DataWhale-Pandas数据分析-Task11记录DataWhale的Pandas数据分析的学习过程，使用的教材为 joyful-pandas。Task10是pandas的时间序列数据的处理，内容基本可以分为四个部分，第一部分介绍了pandas中时序数据的四个基本对象；第二部分介绍了时间戳的构造，索引，dt对象；第三部分介绍了时间差的构造，dt对象和运算；第三部分介绍了日期偏执对象及其常用方法；第四部分

2021-01-10 23:49:26 115

原创 Pandas数据分析-Task10

文章目录DataWhale-Pandas数据分析-Task10思维导图练习1-统计未出现的类别练习2-钻石数据集DataWhale-Pandas数据分析-Task10记录DataWhale的Pandas数据分析的学习过程，使用的教材为 joyful-pandas。Task10是pandas的类别数据处理，内容基本可以分为三个部分，第一部分介绍category类型的Series的cat对象的属性及类别的增删改等操作；第二部分介绍了有序的category类型，包括顺序的建立及建立后可以进行的一些操作；第三

2021-01-07 23:39:51 149

原创 Pandas数据分析-Task9

文章目录DataWhale-Pandas数据分析-Task9思维导图练习1练习2DataWhale-Pandas数据分析-Task9记录DataWhale的Pandas数据分析的学习过程，使用的教材为 joyful-pandas。Task6是pandas的文本数据处理，内容基本可以分为四个部分，第一部分介绍str对象的基本概念；第二部分正则表达式的基础；第三部分文本处理的5个基本操作；第四部分介绍str对象的常用函数。本篇文章中所有的代码示例中用到的原始文件都可以在此链接中下载。思维导图练习1

2021-01-06 22:13:04 165

原创 Pandas数据分析-Task8

文章目录DataWhale-Pandas数据分析-Task8思维导图练一练DataWhale-Pandas数据分析-Task8记录DataWhale的Pandas数据分析的学习过程，使用的教材为 joyful-pandas。Task6是pandas的缺失值处理，内容基本可以分为三个部分，第一部分介绍缺失值的个数统计与删除；第二部分介绍缺失数据的填充与插值’第三部分介绍Nullable数据类型。本篇文章中所有的代码示例中用到的原始文件都可以在此链接中下载。思维导图练一练思路：利用fillna

2021-01-03 23:41:01 95

原创 Pandas数据分析-Task7

文章目录DataWhale-Pandas数据分析-Task7【任务一】企业收入的多样性【任务二】【任务三】DataWhale-Pandas数据分析-Task7记录DataWhale的Pandas数据分析的学习过程，本次是期中测试，测试前面6章学的怎么样（划水的菜鸡瑟瑟发抖）。本篇文章中的测试题及源数据可以从此链接中下载，需要的可以点击链接自取。【任务一】企业收入的多样性思路：有两个表company和company_data,最后的结果应该是两个表连接成一个表，需要在company_data这个表

2021-01-01 23:48:34 223

原创 Pandas数据分析-Task6

文章目录DataWhale-Pandas数据分析-Task6关系型连接值连接-merge()练一练索引连接-join()方向连接表格间方向连接-concat()DataWhale-Pandas数据分析-Task6记录DataWhale的Pandas数据分析的学习过程，使用的教材为 joyful-pandas。Task6是pandas的连接相关的知识，内容基本可以分为三个部分，第一部分介绍了关系型连接，包括值连接merge()函数和索引连接join()函数；第二部分介绍了方向连接，包括拼接多个表的pd.

2020-12-29 23:54:01 121

原创 Pandas数据分析-Task5

文章目录DataWhale-Pandas数据分析-Task5长宽表变形长表变宽表：pivot()方法长表变宽表+聚合函数：pivot_table()方法练一练宽表变长表：melt()方法索引变形常用函数crosstab 函数练一练get_dummiesDataWhale-Pandas数据分析-Task5记录DataWhale的Pandas数据分析的学习过程，使用的教材为 joyful-pandas。Task4是pandas的变形函数，分为三个部分，第一部分介绍长宽表变形，包括pivot(),pivot

2020-12-27 23:52:12 173

原创 Pandas数据分析-Task4

文章目录DataWhale-Pandas数据分析-Task4分组函数分组基本操作Groupby对象练一练聚合、变换、过滤聚合方法-agg()练一练练一练练一练变换方法-transfrom()练一练：练一练过滤方法-filter()练一练apply()在分组中的应用练一练练一练练一练练习DataWhale-Pandas数据分析-Task4记录DataWhale的Pandas数据分析的学习过程，使用的教材为 joyful-pandas。Task4是pandas的分组相关的知识（相比前几天任务量小一些，菜鸡

2020-12-25 20:29:22 805

原创 Pandas数据分析-Task3

文章目录DataWhale-Pandas数据分析-Task3索引器基本索引loc索引与iloc索引练一练query查询sample 随机抽样多级索引loc多级索引练一练构造多级索引索引常用方法索引层交换与删除索引的属性修改练一练索引设置于重置索引的集合运算练习练习1：员工数据集练习2：巧克力数据集DataWhale-Pandas数据分析-Task3记录DataWhale的Pandas数据分析的学习过程，使用的教材为 joyful-pandas。Task3是pandas的索引相关的知识，先介绍了基本的索

2020-12-22 22:33:59 382 1

原创 Pandas数据分析-Task2

文章目录DataWhale-Pandas数据分析-Task2文件读取与写入文件读取文件写入Series与DataFrame常用函数统计函数去重复值函数替换函数练一练排序函数窗口对象滑动窗口练一练扩张窗口练一练练习练习1：口袋妖怪数据集DataWhale-Pandas数据分析-Task2记录DataWhale的Pandas数据分析的学习过程，使用的教材为 joyful-pandas。Task2是pandas的基础，包含文件读取与写入，Series与DataFrame,常用函数，窗口对象。最后是练习题。本

2020-12-19 23:44:47 804 1

原创 Pandas数据分析-Task1

这里写自定义目录标题DataWhale-Pandas数据分析-Task1Python基础复习列表推导式map函数如何改变文本的样式如何插入一段漂亮的代码片DataWhale-Pandas数据分析-Task1记录DataWhale的Pandas数据分析的学习过程，Task1包含Python与numpy的复习，Python包含列表推导式，匿名函数，zip函数；Nump介绍了接着写Python基础复习列表推导式列表推导式目的：快速生成新的列表，简化程序。列表推导式格式：[表达式1 for循环语句 0

2020-12-16 18:16:20 182

原创 FCN论文笔记

一．Introduction 全卷积网络（FCN）是用于图片语义分割的一种卷积神经网络（CNN），由Jonathan Long，Evan Shelhamer 和Trevor Darrell提出，由此开启了深度学习在语义分割中的应用。语义分割是计算机视觉领域很重要的一个分支，在自动驾驶、地面检测等方面都起到很重要作用。与简单区分前景后景的图像分割技术不同，语义分割则不仅是区分每个像素...

2019-09-09 10:13:06 1239 1

none的博客