- 博客(66)
- 收藏
- 关注
RSS订阅原创 Reinforcement Learning 强化学习（三）
用查找表的强化学习方法称为表格型方法（tabular method），如蒙特卡洛、Q学习和Sarsa。
2022-07-19 22:16:24
433
原创 数据结构与算法（总结）
总结：一、数据结构（Data Structure） 是数据的组织结构，用来组织、存储数据。算法（Algorithm） 就是解决问题的方法或者过程。二、数据结构分为逻辑结构和物理结构。逻辑结构分为集合结构、线性结构、树形结构、图形结构；物理结构分为顺序存储结构、链式存储结构。三、算法是一系列运算步骤。算法有5个基本特性，输入、输出、有穷性、确定性、可行性；算法最求5个目标，正确性、可读性、健壮性、运行时间少、内存空间小。四、「数组」 是实现线性表的顺序结构存储的基础；「链表」 是实现线性表的链式存储结
2022-04-23 20:40:21
52142
1
原创 sklearn机器学习（八）
Task08本次学习参照Datawhale开源学习：https://github.com/datawhalechina/machine-learning-toy-code/tree/main/ml-with-sklearn内容安排如下，主要是一些代码实现和部分原理介绍。8. 可视化机器学习可视化有助于我们分析模型效果、理解模型原理、对比模型优劣。本章将介个不同的机器学习任务分别对回归、分类、聚类给出可视化实例。8.1 回归直接用matplotlib画出线性回归直线：import numpy
2022-01-05 23:24:38
1116
原创 sklearn机器学习（七）
Task07本次学习参照Datawhale开源学习：https://github.com/datawhalechina/machine-learning-toy-code/tree/main/ml-with-sklearn内容安排如下，主要是一些代码实现和部分原理介绍。7. 集成学习上一章中我们谈到维度灾难照成模型效果下降问题，处理这样的高维问题除了使用降维方法，还有一个常用的方法是子空间方法。集成是子空间思想中常用的方法之一，它将多个在子空间表现较好的算法或基检测器的输出结合起来。集成学习通过构
2022-01-03 01:33:04
943
原创 sklearn机器学习（六）
Task06本次学习参照Datawhale开源学习：https://github.com/datawhalechina/machine-learning-toy-code/tree/main/ml-with-sklearn内容安排如下，主要是一些代码实现和部分原理介绍。6. 主成分分析6.1. 维数灾难假设训练样本采样密度足够大，任意测试样本xxx附件任意小的距离δ\deltaδ范围内总能找到一个训练样本。但是这个假设在现实任务中通常很难满足，例如若δ=0.001\delta=0.001δ=0.
2021-12-30 22:09:50
1194
原创 sklearn机器学习（五）
Task05本次学习参照Datawhale开源学习：https://github.com/datawhalechina/machine-learning-toy-code/tree/main/ml-with-sklearn内容安排如下，主要是一些代码实现和部分原理介绍。5. k均值聚类无监督学习训练样本的标签信息是未知的，目标是通过对无标签训练样本的学习来揭示数据的内在性质及规律，此类学习应用最广的是聚类。聚类试图将数据集中的样本划分为若干个通常不相交的子集，每个子集称为一个“簇”。5.1. 性
2021-12-27 20:27:39
865
原创 sklearn机器学习（四）
Task04本次学习参照Datawhale开源学习：https://github.com/datawhalechina/machine-learning-toy-code/tree/main/ml-with-sklearn内容安排如下，主要是一些代码实现和部分原理介绍。4. 决策树决策树是一种基本的分类与回归方法。在分类问题中，它可以认为是if-then规则的集合，也可以认为是定义在特征空间与类空间上的条件概率分布。学习时，利用训练数据根据损失函数最小化原则建立决策树模型。预测时，对新的数据利用决
2021-12-24 17:23:24
985
原创 sklearn机器学习（三）
Task03本次学习参照Datawhale开源学习：https://github.com/datawhalechina/machine-learning-toy-code/tree/main/ml-with-sklearn内容安排如下，主要是一些代码实现和部分原理介绍。3. 贝叶斯分类器3.1. 贝叶斯决策论贝叶斯决策论是概率框架下实施决策的基本方法。对于分类任务，贝叶斯决策论在所有相关概率都已知的理想情形下考虑如何基于这些概率和误判损失来选择最优的类别标记。假设有N种可能科类别标记，即y=c1
2021-12-21 23:48:57
671
原创 sklearn机器学习（二）
Task02本次学习参照Datawhale开源学习：https://github.com/datawhalechina/machine-learning-toy-code/tree/main/ml-with-sklearn内容安排如下，主要是一些代码实现和部分原理介绍。2. 支持向量机支持向量机（Support Vector Machine, SVM）是监督学习方式对数据进行二元分类的广义线性分类器（generalized linear classifier），其决策边界是对学习样本求解的最大边距
2021-12-18 21:52:53
1397
原创 sklearn机器学习（一）
Task01本次学习参照Datawhale开源学习：https://github.com/datawhalechina/machine-learning-toy-code/tree/main/ml-with-sklearn内容安排如下，主要是一些代码实现和部分原理介绍。个人总结：一、1. 线性回归和Logistic回归回归就是研究自变量X对于因变量Y的影响。回归有多种分类方式，根据因变量的不同，分成几种回归：连续：多重线性回归二项分布：logistic回归poisson分布：poisso
2021-12-15 19:14:18
2105
原创 Matplotlib数据可视化（五）
Task05本次学习参照Datawhale开源学习：https://github.com/datawhalechina/fantastic-matplotlib内容大体源自原文，结合自己学习思路有所调整。个人总结：一、常见的样式方法有4种，分别是预定义样式，自定义样式，rcparams和matplotlibrc文件。 二、常见的颜色方法有两种，分别是5种单色颜色，colormap多色5. 样式色彩本章介绍matplotlib中样式和颜色的使用。常见的样式方法有4种，分别是预定义样式，自定义样式，
2021-11-28 19:04:39
202
原创 Matplotlib数据可视化（四）
Task04本次学习参照Datawhale开源学习：https://github.com/datawhalechina/fantastic-matplotlib内容大体源自原文，结合自己学习思路有所调整。个人总结：一、Matplotlib主要有pyplot API和objected-oriented API两种创建文本的方式。2、文本设置也分为直接设置和使用实例化方法设置两种方式。4. 文字图例Matplotlib具有广泛的文本支持。主要有pyplot API和objected-oriented
2021-11-26 19:16:37
1796
原创 Matplotlib数据可视化（三）
Task03本次学习参照Datawhale开源学习：https://github.com/datawhalechina/fantastic-matplotlib内容大体源自原文，结合自己学习思路有所调整。个人总结：一、使用 plt.subplots和GridSpec可分别绘制均匀和非均匀子图。两种方法都是创建一个ax再画图，属于“面向对象”画图，区别如plt.plot()直接“快速式”画图。二、 ax 对象上定义了和 plt 类似的图形绘制函数。常用的有： plots hist, scatter, b
2021-11-23 19:57:05
504
原创 Matplotlib数据可视化（二）
Task02本次学习参照Datawhale开源学习：https://github.com/datawhalechina/fantastic-matplotlib内容大体源自原文，结合自己学习思路有所调整。个人总结：一、matplotlib有三个层次的API：FigureCanvas、Renderer、Artist。前两个处理程序和计算机的底层交互，第三项Artist就是具体的调用接口来作图。二、Artist有两种类型：primitives 和containers。primitive是内容要素，画具体的
2021-11-21 23:20:18
864
原创 Matplotlib数据可视化（一）
Task01本次学习参照Datawhale开源学习：https://github.com/datawhalechina/fantastic-matplotlib内容大体源自原文，结合自己学习思路有所调整。个人总结：一、matplotlib是python数据可视化最重要且常见的工具之一，理解matplotlib的设计框架有助于提高绘图效率。二、一个完整的matplotlib图像由下至上通常会包括以四个层级：Figure、Axes、Axis、Tick。三、matplotlib提供了两种最常用的绘图接口：1
2021-11-16 18:47:07
1250
原创 机器学习—西瓜书（五）
Task05 第六章本次学习基于周志华老师《机器学习》，以思维导图形式记录，不含公式推导。公式推导推荐南瓜书：https://github.com/datawhalechina/pumpkin-book个人小结：一、支持向量机的三个重要特点：间隔、对偶、核技巧。二、支持向量模型就是要找到最优的划分平面，离支持向量距离最大的超平面就是该最优平面，因此可以表示为有不等式约束的极值问题。三、使用拉格朗日乘子法将目标函数转换为拉格朗日函数，将问题变成对偶问题的求解。四、对非线性可分问题，可采用核函数将样本从原始
2021-10-31 23:42:01
275
1
原创 机器学习—西瓜书（四）
Task04 第五章本次学习基于周志华老师《机器学习》，以思维导图形式记录，不含公式推导。公式推导推荐南瓜书：https://github.com/datawhalechina/pumpkin-book个人小结：一、神经网络通过参数和激活函数来表示输入与输出间的关系，阶跃函数具有不连续、不光滑等不太好的性质，因此实际常用Sigmoid函数作为激活函数。二、感知机是一种单层的神经网络结构，只能处理与、或、非线性可分问题，不能处理亦或这样的非线性可分问题。处理非线性需要多层感知机或其它神经网络结构。三、BP
2021-10-28 00:27:58
318
原创 机器学习—西瓜书（三）
Task03 第四章本次学习基于周志华老师《机器学习》，以思维导图形式记录，不含公式推导。公式推导推荐南瓜书：https://github.com/datawhalechina/pumpkin-book个人小结：一、决策树的基本原理就是分而治之，不断划分；二、决策树的关键是怎样选择最优划分属性，常见的划分方法有信息增益、增益率、基尼系数等；三、剪枝可以防止过拟合，包括预剪枝、后剪枝两种方法；四、对每个样本赋予权重可以处理缺失属性问题，这样不浪费属性不完整的样本；五、对每个属性赋予权重可以处理划分太复杂问
2021-10-24 23:13:48
259
原创 机器学习—西瓜书（二）
Task02 第三章本次学习基于周志华老师《机器学习》，以思维导图形式记录，不含公式推导。公式推导推荐南瓜书：https://github.com/datawhalechina/pumpkin-book个人小结：一、机器学习分为模型、策略、算法三个部分。对于线性模型，策略可以为均方误差最小化，算法可以为最小二乘法。二、对数几率回归是用一个SIGMOD函数将分类任务的真实标记y与线性回归模型预测值联系起来以达到分类目的。三、线性判别分析给定训练样例集，设法将样例投影到一条直线上, 使得同类样例的投影点尽可
2021-10-19 00:12:41
152
原创 机器学习—西瓜书（一）
Task01 第一章、第二章本次学习基于周志华老师《机器学习》，以思维导图形式记录，不含公式推导。公式推导推荐南瓜书：https://github.com/datawhalechina/pumpkin-book个人小结：一、第一章主要介绍了机器学习的基础概念、基本术语和发展历程，本书中的机器学习大多是归纳学习的思想。二、第二章主要介绍了如何评估、选择模型。评估方法有留出法、交叉验证法、自助法等；性能度量对于回归有均方误差等，对于分类有查准率、查全率、F1、ROC、AUC、代价敏感等。三、通过测试错误率来
2021-10-13 00:25:29
574
转载 Learn NLP with Transformer (Chapter 10)
10. 机器翻译Task10 机器翻译本次学习参照Datawhale开源学习：https://github.com/datawhalechina/learn-nlp-with-transformers内容大体源自原文，结合自己学习思路有所调整。个人总结：机器翻译和其它任务类似，均包括：加载数据、预处理数据、微调预训练模型三个步骤。我们将展示如何使用Transformers代码库中的模型来解决自然语言处理中的翻译任务。我们将会使用WMT dataset数据集。这是翻译任务最常用的数据集之一。下面展
2021-09-30 16:09:51
423
转载 Learn NLP with Transformer (Chapter 9)
9. 问答任务Task09 问答任务本次学习参照Datawhale开源学习：https://github.com/datawhalechina/learn-nlp-with-transformers内容大体源自原文，结合自己学习思路有所调整。是抽取式问答任务：给定一个问题和一段文本，从这段文本中找出能回答该问题的文本片段（span）。通过使用Trainer API和dataset包，我们将轻松加载数据集，然后微调transformers。下图给出了一个简单的例子：Note: 注意：本文的问答任务
2021-09-29 11:36:15
264
转载 Learn NLP with Transformer (Chapter 8)
8. 序列标注Task08 文本分类本次学习参照Datawhale开源学习：https://github.com/datawhalechina/learn-nlp-with-transformers内容大体源自原文，结合自己学习思路有所调整。个人总结：一、序列标注任务结构和文本分类类似，包括：加载数据、预处理数据、微调预训练模型。二、微调预训练模型时，序列标注任务多一个data_collator步骤，它是一个数据收集器，将数据喂给模型。序列标注，通常也可以看作是token级别的分类问题：token
2021-09-27 18:07:53
291
转载 Learn NLP with Transformer (Chapter 7)
7. 文本分类Task07 文本分类本次学习参照Datawhale开源学习：https://github.com/datawhalechina/learn-nlp-with-transformers内容大体源自原文，结合自己学习思路有所调整。本章节主要内容包含三部分内容：pipeline工具演示NLP任务处理构建Trainer微调模型文本分类、超参数搜索任务7.1. 简介本章节将使用 Hugging Face 生态系统中的库——Transformers来进行自然语言处理工作(NLP)
2021-09-25 22:56:35
2015
转载 Learn NLP with Transformer (Chapter 6)
BERT应用Task06 BERT应用本次学习参照Datawhale开源学习：https://github.com/datawhalechina/learn-nlp-with-transformers内容大体源自原文，结合自己学习思路有所调整。个人总结：一、BERT 预训练任务包括Masked Language Model（MLM训练模型根据上下文理解单词的意思）和Next Sentence Prediction（NSP训练模型理解预测句子间的关系）。二、 Fine-tune 包括句子分类、多项选择
2021-09-24 00:07:56
1119
转载 Learn NLP with Transformer (Chapter 5)
BERT代码Task05 BERT代码本次学习参照Datawhale开源学习：https://github.com/datawhalechina/learn-nlp-with-transformers内容大体源自原文，结合自己学习思路有所调整。个人总结：HuggingFace着手实现了Bert模型，这一项目也发展成为一个较大的开源社区。值得注意的是，在 HuggingFace 实现的 Bert 模型中，使用了多种节约显存的技术。本篇章将不展示具体代码，只介绍各个参数各每个模块的输入输出。具体代码基
2021-09-21 22:24:27
378
转载 Learn NLP with Transformer (Chapter 4)
图解GPTTask04 GPT本次学习参照Datawhale开源学习：https://github.com/datawhalechina/learn-nlp-with-transformers内容大体源自原文，结合自己学习思路有所调整。个人总结：GPT-2是基于Transformer的Decoder构建的一种自回归语言模型。由于GPT-2是基于Decoder构建，使用的是masked Self Attention，所以该模型只能看到左边的信息。4. GPT4.1 语言模型和GPT-2GPT-
2021-09-19 23:35:42
222
转载 Learn NLP with Transformer (Chapter 3)
Task03 BERT本次学习参照Datawhale开源学习：https://github.com/datawhalechina/learn-nlp-with-transformers内容大体源自原文，结合自己学习思路有所调整。个人总结：一、BERT模型结构基本上就是Transformer的encoder部分。BERT训练过程分为预训练和微调。预训练使用大量语料，减少重复性工作；然后在预训练好的参数基础上增加一个与任务相关的神经网络层，并在该任务的数据上进行微调训，以针对具体任务取得好的效果。二、
2021-09-17 23:43:27
216
转载 Learn NLP with Transformer (Chapter 2)
Task02 Attention和Transformer本次学习参照Datawhale开源学习：https://github.com/datawhalechina/learn-nlp-with-transformers内容大体源自原文，结合自己学习思路有所调整。2. Attention和Transformer本教程的学习路径是：Attention->Transformer->BERT & GPT->NLP应用。2.1. 图解AttentionAttention出现的原因
2021-09-16 00:06:51
404
原创 Learn NLP with Transformer (Chapter 1)
Task01 NLP和Transformer介绍本次学习参照Datawhale开源学习：https://github.com/datawhalechina/learn-nlp-with-transformers1. 自然语言处理(Natural Language Processing, NLP)本教程将会基于最前沿的深度学习模型结构（transformers）来解决NLP里的几个经典任务。通过本教程的学习，我们将能够了解transformer相关原理、熟练使用transformer相关的深度学习模型来
2021-09-13 22:58:53
377
原创 SQL语言（六）
第6章：习题练习一: 各部门工资最高的员工（难度：中等）创建Employee 表，包含所有员工信息，每个员工有其对应的 Id, salary 和 department Id。+----+-------+--------+--------------+| Id | Name | Salary | DepartmentId |+----+-------+--------+--------------+| 1 | Joe | 70000 | 1 || 2 | H
2021-08-30 23:59:58
631
原创 SQL语言（五）
第5章：SQL高级处理本次学习参考Datawhale开源学习wonderful-sql本文整体内容参考上述链接，此外每步语句都将进行实现并展示结果，同时给出习题解。5.1 窗口函数5.1.1 窗口函数概念及基本的使用方法窗口函数也称为OLAP函数。OLAP 是 OnLine AnalyticalProcessing 的简称，意思是对数据库数据进行实时分析处理。为了便于理解，称之为 窗口函数。常规的SELECT语句都是对整张表进行查询，而窗口函数可以让我们有选择的去某一部分数据进行汇总、计算和排序
2021-08-27 22:48:24
906
原创 SQL语言（四）
第4章：集合运算4.1 表的加减法4.1.1 什么是集合运算表、视图和查询的执行结果都是记录的集合, 其中的元素为表或者查询结果中的每一行。在标准 SQL 中, 分别对检索结果使用 UNION, INTERSECT, EXCEPT 来将检索结果进行并,交和差运算, 像UNION,INTERSECT, EXCEPT这种用来进行集合运算的运算符称为集合运算符。以下的文氏图展示了几种集合的基本运算。在数据库中, 所有的表以及查询结果都可以视为集合, 因此也可以把表视为集合进行上述集合运算, 在很多时
2021-08-23 16:28:59
291
原创 SQL语言（三）
第3章 复杂一点的查询本次学习参考Datawhale开源学习wonderful-sql本文整体内容参考上述链接，此外每步语句都将进行实现并展示结果，同时给出习题解。3.1 视图操作视图与操作表看起来是完全相同的，那么为什么还会有视图的存在呢？视图到底是什么？视图与表有什么不同呢？3.1.1 什么是视图视图是一个虚拟的表，是依据SELECT语句来创建的一张虚拟表，然后在这张虚拟表上做SQL操作。3.1.2 视图与表有什么区别视图与表的区别：是否保存了实际的数据。视图并不是数据库真实存储的数据表
2021-08-19 16:25:31
425
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人