- 博客(78)
- 资源 (11)
- 收藏
- 关注
RSS订阅
原创 这是一个小“废”贴
我的学习目录一，数据处理Pandas 数据处理二，机器学习1，k - 邻近算法2，线性回归3，决策树4，朴素贝叶斯算法三，数据库（SQL）1，数据库系统原理2，SQL语言四，数据结构与演算法1，算法与算法分析2，树3，排序一，数据处理Pandas 数据处理传送门：机器学习-Pandas 数据的前处理不定期更新二，机器学习1，k - 邻近算法传送门：使用sklearn中提供的k邻...
2020-04-01 22:47:26
1435
1
原创 深度学习 - 模型的保存、读取、重置及添加检查点
这里写自定义目录标题保存 / 读取整个模型（保留模型架构+权重+优化器配置）提取模型架构（舍弃权重，及优化器）提取 / 保存模型权重在训练期间保存检查点本片使用 Keras中的fashion_mnist图片数据集import numpy as npimport matplotlib.pyplot as pltimport tensorflow as tffrom tensorflow import kerasfashion_mnist = keras.datasets.fashion_mni
2020-09-16 10:58:08
2365
原创 深度学习 - 多输出模型实例
这里写自定义目录标题数据处理构建模型使用多输出模型进行预测数据处理目标：识别图片（分别以颜色和服饰分类）根据路径提取数据，并进行解码等操作import tensorflow as tffrom tensorflow import keras# 解码图片数据def load_and_preprocess_image(path): image = tf.io.read_file(path) image = tf.image.decode_jpeg(image, channels
2020-09-15 21:24:40
2941
原创 深度学习 - VGG16介绍及预训练神经网络的使用
这里写自定义目录标题什么是VGG开头神经网络调用预训练模型（代码）加载预训练网络构建完整的模型模型的初步训练（训练自定义层）对模型进行微调（训练部分VGG16层及自定义层）官方所有的预训练网络说明：链接????在Keras中提供了以下图像分类模型的代码和预训练的权重：均可以使用keras.applications 模块进行导入：（可以从下边复制）from keras.applications.xception import Xceptionfrom keras.applications.vgg1
2020-09-15 19:24:51
19146
原创 深度学习 - 图片增强（实例说明）
这里写自定义目录标题数据处理提取数据内容及标签解码图片，并提取类别（图片增强，本节重点）构建数据集构建模型使用汇总计算模块进行模型的优化使用汇总计算模块构建优化器训练模型import osimport globimport numpy as npimport tensorflow as tffrom tensorflow import kerasimport matplotlib.pyplot as plt%matplotlib inline数据处理提取数据内容及标签提取所有数据的
2020-09-15 18:13:57
1028
原创 深度学习 - Tensor类型的数据进行微分计算
对变量进行微分计算v2 = tf.Variable([[1.0, 2.0], [3.0, 4.0]])# 跟踪变量变化（计算）# 函数 loss = x^2with tf.GradientTape() as t: loss = v2 * v2# 进行微分计算# 现对函数loss进行微分，再将v2的值依次代入loss的微分函数计算得值grad = t.gradient(loss, v2)grad# 函数 loss = x^2# 微分函数 loss‘ = 2*x>>
2020-09-15 17:57:48
277
原创 深度学习 - 关于batch，repeat，shuffle的讲解
这里是目录标题batch函数讲解repeat函数讲解shuffle函数讲解顺序对比：可以自己print出来看一下，顺序不同每一个数据的意义是不相同的本篇博客主要讲解tf.data.Dataset的batch，repeat，shuffle函数，最后着重讲它们之间的顺序使用问题。查询可用：tf.data.Dataset官方文档内容参考：链接????batch函数讲解以下先创建一个Dataset类型import tensorflow as tft = tf.range(10.)[:, None]t
2020-09-15 17:35:26
2412
原创 深度学习 - metric / losses汇总计算模块
这里写自定义目录标题**以均值为例`tf.keras.metrics.Mean`**官方文档????：Module: tf.keras.metrics汇总计算模块用法的流程：新建一个metric增加数据metric()/metric.updata_state()取出数据result().numpy()重置清零数据reset_states以均值为例tf.keras.metrics.Mean首先，构建一个Mean实例m = tf.keras.metrics.Mean('均值')添加单个
2020-09-15 16:51:22
738
原创 深度学习 - 序列问题-电影评论实例（二分类问题）
这里是自定义目录标题数据的引入和处理构建模型Embedding层，将整数转化为向量数据扁平化层Dense全连接层和Dropout层（抑制过拟合）构建优化器import tensorflow as tffrom tensorflow import kerasfrom tensorflow.keras import layersimport matplotlib.pyplot as plt数据的引入和处理这里是用的是Keras中的 IMDB 电影评论情感分类数据集（官方网站????）数据集来自
2020-09-15 15:39:37
663
原创 深度学习 - 优化器中的损失函数总结
keras model.compile(loss='目标函数 ', optimizer=‘adam’, metrics=[‘accuracy’])深度学习笔记目标函数的总结与整理目标函数，或称损失函数，是网络中的性能函数，也是编译一个模型必须的两个参数之一。由于损失函数种类众多，下面以keras官网手册的为例。在官方keras.io里面，有如下资料：mean_squared_error或msemean_absolute_error或maemean_absolute_percentage_err
2020-09-15 15:30:38
1492
原创 批标准化层 tf.keras.layers.Batchnormalization()
tf.keras.layers.Batchnormalization()重要参数： training：布尔值，指示图层应在训练模式还是在推理模式下运行。 training=True：该图层将使用当前批输入的均值和方差对其输入进行标准化。 training=False：该层将使用在训练期间学习的移动统计数据的均值和方差来标准化其输入。BatchNormalization 广泛用于 Keras 内置的许多高级卷积神经网络架构，比如 ResNet50、Inception V3 和 X
2020-09-15 00:22:45
11952
原创 深度学习 - 卷积神经网络（CNN）介绍+实例说明
卷积神经网络（CNN）简介CNN基础前面我们讲解了机器学习基础知识，包括多层感知器等问题。下面我们要介绍的目标识别与分类，就是在前面问题的基础上进行扩展，实现对于图像等分类和识别。实现对图像的高准确率识别离不开一种叫做卷积神经网络的深度学习技术。卷积神经网络主要应用于计算机视觉相关任务，但它能处理的任务并不局限于图像，其实语音识别也是可以使用卷积神经网络。下面将专注于在keras中使用卷积神经网络（CNN）来处理图像。我们将使用识别Mnist手写数字、cifar10图像数据以及猫和狗图像识别数据
2020-09-15 00:15:26
7426
2
原创 认识图像数据
认识图像数据❗️更多内容：连接我们以 train_image.shape = (60000, 28, 28) 为例，他们分别代表了（样本数，高/像素个数，宽/像素个数）样本数是不重要的（后边会直接写作None），则单独看其中一张图片，则它的数据应该为（28，28）是2维数据；而通常图片一般为三维数据，例如（28，28，3）他们分别代表（高/像素个数，宽/像素个数，通道个数）其中的通道个数则表示色彩上的分量，每个分量单独拿出来都是一个（28，28，1）的矩阵。常见的通道个数1: 位图模式的图
2020-09-14 23:25:56
1070
原创 np.expand_dims(data, axis=int)增加数据维度
增加数据维度 new_data = np.expand_dims(data, axis=int)参数axis表示：在哪里加一个维度，其对应的是data.shape中的位置索引（axis<=len(data.shape)）,0表示最前，-1表示最末。假设原始数据 data.shape = （28，28，1），则：axis = 0时：（28，28，1）???? （1，28，28，1）axis = 1时：（28，28，1）???? （28，1，28，1）axis = -1时：（28，28，1）
2020-09-14 23:22:15
499
原创 深度学习 - 建立模型的三种方式
逐层增加model = tf.keras.Sequential() model.add(tf.keras.layers.Flatten(input_shape=(28, 28)))model.add(tf.keras.layers.Dense(32, activation='relu'))model.add(tf.keras.layers.Dropout(0.5))model.add(tf.keras.layers.Dense(64, activation='relu'))model.ad
2020-09-14 22:52:00
1851
原创 深度学习 - 模型的优化和过拟合问题
优化函数、学习速率与反向传播算法学习速率（learning_rate）梯度就是表明损失函数相对参数的变化率,对梯度进行缩放的参数被称为学习速率（learning rate）；学习速率是一种超参数或对模型的一种手工可配置的设置,需要为它指定正确的值。如果学习速率太小，则找到损失函数极小值点时可能需要许多轮迭代；如果太大，则算法可能会“跳过”极小值点并且因周期性的“跳跃”而永远无法找到极小值点。在具体实践中，可通过查看损失函数值随时间的变化曲线，来判断学习速率的选取是合适的。合适的学习速率，损失函
2020-09-14 22:30:20
2968
原创 独热编码、顺序编码与softMax多分类
激活函数：softmax分类对数几率回归解决的是二分类的问题，对于多个选项的问题，我们可以使用softmax函数，它是对数几率回归在 N 个可能不同的值上的推广。Softmax层的作用神经网络的原始输出不是一个概率值，实质上只是输入的数值做了复杂的加权和与非线性处理之后的一个值而已，那么如何将这个输出变为概率分布？这就是Softmax层的作用。softmax要求每个样本必须属于某个类别，且所有可能的样本均被覆盖，softmax各样本分量之和为 1；当只有两个类别时，与对数几率回归完全相同。
2020-09-14 21:30:15
3931
原创 深度学习 - 构建多层感知器
这里写目录标题引用到的包一，tf.kears.Dense()实现线性回归（梯度下降法）1，读取数据2，构建全连接模型（单层）二，构建多层感知器（神经网路）三，逻辑回归的实现引用到的包import pandas as pdimport matplotlib.pyplot as pltimport tensorflow as tftf.__version__>>>'2.0.0'一，tf.kears.Dense()实现线性回归（梯度下降法）1，读取数据data = pd.r
2020-09-14 19:50:10
1015
原创 深度学习 - 图像定位（一起来学习怎么锁狗头吧～）
这里是目录标题使用到的包读取单张图片数据，并根据信息绘制矩形框读取矩形框数据（.xml文件）图片 / xml数据的预处理创建输入管道（提取数据）接下来提取图片数据和矩形框数据构建图像定位网络模型（需要使用到预训练网络）存储训练好的模型，并重新调用图像定位的优化（补充）使用到的包import tensorflow as tf # 深度学习import matplotlib.pyplot as plt # 画图from matplotlib.patches import Rectangle # 绘
2020-09-14 19:05:56
2404
原创 范式篇 - BCNF、3NF和4NF
文章目录Boyce - Codd范式检查是否为BCNFBCNF 分解算法BCNF与保持依赖第三范式（3NF）- 动机BCNF 与 3NF的比较Boyce - Codd范式具有函数依赖集合F的关系模式R属于BCNF的条件是，当且仅当对F+中所有函数依赖α → β（其中，α包含于β，且β包含于R），下列至少有一项成立：α → β是平凡的函数依赖（即，β包含于α）α是R的超码（即，R包含于α+，α → R）回顾：公共部分是否已子关系的键 → 无损连接分解检查是否为BCNF为检查非平凡依赖α →
2020-06-26 09:37:01
4681
原创 函数依赖和关系模式分解
文章目录一，第一范式关系数据库设计中易犯的错误数据冗余插入、删除、修改异常模式分解函数依赖（FD）函数依赖的使用函数依赖集的闭包Armstrong 公理计算 F^+^属性集的闭包属性闭包的用途正则覆盖无关属性检测属性是否无关一，第一范式如果某个域中元素被认为是不可分的，则这个域称为是原子的非原子域的例子:---- 复合属性：名字集合---- 多值属性：电话号码---- 复合数据类型：面向对象的如果关系模式R中的所有属性的域是原子的，则R称为属于第一范式（1NF）非原子值存储复杂并易导致数
2020-06-23 10:11:40
5137
原创 10分钟了解关键路径及如何求得关键路径
文章目录一，什么是关键路径二，求解关键路径需要的4个描述量三，如何求得关键路径视频参考：6.6.4关键路径2–求解关键路径一，什么是关键路径【引例 1】某项目的任务是对A公司的办公室重新进行装修如果10月1日前完成装修工程，项目最迟应该合适开始？（需要完成的活动、每个活动所需时间、及先期需完成工作如下图所示）【引例 2】准备一个小型家庭宴会，晚6点宴会开始，最迟几点开始准备？压缩哪项活动时间可以使总时间减少？我们把工程计划表示为边表示活动的网络，即 AOE网，用顶点表示事件，弧表示活动，弧
2020-06-10 19:01:44
53683
5
原创 使用Dijkstra/Floyd算法解决最短路径问题
文章目录一，最短路径问题抽象1.1 单源（两点之间）最短路径 - Dijkstra算法1.2 某源点到其他各点的最短路径 - Floyd算法一，最短路径问题抽象典型用途： 交通网络问题（从甲地到乙地是否有公路连通？哪一条路是最短的？）交通网络用有向网来表示：顶点 — 表示地点；弧 — 表示两个地点之间有路连通；弧上的权值 — 表示两地之间的距离、交通费或途中所花费的时间等。如何能够使运输时间最短或运费最少？这就是一个求两个地点间的最短路径问题。问题抽象： 在有向网中 A 点（源点）到达
2020-06-10 09:20:02
626
原创 什么是最小生成树以及如何构建
文章目录一，概念回顾 - 生成树1.1 什么是生成树1.2 如何建立无向图的生成树二，最小生成树（Minimum Spanning Trees）2.1 最小生成树的典型用途2.2 构造最小生成树（MST）2.2.1 MST 性质2.2.2 Prim 算法构建最小生成树2.2.3 Kruskal 算法构建最小生成树2.2.4 Prim 与 Kruskal 算法比较预习：图的基本概念及图演算法一，概念回顾 - 生成树1.1 什么是生成树生成树：所有顶均由边链接在一起，但不存在回路的图。多一条边会出现
2020-06-09 21:46:00
4975
1
原创 什么是拓扑排序及其Python实现
文章目录一，有向无环图1.1 什么是有向无环图1.2 有向无环图的应用1.3 如何表示子工程（活动）二，拓扑排序2.1 AOV 网的特点2.2 拓扑排序2.2.1 定义与方法2.2.2 检测 AOV网中是否存在回路三，Python实现拓扑排序参考视频：数据结构与算法基础–第11周09–6.6图的应用9–6.6.3拓扑排序一，有向无环图1.1 什么是有向无环图有向无环图：无环的有向图，简称：DAG图（Directed Acycline Graph）1.2 有向无环图的应用有向无环图常用来描述一
2020-06-09 17:10:03
841
原创 图的基本概念及图演算法
文章目录一，图的定义的基本术语二，邻接（Adjacency）2.1 列表表示（Adjacency-List）2.2 矩阵表示（Adjacency-Matrix）三，图的遍历3.1 深度优先搜索3.1.1 深度优先搜索遍历算法的实现3.1.2 DFS 算法效率分析3.1.3 非连通图的遍历3.2 广度优先搜索回顾：数据的逻辑结构一，图的定义的基本术语图： G =（V，E）V：顶点(数据元素)的有穷非空集合；E：边的有穷集合。无向图(Undirected graph)： 每条边的没有方向，eg
2020-06-09 12:09:53
2497
原创 30分钟学会如何使用集成学习（什么是集成学习）
文章目录一，什么是集成学习二，使用SKlearn中提供的集成学习器解决分类问题2.1 Voting Classifier 投票集成2.1.1 少数服从多数原则的投票集成-Hard Voting2.1.2 考虑概率的投票集成-Soft Voting2.2 Bagging 和 Pasting2.2.1 如何使用 Bagging（套袋分类器）2.2.2 关于袋外数据（oob）2.2.3 同时对特征进行随机采样2.3 随机森林2.3.1 RandomForestClassifier2.3.2 ExtraTreesC
2020-06-04 12:59:54
1422
原创 回归树
回归树，就是用树模型做回归问题，每一片叶子都输出一个预测值。预测值一般是叶子结点所含训练集输出的均值。回归树的分支标准：标准方差（Standard Deviation）。回归树使用某一特征将原集合分为多个子集，用标准方差衡量子集中的元素是否接近，越小表示越接近。首先计算根节点标准方差：使用标准方差来确定分支，以计算Outlook分支后的标准方差为例：同理可计算其他特征的标准差，并得到方差的减小值：标准差降低最多的特征是Outlook，利用其进行分支。接下来，重复这个过程，使用标准方差
2020-06-01 13:08:36
4394
2
原创 分类树（信息熵与基尼指数）
文章目录一，决策树的直观理解二，分类树2.1 信息熵2.2 条件信息熵示例2.3 基尼指数（Gini不纯度）示例一，决策树的直观理解二，分类树2.1 信息熵信息熵是用来衡量信息不确定性的指标，不确定性是一个事件出现不同结果的可能性。（越小越好）计算如下：其中：P(X=i)为随机变量x取值为i的概率举个例子，如下：可以看出，第一种的不确定性更高（信息熵较大）2.2 条件信息熵条件熵：在给定随机变量Y的条件下，随机变量X的不确定性信息增益：信息熵 - 条件熵，代表在一个条件下，信息
2020-06-01 12:41:50
3775
原创 贪婪算法（Greedy Algorithms）
文章目录一，什么是贪婪算法二，最短路径三，使用贪婪解题策略的演算法3.1 活动选择问题3.2 贪婪选择（Greedy options）3.3 将动态规划解转化为贪婪解一，什么是贪婪算法解决最简化问题的演算法，其解题过程可看成是由一连串的决策步骤所组成，而每一步骤都有一组选择要选定。贪婪演算法的特性是 每一次选择都采取区域最佳接（locally optimal solution），而透过每一个区域最佳解最后综合成为全域最佳解（globally optimal solution）从而将问题解决一个贪婪
2020-05-27 18:09:15
15958
1
原创 集成方法 - BaggingClassifier
文章目录一，Bagging 算法介绍二，BaggingClassifier使用1，参数及属性2，方法3，例子参考：BaggingClassifier一，Bagging 算法介绍算法主要特点Bagging:平行合奏：每个模型独立构建旨在减少方差，而不是偏差适用于高方差低偏差模型（复杂模型）基于树的方法的示例是随机森林，其开发完全生长的树（注意，RF修改生长的过程以减少树之间的相关性）在集成算法中，bagging方法形成了一类算法，它在原始训练集的随机子集上建立一个黑箱估计的多个实例，然后
2020-05-24 21:58:25
9243
2
翻译 分解组件中的信号（矩阵分解问题） - 数据降维
文章目录一，主成分分析（PCA）1.1 精确的PCA和概率解释1.2 增量主成分分析1.3 随机SVD的主成分分析1.4 核的主分量分析1.5 稀疏主成分分析（SparsePCA和MiniBatchSparsePCA）二，Latent Dirichlet Allocation (LDA)英文好的建议之间看这里官方：分解组件中的信号（矩阵分解问题）一，主成分分析（PCA）传送门：（无监督数据降维）主成分分析法 - PCA1.1 精确的PCA和概率解释PCA用于分解一组解释最大方差的连续正交分量中的
2020-05-20 20:46:41
755
原创 Iris数据集的LDA和PCA二维投影的比较
鸢尾花数据集代表3种鸢尾花（Setosa，Versicolour和Virginica），具有4个属性：萼片长度，萼片宽度，花瓣长度和花瓣宽度。应用于此数据的主成分分析（PCA）可以识别出造成数据差异最大的属性（主要成分或特征空间中的方向）组合。在这里，我们在2个第一主成分上绘制了不同的样本。线性判别分析（LDA）试图识别出类别之间差异最大的属性。尤其是，与PCA相比，LDA是使用已知类别标签的受监督方法。import matplotlib.pyplot as pltfrom sklearn impo
2020-05-20 19:16:49
1519
原创 如何选择sklearn中的特征选择包
特征选择一，删除低方差的特征二，单变量特征选择一，删除低方差的特征VarianceThreshold是特征选择的简单基准方法。它将删除方差未达到某个阈值的所有特征。默认情况下，它将删除所有零方差特征，即在所有样本中具有相同值的特征。例如，假设我们有一个具有布尔特征的数据集，并且我们要删除80％以上样本中所有为1或0（打开或关闭）的特征。布尔特征是伯努利随机变量，这些变量的方差由下式给出：因此我们可以使用阈值进行选择：0.8 * (1 - 0.8)>>> from sklearn
2020-05-18 14:53:22
488
原创 特征选择 - SelectFromModel（根据重要性权重选择特征）
文章目录一，函数二，参数说明三，方法四，示例五，使用SelectFromModel和LassoCV选择特征一，函数class sklearn.feature_selection.SelectFromModel(estimator, *, threshold=None, prefit=False, norm_order=1, max_features=None)[source]元变压器，用于根据重要性权重选择特征。二，参数说明Parameters----------estimato
2020-05-18 14:02:34
21796
2
原创 特征选择过滤器 -mutual_info_classif（离散目标变量的互信息）
文章目录函数参数说明官网：sklearn.feature_selection.mutual_info_classif函数sklearn.feature_selection.mutual_info_classif(X, y, discrete_features='auto', n_neighbors=3, copy=True, random_state=None)[source]估计离散目标变量的互信息。两个随机变量之间的互信息（MI）[1]是非负值，用于衡量变量之间的依存关系。当且仅当两个随机变
2020-05-18 11:09:33
9114
原创 特征选择过滤器 -chi2（卡方统计量）
文章目录函数参数说明函数sklearn.feature_selection.chi2（X，y ）计算每个非负要素与类之间的卡方统计量。该分数可用于从X中选择测试卡方统计量具有最高值的n_features特征，该特征必须仅包含非负特征，例如布尔值或频率（例如，文档分类中的术语计数），相对于类。回想一下，卡方检验可测量随机变量之间的相关性，因此使用此功能可以“淘汰”最有可能与类别无关，因此与分类无关的特征。参数说明Parameters----------X：{array-like, spar
2020-05-18 10:58:31
9515
1
原创 特征选择过滤器 - mutual_info_regression（连续目标变量的互信息）
文章目录函数参数说明函数sklearn.feature_selection.mutual_info_regression(X, y, discrete_features='auto', n_neighbors=3, copy=True, random_state=None)估计一个连续目标变量的互信息。两个随机变量之间的互信息（MI）是非负值，用于衡量变量之间的依存关系。当且仅当两个随机变量是独立的，并且等于较高的值意味着较高的依赖性时，它等于零。该函数依赖于非参数方法，该方法基于k-邻近邻居距
2020-05-18 10:51:12
8795
8
原创 特征选择 - SelectPercentile
文章目录函数参数说明方法官方示例官网：sklearn.feature_selection.SelectPercentile函数根据最高分数的百分位数选择特征。class sklearn.feature_selection.SelectPercentile(score_func=<function f_classif>, *, percentile=10)参数说明Parameters----------score_func：callable 函数接受两个数组X和y，并返回一
2020-05-18 10:27:26
4973
Kernel PCA.ipynb
2020-05-20
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人