自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(171)
  • 资源 (3)
  • 收藏
  • 关注

原创 T08_对抗网络

生成对抗网络包含了两个子网络:生成网络(Generator,简称G)和判别网络(Discriminator,简称D),其中生成网络 G 负责学习样本的真实分布,判别网络 D 负责将生成网络采样的样本与真实样本区分开来。

2025-09-18 12:32:10 920

原创 T07_自编码器

自编码器算法就是属于自监督学习(无监督学习的一种)ofθ​xx∈Rdin​o∈Rdout​din​是输入的特征向量长度,dout​是网络输出向量的长度。对于分类问题,网络模型通过把长度为din​输入特征向量x变换到长度为dout​的输出向量o,这个过程可以看成是特征降维的过程,把原始的高维输入向量x变换到低维的变量o。

2025-09-11 16:08:14 857

原创 T06_RNN示例

以IMDB影评数据为例,加载评论读取影评数据处理数据,testData数据需要将评分提取处理来,然后将大于等于7的设置为积极表示,最后将评论中的<br />替换掉。

2025-09-05 13:37:02 590

原创 T06_循环神经网络

卷积神经网络利用数据的局部相关性和权值共享的思想大大减少了网络的参数量,非常适合于图片这种具有空间(Spatial)局部相关性的数据已经被成功地应用到计算机视觉领域的一系列任务上。自然界的信号除了具有空间维度之外,还有一个时间(Temporal)维度。具有时间维度的信号非常常见,比如正在阅读的文本、说话时发出的语音信号等。

2025-08-29 12:28:45 679

原创 T05_卷积示例

''':param filter_num 卷积核数量:param stride 步长 默认是1'''# 卷积单元1# 卷积单元2if stride!=1: # 通过1x1卷积完成shape匹配else: # shape匹配,直接短接# [b,h,w,c] 通过第一个卷积单元# 通过第二个卷积单元# 通过identity模块# 根网络,预处理])# 堆叠4个Block,每个block包含了多个BasicBlock,设置步长不一样。

2025-08-21 17:27:09 978

原创 T05_卷积神经网络

以MINST数字识别为例,创建一个4层全连接网络层,输入为28x28,中间三个隐藏层的节点数都是 256,输出节点数是10。通过summary()函数打印出模型每一层的参数量,计算总的参数量超过34万个网络参数,单个权值保存为 float 类型的变量,网络参数至少需要约 1.34MB 内存。训练过程中占用内存超过2GB(未使用GPU),训练时长超过5分钟(个人笔记本,ADM R7系列)。随着图片的尺寸增加,网络层增加,训练占用的内存、时长会暴增。下面是几种如何避免全连接网络的参数量过大的缺陷的方法。

2025-08-14 18:00:02 790

原创 T04_过拟合示例

在模型全连接层之间中增加一层:model.add(layers.Dropout(rate=0.5)),不再举例了。继承keras.callbacks.Callback,来实现当loss不在降低时,停止训练。训练集有60000张图片,按照常规比例,划分25%的数据(15000张)作为验证集。callbacks设置回调函数,在每轮训练结束后判断是否要结束训练。validation_data 参数指定验证数据集。

2025-08-07 12:23:52 330

原创 T04_过拟合

通俗地讲,模型的容量或表达能力,是指模型拟合复杂函数的能力。一种体现模型容量的指标为模型的假设空间(Hypothesis Space)大小,即模型可以表示的函数集的大小。当模型的表达能力偏弱时,比如单一线性层,它只能学习到线性模型,无法良好地逼近非线性模型;但模型的表达能力过强时,它就有可能把训练集的噪声模态也学到,导致在测试集上面表现不佳的现象(泛化能力偏弱)。因此针对不同的任务,设计合适容量的模型算法才能取得较好的泛化性能。在有限的计算资源的约束下,较大的假设空间并不一定能搜索出更好的函数模型。

2025-08-07 08:07:29 614

原创 T03_Keras高级接口

对于需要创建自定义逻辑的网络层,可以通过自定义类来实现。在创建自定义网络层类时,需要继承自 layers.Layer 基类;创建自定义的网络类时,需要继承自 keras.Model 基类,这样建立的自定义类才能够方便的利用 Layer/Model 基类提供的参数管理等功能,同时也能够与其他的标准网络层类交互使用。至少需要实现初始化__init__方法和前向传播逻辑 call 方法。''':param inp_dim 输入特征的长度:param out_dim 输出特征的长度'''

2025-08-04 08:00:53 238

原创 T03_Keras示例(MINST)

网上下载的资源是train-images-idx3-ubyte数据,需要解析成图片加载图片,制作dataset,由于图片的名称是按照一定格式命名的(train_index_no.jpg),直接从文件名中获取label可以简单验证一下创建dataset自定义网络定义网络层定义model模型训练与保存测试可视化模型训练时,将训练的参数保存到日志中启动tensorboard,指定路径根据提示,在浏览器中输入地址打开即可

2025-07-31 12:18:29 265

原创 T02_反向传播示例

''':param n_input : 输入节点数:param n_neurons : 输出节点数:param activation : 激活函数:param weights : 权值张量,默认类内部生成:param bias : 偏执,默认类内部生成'''return rreturn rreturn r。

2025-07-22 18:24:34 296

原创 T02反向传播算法

导数(Derivative)的概念:自变量x产生一个微小变动Δx,函数输出值的增量Δy于自变量增量Δx的比值在Δx趋近于0时的极限a,如果存在,a即为x0​处的导数。实际上,导数是一个非常宽泛的概念,只是因为以前接触到的函数大多是一元函数,当函数的自变量数大于一个时,函数的导数概念拓展为函数值沿着任意∆Δx方向的变化率。导数本身是标量,没有方向,但是导数表征了函数值在某个方向Δx的上变化率。在这些任意Δx。

2025-07-19 11:34:57 1066

原创 T01_神经网络示例

换句话说,一个epoch意味着训练数据集中的每个样本都有机会更新模型的内部参数。epochs的值过小也会导致模型精度差,通常,epoch数量越多,模型在训练数据上的性能越好,但也可能导致过拟合。上例中的batch_size是经过多次尝试,找到了一个相对好的值,如果值太大,模型精度明显很差。较小的batch size可以使模型更快地更新参数,但可能会导致不稳定的梯度下降。简单数据(例如鸢尾花的例子,数据样本很少,特性也很少),可以直接使用numpy类型的数据(上例也可以用pandas作为训练数据)

2025-07-10 11:44:18 382

原创 T01_神经网络

初步深入理解神经网络

2025-07-07 12:47:18 424 2

原创 sklearn总结

Python机器学习基础教程》是一本值得一读的好书,书中不仅仅讲算法(也不将数学作为重点),而是通过 scikit-learn 库系统的讲述了处理机器学习问题的步骤(特征工程》模型训练》模型评估)。scikit-learn是一个开源的机器学习库,致力于提供简单而高效的工具(高度统计的算法接口,各种数据处理脚手架)。

2025-07-02 17:52:39 893

原创 16_集成学习

集成学习通过组合多个模型预测来提升性能,主要包括Bagging、Boosting和Stacking三大类。Bagging(如随机森林)通过自助采样训练多个模型并投票/平均结果,适用于高方差模型。Boosting(如XGBoost、LightGBM)通过序列化训练和加权投票逐步修正误差,适合弱学习器。Stacking则结合不同基学习器的输出训练元模型,复杂度较高但潜力大。

2025-06-19 08:20:40 609

原创 15_模型保存与加载

模型保存是机器学习完成的最后一步,通过将训练好的模型持久化到磁盘,可以在需要使用模型时直接从磁盘加载,无需再次训练。

2025-06-18 12:49:42 401

原创 14_处理文本

按照书上的例子,熟悉一下文本处理流程。可能与书上的结果有出入,因为数据集有较大的变化,而且sklearn的版本有较大更新。

2025-06-17 18:26:44 1028

原创 11_13小结

连续特征离散特征(分类特征)特征分箱。

2025-06-14 15:02:23 918

原创 13_算法链与管道

使用Pipeline简化模型使用步骤;扩展GridSearchCV(网格搜索)功能

2025-06-14 12:47:42 1055

原创 12_模型评估与改进_2

模型评估指标

2025-06-13 12:56:28 622

原创 12_模型评估与改进_1

交叉验证、网格搜索

2025-06-13 12:55:15 723

原创 11_数据表示与特征工程

对于某个特定应用来说,如何找到最佳数据表示,这个问题被称为特征工程(feature engineering)它是数据科学家和机器学习从业者在尝试解决现实世界问题时的主要任务之一。用正确的方式表示数据,对监督模型性能的影响比所选择的精确参数还要大。

2025-06-09 13:07:49 809

原创 08_10小结

对缩放、PCA、NMF、聚类等进行阶段性的总结

2025-06-05 13:06:03 855

原创 10_聚类

本文介绍了两种常用的聚类方法:K均值聚类和凝聚聚类。K均值聚类通过迭代寻找簇中心,适合处理凸形数据,但对复杂形状效果较差。凝聚聚类则通过合并相似簇实现聚类,提供了ward、average、complete和single四种链接策略,其中single策略能更好处理非凸形状数据。两种方法各有优势:K均值简单高效但依赖初始化和簇数设定,凝聚聚类能处理更复杂结构但计算成本较高。文章通过可视化对比了不同方法在各类数据集上的表现,并分析了其适用场景和局限性。

2025-06-05 11:27:23 1107

原创 13_pandas可视化_Matplotlib

matplotlib是python可视化非常重要的基础库,虽然seaborn很好用,但实际应用中发现seaborn无法满足一些场景,还是要回到matplotlib来。

2025-06-03 18:29:28 782

原创 09_降维、特征提取与流行学习

学习了解PCA降维的使用方法,以及NMF、SNE在特征提取方面的使用方法

2025-05-29 11:40:26 912

原创 08_预处理与缩放

机器学习的一些算法(如神经网络、SVM)对数据缩放非常敏感。通常的做法是对特征进行调节,使数据表示更适合与这些算法。

2025-05-26 17:27:25 403

原创 01_07小结

机器学习(监督)分两大类:分类(Classifier)、回归(Regressor)

2025-05-23 16:59:35 356

原创 07_分类器不确定评估

scikit-learn中有两个函数可以用于获取分类器的不确定度估计:descision_function和predic_proba。大多数分类器都至少有其中一个函数,多分类器两个都有。

2025-05-23 16:58:35 973

原创 06_神经网络

神经网络的主要优点是能够获取大量数据中包含的信息,并构建无比复杂的模型。给定足够的计算时间和数据,并且仔细调节参数,神经网络通常能打败其他机器学习算法。

2025-05-22 13:00:13 715

原创 05_核支持向量机

核支持向量机(通常简称为SVM)可以推广到更复杂模型的扩展,这些模型无法被输入空间的超平面定义。

2025-05-20 12:50:46 1061

原创 04_决策树

决策树、决策树集成(随机深林、梯度提升回归树)是广泛用于分类和回归任务的模型。

2025-05-17 10:55:39 768

原创 03_朴素贝叶斯分类

朴素贝叶斯分类器与线性模型非常相似的一种分类器,但它的训练速度往往更快。这种高效率所付出的代价是,朴素贝叶斯模型的泛化能力要比线性分类器(如LogisticRegression 和 LinearSVC)稍差。

2025-05-14 15:08:28 698

原创 02_线性模型(回归分类模型)

许多线性分类模型只适用于二分类问题,不能轻易推广到多类别问题(除了 Logistic 回归)。将二分类算法推广到多分类算法的一种常见方法是“一对其余”(one-vs.-rest)方法。

2025-05-12 13:14:01 1194

原创 02_线性模型(回归线性模型)

线性回归是回归问题最简单也最经典的线性方法。线性回归寻找参数 w 和 b,使得对训练集的预测值与真实的回归目标值 y之间的均方误差最小

2025-05-09 17:33:45 1029

原创 01_K近邻

k-NN 算法可以说是最简单的机器学习算法,借助k-NN算法理解机器学习的一些概念。

2025-04-30 12:57:50 511

原创 13_pandas可视化_plotly_express

把Pandas的版本降下来就可以了:pip install pandas==1.5.3 -i https://pypi.tuna.tsinghua.edu.cn/simple。参数hostnorm可以设置纵轴数据分布展示方式,其值可以是’percent’,‘probability’,‘density’,‘probability density’px.imshow()可以用来绘制热力图。x = ‘total_bill’ 指定直方图的x轴取值。nbins 参数设置分箱数据量。也可以单独设置x、或y。

2025-04-10 13:29:00 674

原创 13_pandas可视化_plotly

plotly是一款可以生成交互式图表的可视化python库

2025-04-09 13:06:56 692

原创 13_pandas可视化_seaborn

熟悉seaborn的基本绘图接口。详细教程参看https://seaborn.org.cn/tutorial.html

2025-04-02 12:53:01 706

Windows 下 grcp 应用示例

MinGW 7.3.0编译环境下编译的gcp库,其中包含服务端、客户端示例代码,可以直接编译

2025-06-03

mingw 环境下 c++ tcp udp 代码示例

mingw 环境下 c++ tcp upd 代码示例;可以编译执行

2025-05-16

13-pandas可视化-plotly

13-pandas可视化-plotly

2025-04-09

基于虹软的SDK,实现的人脸识别,人脸检查

环境:vs2017 + Qt 5.12.12 SDK :ArcSoft_ArcFace_Windows_x86_V3.0

2025-03-24

Qt人脸识别,基于opencv,dlib

人脸识别,特征提取

2025-01-02

Qt MinGW环境下chromium内核的使用

基于cef_binary_87.1.14+ga29e9a3+chromium-87.0.4280.141_windows32、Qt5.12.12、 MinGW 7.3.0 需要自行下载CEF库(下载地址:https://cef-builds.spotifycdn.com/index.html)

2024-11-28

MinGW环境下编译CEF库

基于102最后一个稳定版本编译,已经修改过camke文件和部分代码,可以直接编译(MinGW 6.4,cmake 3.31)

2024-11-26

python爬虫笔记(urlib、requests、beautifulsoup4等)

python 爬虫,常用爬虫库笔记

2024-11-26

javascript 正则表达式_上

javascript 正则表达式 基本语法 元字符 预定义特殊字符

2018-10-24

软件设计模式,各个模式的类图结构

软件设计模式,各个模式的类图结构

2024-01-17

Clion调试QTQString看不到值问题处理

Clion调试QTQString看不到值问题处理

2023-12-01

MySQL 主从配置网关(Windows)

MySQL 主从配置网关(Windows)

2023-08-23

MySQL 主从配置(linux),mysql-proxy

MySQL 主从配置(linux),mysql-proxy

2023-08-23

Pycharm 下 PyQt5 代码示例

Pycharm 下 PyQt5 代码示例

2023-08-21

CLion Qt工程(包含cmake)

CLion Qt工程(包含cmake)

2023-08-17

数据分析笔记(自己学习数据分析时做的笔记,包括pandas、numpy)

数据分析笔记(自己学习数据分析时做的笔记,包括pandas、numpy)

2023-07-19

H-ui.admin_v3.0.

H-ui.admin是用H-ui前端框架开发的轻量级网站后台模版 采用源生html语言,完全免费,简单灵活,兼容性好 让您快速搭建中小型网站后台

2018-03-07

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除