- 博客(117)
- 资源 (4)
- 收藏
- 关注
RSS订阅
原创 基于WSL2+Docker+VScode搭建机器学习(深度学习)开发环境
基于WSL2+Docker+VScode搭建机器学习(深度学习)开发环境。
2023-11-25 21:05:14
2090
5
原创 聚类分析：原型K-Means/K-Means++聚类、层次聚类；密度聚类DBSCAN
聚类分析–处理无标签数据from IPython.display import Image%matplotlib inline1.使用K-Means方法按照相似度对对象进行分组1.1使用sklearn实现K-Means聚类from sklearn.datasets import make_blobsX, y = make_blobs(n_samples=150, n_features=2, centers=3,
2021-05-21 17:52:56
1398
4
原创 数据降维：主成分分析PCA、线性判别分析LDA、基于核的KPCA
通过降维实现数据压缩特征提取：将原始特征空间映射变换到新的特征子空间中去特征提取可以理解为一种保持大部分相关信息，同时对数据进行压缩的一种方法。特征提取不仅可以用来提高学习算法的存储空间或计算效率还可以通过减少维数灾难来提高预测性能，尤其是在使用了非正则化模型的时候。from IPython.display import Image%matplotlib inline1.通过主成分分析PCA实现无监督降维主成分分析是一种广泛应用于不同领域的无监督线性变换技术，经常被用于特征提取和降维。PC
2021-04-28 20:14:44
9910
8
原创 Pytorch实现bidirectional_recurrent_neural_network
Pytorch打卡第八天，实现bidirectional_neural_network
2023-11-27 22:41:59
69
原创 文档智能(一)：基于OpenCV的文档图像校正
本文讨论了文档智能的基本任务，并以文档图像校正任务为例，使用OpenCV工具库实现了文档图像的校正。校正后的图像，将为文档智能后续任务提供遍历。比如：基于扭曲、旋转的头像进行光学字符识别，识别精度将大打折扣。
2023-01-07 22:25:55
3852
3
原创 神经网络漫谈(一)：科普篇
本文简要介绍了神经网络训练学习的基本过程，并以图像分类为例，介绍了模型权重更新，模型推理的基本流程。作为神经网络漫谈系列的第一章。
2023-01-06 22:35:53
1337
4
原创 “DataFrame“ object has no attribute ‘getformat‘
今天在处理一个多标签分类问题的时候，采用了自适应算法的建模策略。初始化MLkNN模型，拟合训练集'X_train, Y_train'之后，得到报错信息如下：'DataFrame' object has no attribute 'getformat'# 原因是参数数据类型不对，API要求参数类型为array,而我原始代码fit()的参数为DataFrame类型；X : array-like of shape (n_samples, n_features) Training vector,.
2021-10-25 11:30:45
1112
4
原创 深度卷积神经网络（NiN）--Pytorch实现
网络中的网络（NiN）(10月14号(组内)–d2l)深度卷积神经网络（NiN）LeNet、AlexNet 和 VGG 都有一个共同的设计模式：通过一系列的卷积层与汇聚层来提取空间结构特征；然后通过全连接层对特征的表征进行处理。AlexNet 和 VGG 对 LeNet 的改进主要在于如何扩大和加深这两个模块。或者，可以想象在这个过程的早期使用全连接层。然而，如果使用稠密层了，可能会完全放弃表征的空间结构。网络中的网络 (NiN) 提供了一个非常简单的解决方案：在每个像素的通道上分别使用多层感知
2021-10-14 16:31:33
873
1
翻译 视锥的基本理解
了解视锥__视锥体__一词表示看起来像顶部切割后平行于底部的金字塔的实体形状。这是透视摄像机可以看到和渲染的区域的形状。以下思维实验应该有助于解释为什么会这样。想象一下，将一根直杆（例如扫帚柄或一支铅笔）正对着摄像机，然后拍照。如果杆垂直于摄像机镜头保持在图片中心位置，那么只有其一端可在图片上显示为圆圈；所有其他部分都会被遮挡。如果将杆向上移动，下侧将开始变得可见，但可通过向上倾斜杆再次将其隐藏。如果继续向上移动杆并进一步将其向上倾斜，则圆形末端最终将到达图片的顶部边缘。此时，在世界空间中由此杆跟踪
2021-10-13 17:07:06
2442
原创 多标签分类问题与回归问题的转化实现，以及由此产生的一些思考
实验5：完全基于数据挖掘的方法建模预测2021年10月11日在前几个实验过程中，Dr.Li说有大约45个数据特征需要直接删除(基于人工经验的特征选择)，作为一个没有任何领域专家所具备的经验知识的菜鸡，甚``是不解，如何判断传感器坏了(需要去现场)，为什么说这些特征需要直接删除？这里通过特征工程的方法进行验证。实验思路：数据载入、预处理；没有多少的预处理过程；箱线图、散点图矩阵、heatmap、特征重要性评估；建模预测，套索回归、随机森林回归；模型评估，设想1(计算距离、
2021-10-11 22:11:32
3206
原创 Python实现将DataFrame数据缩放到[-1, 1]之间
(9月30号(组内)–数据归一化和数据缩放)import pandas as pdimport numpy as npprint(pd.__version__)print(np.__version__)1.2.41.18.1data = pd.read_csv('./datasets1/w.csv')data.head(10) 0 1 2 3 4 5 6
2021-09-30 15:58:09
5054
原创 Pandas数据分析----缺失值统计与分析
工具包导入(9月29号(组内)–数据分析)import pandas as pdprint(pd.__version__)1.2.4数据载入data1 = pd.read_csv('./datasets1/location_object.csv')print(data1.head(5)) TIME K1-1 K1-2 K1-3 K1-4 K1-5 K1-6 K2-1 K2-2 K2-3 ... \0 2020/7/19 0:00 N
2021-09-29 21:58:28
2361
原创 深度卷积神经网络（AlexNet）--Tensorflow实现
(9月27号(组内)–d2l)深度卷积神经网络（AlexNet）????sec_alexnet在LeNet提出后，卷积神经网络在计算机视觉和机器学习领域中很有名气。但卷积神经网络并没有主导这些领域。这是因为虽然 LeNet 在小数据集上取得了很好的效果，但是在更大、更真实的数据集上训练卷积神经网络的性能和可行性还有待研究。事实上，在上世纪90年代初到2012年之间的大部分时间里，神经网络往往被其他机器学习方法超越，如支持向量机（support vector machines）。在计算机视觉中，直接将神
2021-09-27 22:09:52
978
原创 深度卷积神经网络（AlexNet）--Pytorch实现
(9月27号(组内)–d2l)深度卷积神经网络（AlexNet）????sec_alexnet在LeNet提出后，卷积神经网络在计算机视觉和机器学习领域中很有名气。但卷积神经网络并没有主导这些领域。这是因为虽然 LeNet 在小数据集上取得了很好的效果，但是在更大、更真实的数据集上训练卷积神经网络的性能和可行性还有待研究。事实上，在上世纪90年代初到2012年之间的大部分时间里，神经网络往往被其他机器学习方法超越，如支持向量机（support vector machines）。在计算机视觉中，直接将神
2021-09-27 21:49:41
774
转载 通俗易懂的知识图谱技术与应用指南
这是一份通俗易懂的知识图谱技术与应用指南从一开始的Google搜索，到现在的聊天机器人、大数据风控、证券投资、智能医疗、自适应教育、推荐系统，无一不跟知识图谱相关。它在技术领域的热度也在逐年上升。 本文以通俗易懂的方式来讲解知识图谱相关的知识、尤其对从零开始搭建知识图谱过程当中需要经历的步骤以及每个阶段需要考虑的问题都给予了比较详细的解释。 对于读者，我们不要求有任何AI相关的背景知识。目录：概论什么是知识图谱知识图谱的表示知识抽取知识图谱的存储金融知识图谱的搭建定义具体的业务问题数据收集 & 预处
2021-09-27 14:44:44
367
转载 【知识图谱】知识图谱构建技术一览
【知识图谱】知识图谱构建技术一览 一、什么是知识图谱二、知识图谱的分层架构三、知识图谱构架技术（一）数据获取（Data Acquisition）（二）信息抽取（Information Extraction）（1）实体抽取（Entity Extraction）/命名实体识别（Name Entity Recognition）（2）关系抽取（Relation Extraction）（3）属性抽取（Attribute Extraction） （三）知识融合（Knowledge Fusion）（1）指代..
2021-09-26 13:08:54
6144
转载 模型树–M5
模型树–M5模型树推广了回归树的概念，它与回归树的2个重要不同在于： 叶节点上不是常量，而是一个线性函数模型。 分割空间的标准不是降低平方误差，而是降低样本标准差。 相比于回归树，模型树的优点在于：回归树的计算量随着维度的增加而迅速增加，但模型树比模型小得多，所以模型树在处理高维（数百）数据时会比较轻松。由于叶节点是采用的是线性函数而非常量，所以预测的精度更高。 M5模型树划分的标准是：将一个节点覆盖的样本的Y值（即目标属性值）的标准差看作误差的度量。计算SDR（standa
2021-09-23 14:53:04
1072
转载 多源信息融合_BIM+GIS的深度融合之路
多源信息融合_BIM+GIS的深度融合之路 “BIM+”时代的到来，推动了大型设计、施工企业产业化转型升级。BIM与GIS是如何跨界融合的？期间遇到了哪些技术难点？本文将结合超图经验回顾BIM+GIS的深度融合之路，一起探究未来发展方向。 图1 立交桥的BIM数据与天地图影像数据叠加显示 近年来，BIM(Building Information Modeling，建筑信息模型)技术的快速发展，...
2021-08-26 22:05:35
2879
原创 利用转置卷积与WGAN提升图像数据生成的质量
通过使用卷积与Wasserstein GAN提升生成图像的质量本文将实现deep convolutional Gan（DCGAN），同时也将实现Wasserstein GAN（WGAN）。本文使用到的一些技术：转置卷积Transposed convolution批量归一化Batch NormalizationWGANGradient penaltyfrom IPython.display import Image%matplotlib inline转置卷积虽然卷积运
2021-07-27 22:40:38
936
原创 利用Tensorflow构建生成对抗网络GAN以生成数据
使用生成对抗网络(GAN)生成数据本文主要内容介绍了自动编码器的基本原理比较了生成模型与自动编码器的区别描述了GAN模型的网络结构分析了GAN模型的目标核函数以及训练过程介绍了利用Google Colab进行模型训练的基本步骤设计并实现了简单的GAN网络，进行了网络训练以及模型评估from IPython.display import Image%matplotlib inline生成对抗网络的简单介绍首先从自动编码器开始–autoencodersIma
2021-07-26 18:21:02
2253
1
原创 特征多重共线对随机森林模型预测性能的影响研究
特征共线是否对随机森林模型的预测性能有影响？我们为什么关注特征共线？特征共线就是指数据集中的特征之间匹配得太好或特征高度相关，例如：降雨量和乌云云团大小、织物纤维和吸水能力等；然而，在机器学习模型中，特征共线是一件坏事。它可能造成模型偏向于某些特征，而导致信息丢失，尤其是在多特征回归任务中更是如此。实际上，特征共线对随机森林模型并没有影响。这里将对特征共线对随机森林模型的影响进行讨论。下面是本文的一些参考链接：参考链接1参考链接2# 工具包导入import numpy as npimpo
2021-07-25 18:11:07
2136
原创 多元输出回归模型
多元输出回归模型定义多元输出回归是指在给出输入示例的情况下涉及预测两个或多个目标变量的回归问题。回归是指涉及预测数值的预测建模问题。例如，预测大小，重量，数量，销售数量和点击次数是回归问题。通常，在给定输入变量的情况下预测单个数值。一些回归问题需要预测两个或多个数值。例如，预测x和y坐标。示例示例1：在给定输入的情况下预测坐标，例如预测x值和y值。示例2：多步时间序列预测，其中涉及预测给定变量的多个未来时间序列。说明许多机器学习算法都是为预测单个数值而设计的，简称为回归。一些算法确实支持
2021-07-23 22:13:58
17095
6
原创 对RNN用于Seq2Seq任务以及注意力机制的理解
from IPython.display import Image%matplotlib inline6.5使用Tensorflow构建字符级别(character-level) 语言模型在我们现在将要构建的模型中，输入是一个文本文档，我们的目标是开发一个能够生成与输入文档样式相似的新文本的模型。这种输入的例子是使用特定编程语言的书籍或计算机程序。在字符级语言建模中，输入被分解为一系列字符，这些字符一次一个字符地输入我们的网络。该网络将结合先前看到的字符的记忆来处``理每个新字符，以预测下一个字符。
2021-07-11 22:43:12
483
1
原创 利用Tensorflow构建RNN并对序列数据进行建模
利用Tensorflow构建RNN并对序列数据进行建模对文本处理处理任务的方法中，一般将TF-IDF向量作为特征输入。显然的缺陷是：这种方法丢失了输入的文本序列中每个单词的顺序。对一般的前馈神经网络，比如CNN，通常接受一个定长的向量作为输入。CNN对文本数据建模的时候，输入变长的字符串或者单词串，然后通过滑动窗口加上池化的方式将原先的输入转换成为一个固定长度的向量表示，这样做可以捕捉到原始文本中的一些局部特征，但是对于两个单词之间的依赖关系则很难被捕获学习到。循环神经网络RNN能很好地处理文本数
2021-07-10 19:54:18
1034
原创 利用Tensorflow2构建CNN并用于图像分类
利用Tensorflow2构建CNN并用于图像分类本文将使用自下而上的方法，从讨论CNN的基本板块构建开始。然后将深入研究CNN的体系结构，并探索如何在TensorFlow中实现CNN。本文包含以下内容：一维和二维的卷积运算卷积神经网络结构的构建使用Tensorflow构建深度卷积神经网络利用数据扩充技术提高模型泛化性能实现一个基于人脸图像的CNN分类器来预测个人性别from IPython.display import Image%matplotlib inline
2021-06-17 20:53:19
2696
2
原创 使用TensorFlow 构建更深层次的神经网络
1使用TensorFlow 构建更深层次的神经网络from IPython.display import Image%matplotlib inline1.1Tensorflow的核心特征Tensorflow的核心为计算图。版本1中的静态计算图具有一些优点，如后台图形优化和支持更加广泛的硬件设备。然而，静态计算图需要单独的图形声明和图形计算步骤，这使得用户在交互式开发和使用NN的时候比较麻烦。Tensorflow2支持了动态计算图。动态计算图允许图形声明和图形计算步骤的交叉。如此对于Pytho
2021-06-13 20:35:15
874
4
原创 机器学习中的回归分析
通过回归分析预测连续变量from IPython.display import Image%matplotlib inline1.介绍线性回归线性回归的目标是：对一个或者多个特征与连续型的目标变量之间的关系进行建模。1.1简单线性回归对于单个的特征，单变量线性回归表示如下：y=w0+w1xy=w_{0}+w_{1} xy=w0+w1x其中，w0w_{0}w0代表的是yyy轴截距，w1w_{1}w1代表特征的权重系数。目标就是：学习线性方程的权重，从而描述特征变量与目标变量之间的
2021-05-31 14:55:50
2302
软件设计师历年真题全汇总（2004上半年-2015上半年）（答案+解析）
2017-10-09
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人