- 博客(27)
- 收藏
- 关注
RSS订阅原创 高维数据PCA降维可视化(KNN分类)
在做机器学习的时候，经常会遇到三个特征以上的数据，这类数据通常被称为高维数据。数据做好类别分类后，通过二维图或者三维图进行可视化，对于高维数据可以通过PCA(Principal Component Analysis)，即主成分分析方法，是一种使用最广泛的数据降维算法。PCA的主要思想是将n维特征映射到k维上，这k维是全新的正交特征也被称为主成分，是在原有n维特征的基础上重新构造出来的k维特征。详情可参考降维——PCA。这里以KNN为例，可视化KNN分类...
2022-05-21 20:03:51
8670
6
原创 OpenCV-Python 图像全景拼接stitch及黑边处理
OpenCV版本：4.5.3.56算法实现思路：图像拼接 全景轮廓提取 轮廓最小正矩形 腐蚀处理 裁剪 代码实现：import cv2import numpy as npdef stitch(image): # 图像拼接 # stitcher = cv2.createStitcher(False) # OpenCV 3.X.X.X使用该方法 stitcher = cv2.Stitcher_creat...
2021-09-17 15:30:20
13779
5
原创 Open3D Pyntcloud 读取点云和网格并可视化(含txt读取方法)
本文主要介绍两种读取点云和网格的方法，一种是通过open3d读取，另一种是通过pyntcloud读取，最后通过open3d进行可视化。第三种是通过pyvista读取再可视化。Open3D 官方文档，版本：0.13.0，安装命令：pip install open3d1.常见点云import open3d as o3dimport numpy as npply_path = './gt-11.ply'# 通过open3d直接读取点云pcd = o3...
2021-07-28 15:54:30
17496
8
原创 中文版GPT3——CPM(2.6B)微调长短文本生成(对应小说歌词)
CPMCPM(Chinese Pretrained Models)模型是北京智源人工智能研究院和清华大学发布的中文大规模预训练模型。官方发布了三种规模的模型，参数量分别为109M、334M、2.6B。关于预训练模型的大量实验表明，更大的模型参数和更多的预训练数据，通常能够带来更好的下游任务效果，这类模型被证明在各种少样本学习 NLP 任务中十分有效。传统预训练模型往往需要经过有监督训练数据微调 (Fine-tuning)，才能解决各种自然语言处理任务。本项目微调了CP...
2021-07-07 15:57:32
10364
17
原创 百度PaddleHub-ERNIE微调中文情感分析(文本分类)
PaddlePaddle-PaddleHub飞桨(PaddlePaddle)以百度多年的深度学习技术研究和业务应用为基础，是中国首个自主研发、功能完备、 开源开放的产业级深度学习平台，集深度学习核心训练和推理框架、基础模型库、端到端开发套件和丰富的工具组件于一体。PaddleHub旨在为开发者提供丰富的、高质量的、直接可用的预训练模型。ERNIEERNIE(Enhanced Representation through kNowledge IntEgration)...
2021-07-05 19:39:11
8040
22
原创 jieba关键词抽取(TF-IDF)与中文抽取式摘要
jieba关键词抽取有两种方法。一种是基于 TF-IDF 算法的关键词抽取，另一种是基于 TextRank 算法的关键词抽取。这里主要介绍TF-IDF。TF-IDFTF-IDF(Term Frequency-Inverse Document Frequency，词频-逆文档频率)是一种统计方法，用以评估一个词(关键词)对于一个文档集或一个语料库中的其中一份文档的重要程度。词语的重要性随着它在文档中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。...
2021-07-03 19:27:36
3786
4
原创 Python3 递归遍历目录和目录文件(查找并读取文件)
import osdef fn(path): key = dict() for i in os.listdir(path): sub_path = os.path.join(path, i) if os.path.isdir(sub_path): # 递归遍历子目录下文件及目录 key.update({i: dict()}) # 父级标签 key[i].update(fn(sub_path)) .
2021-07-01 19:31:18
2578
原创 Python3 通过sorted函数实现对列表字典的排序
列表排序列表排序有两种方法实现，一种是列表自带的sort()方法，即list.sort()，另一种则是通过sorted()进行排序。sort()方法语法：list.sort(key=None, reverse=False)key -- 主要是用来进行比较的元素，只有一个参数，具体的函数的参数就是取自于可迭代对象中，指定可迭代对象中的一个元素来进行排序。 reverse -- 排序规则，reverse = True降序，reverse = False升序（默认）。该方法没有返回...
2021-02-22 17:14:53
2856
1
原创 Python3 列表、字典、元组、集合解析(推导式)各种写法
因为解析式的高效和简洁，所以这里记录下元组、集合、列表、字典解析的各种写法。列表解析通过[]或list()进行列表解析。单层for循环data = [1, 2, 3, 4, 5, 6, 7]a = [i for i in data]# 或者：a = list(i for i in data)# 执行结果：[1, 2, 3, 4, 5, 6, 7]# 执行顺序：a = []for i in data: a.append(i)单层for循环 + if判断(if写在
2021-02-20 17:50:10
854
1
原创 OpenCV-Python 通过边缘检测识别物体并批量提取(大米识别为例)——minAreaRect批量生成物体的最小外接矩形(旋转矩形)并批量裁剪
OpenCV版本：4.0.0.21算法实现思路如下：对图像做降噪滤波处理 提取边缘 检测轮廓 检测轮廓最小外接矩形（旋转矩形） 对图像先平移再旋转 最后裁剪代码如下：import cv2import numpy as npimage = cv2.imread("rice.jpg")gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY) # 转为灰度图blurred = cv2.GaussianBlur(gray, (11,
2020-05-28 21:22:33
15180
27
原创 欠拟合与过拟合及其解决方法
一、欠拟合（Underfitting）模型在训练数据上不能获得很好的拟合，并且在测试数据集上也不能很好的拟合数据，这种现象称为欠拟合，即高偏差（high bias）。(模型过于简单)原因：模型不够复杂、拟合函数的能力不足，学习到的有用特征太少，导致拟合的函数无法满足训练集。二、过拟合（Overfitting）模型在训练数据上能够获得很好的拟合，但是在测试数据集上却不能很好的拟合数据...
2020-05-18 14:52:34
7620
1
原创 深度残差网络(Deep Residual Network)ResNet
一说起“深度学习”，自然就联想到它非常显著的特点“深、深、深”，通过很深层次的网络实现准确率非常高的图像识别、语音识别等能力。因此，我们自然很容易就想到：深的网络一般会比浅的网络效果好，如果要进一步地提升模型的准确率，最直接的方法就是把网络设计得越深越好，这样模型的准确率也就会越来越准确。那现实真的是这样吗？先看几个经典的图像识别深度学习模型：这几个模型都是在世界顶级比赛中获奖的著名...
2020-04-07 04:22:47
4351
原创 卷积与反卷积、池化与反池化
一、卷积1、卷积的简单定义卷积神经网络中的卷积操作可以看做是输入和卷积核的内积运算。其运算过程非常容易理解，下面有举例。2、举例解释（1）为了方便直接解释，我们首先以一个通道（若是彩图，则有RGB的颜色，所以是三个通道）为例进行讲解，首先明确概念：1） 输入是一个5*5的图片，其像素值如下： ...
2020-03-18 23:56:36
3718
3
原创 全卷积网络(FCN)与图像分割
从图像分类到图像分割卷积神经网络（CNN）自2012年以来，在图像分类和图像检测等方面取得了巨大的成就和广泛的应用。CNN的强大之处在于它的多层结构能自动学习特征，并且可以学习到多个层次的特征：较浅的卷积层感知域较小，学习到一些局部区域的特征；较深的卷积层具有较大的感知域，能够学习到更加抽象一些的特征。这些抽象特征对物体的大小、位置和方向等敏感性更低，从而有助于识别性能的提高。这些抽象的特征对...
2020-03-17 01:42:28
1361
转载 常用激活函数(激励函数)理解与总结
引言学习神经网络的时候我们总是听到激活函数这个词，而且很多资料都会提到常用的激活函数，比如Sigmoid函数、tanh函数、Relu函数。那么我们就来详细了解下激活函数方方面面的知识。本文的内容包括几个部分：什么是激活函数？ 激活函数的用途（为什么需要激活函数）？ 有哪些激活函数，都有什么性质和特点？ 应用中如何选择合适的激活函数？如果你对以上几个问题不是很清楚，下面的内容对你是有...
2020-03-13 20:29:20
323
原创 CNN-卷积神经网络
卷积神经网络（Convolutional Neural Network, CNN）是一种深度学习模型或类似于人工神经网络的多层感知器，常用来分析视觉图像。卷积神经网络CNN的每一层都由大量节点组织，每一个节点是一个神经元 CNN的输入层就是图像的原始像素，而输出层中的每一个节点代表了不同类别的可信度CNN结构与传统的神经网络DNN相比，CNN可以节省大量的参数，节约内存，加快模型...
2020-03-12 17:37:19
1564
原创 Python3 PyQt5自定义圆环进度条(带渐变效果)用多线程实现传参数
最近项目部署需要用到圆环进度条，在网上找了很多资料，发现没有一个是基于PyQt5实现的，大部分都是用PyQt5自带的或者是用C实现的，很明显，这是不符合需求的，所以不懂C的我硬着头皮看着C代码来实现PyQt5版本的圆环进度条，代码如下：import sysfrom PyQt5.QtCore import *from PyQt5.QtGui import *from PyQt5.QtWi...
2019-12-24 12:13:38
6029
7
原创 Python3 PyQt5文本浏览框QTextBrowser实现文件拖入显示路径及读取文件内容时不会自动换行
QTextBrowser提供了可以显示文本的对话框，接下来利用这个实现拖拽文件显示文件路径import osimport sysfrom PyQt5.QtWidgets import *from PyQt5.QtGui import *class Example(QMainWindow): def __init__(self): super(Example...
2019-11-14 20:30:22
5672
4
原创 Python3 通过字典的get()方法和setdefault()方法添加映射多个值的元素(用列表和集合实现)
字典中的值可以取任何数据类型，但键必须是不可变的，如字符串，数字或元组。字典有以下几种添加元素的方法：dict = {'a': 1, 'b': 2}print(dict) # {'a': 1, 'b': 2}dict['c'] = 3print(dict) # {'a': 1, 'b': 2, 'c': 3}dict.update(...
2019-11-02 16:03:59
2840
原创 python3 True,False与1,0的区别以及空列表,空集合的判断
print(True) # Trueprint(False) # Falseprint(1) # 1print(0) # 0print(True == 0) # False True只能是1print(True == 1) # Trueprint(True == 2) # Fal...
2019-10-30 10:40:52
1360
原创 Python glob的使用及glob.glob的排序问题
简介： glob是python自带的一个操作文件的相关模块，由于模块功能比较少，所以很容易掌握。用它可以查找符合特定规则的文件路径名。使用该模块查找文件，只需要用到："*"，"?"，"[]"这三个匹配符 星号"*"匹配0个或多个字符 问号"?"匹配任何单个字符 "[]"匹配指定范围内的一个特定字符，如：[0-9]匹配范围内数字，[a-z]和[A-Z]匹配范围内...
2019-10-23 20:27:29
8232
2
原创 Python3 浅拷贝与深拷贝(copy和copy.deepcopy)
copy() 函数用于复制列表，类似于a[:]（切片也是浅拷贝）。语法： list.copy()返回复制后的新列表。一、赋值对比1、列表l1 = [1,2,3]l2 = l1l1.append('a')print(l1,l2) # [1, 2, 3, 'a'],[1, 2, 3, 'a']print(id(l1),id...
2019-07-16 16:21:14
582
原创 Python3 三元条件判断表达式(if else/and or)
if else表达式用法:c =a ifa>b elseb # 先判断if条件，如果为True，返回a，否则返回band or表达式用法：其原理是利用P and Q，在Python中如果P为假，那么Python将不会继续执行Q，而直接判定整个表达式为假（P值），如果P为真，那就还要继续执行Q来决定整个表达式值；同样的P or Q，如果P为真，那么就不会继续...
2019-06-19 19:28:27
4748
原创 Python中return/break/continue用法
break：跳出所在的当前整个循环，到外层代码继续执行。continue：跳出本次循环，从下一个迭代继续运行循环，内层循环执行完毕，外层代码继续运行。return：直接返回函数，所有该函数体内的代码（包括循环体）都不会再执行。用下边的示例代码来解释：def return_continue_break(type): if(not type in ["return", "c...
2019-05-29 18:26:35
1287
原创 Python中type/dtype/astype用法
Python中与数据类型相关函数及属性有如下三个：type/dtype/astype。名称 描述 type() 返回参数的数据类型 dtype 返回数组中元素的数据类型 astype() 对数据类型进行转换 1.type()用于获取数据类型#type用于获取数据类型import numpy as npa=[1,2,3]print(type(a...
2019-05-29 17:50:57
2060
原创 python3 random
random随机数模块（1）随机小数import randomprint(random.random()) #随机大于0 且小于1 之间的小数'''0.9441832228391154'''print(random.uniform(0,9)) #随机一个大于0小于9的小数'''结果：7.646583891572416'''（2）随机整数print(ran...
2019-05-29 17:38:19
174
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人