- 博客(51)
- 资源 (6)
- 收藏
- 关注
RSS订阅原创 MobileNetV3代码（pytorch）
MobileNetV3-Large结构图第一列Input代表mobilenetV3每个特征层的shape变化；第二列Operator代表每次特征层即将经历的block结构，我们可以看到在MobileNetV3中，特征提取经过了许多的bneck结构；第三、四列分别代表了bneck内逆残差结构上升后的通道数、输入到bneck时特征层的通道数。第五列SE代表了是否在这一层引入注意力机制。第六列NL代表了激活函数的种类，HS代表h-swish，RE代表RELU。第七列s代表了每一次block结构所用的步
2021-11-28 21:02:40
6781
6
原创 Unet++网络结构代码(pytorch)
网络结构图如下：import torchfrom torch import nnimport torch.nn.functional as Ffrom torch.utils.tensorboard import SummaryWriterclass VGGBlock(nn.Module): def __init__(self, in_channels, middle_channels, out_channels): super().__init__()
2021-11-28 14:33:33
10519
2
转载 【语义分割】评价指标：PA、CPA、MPA、IoU、MIoU详细总结和代码实现
文章目录 引言1 混淆矩阵2 语义分割PA：像素准确率CPA：类别像素准确率MPA：类别平均像素准确率IoU：交并比MIoU：平均交并比 3 综合实例步骤一：输入真实、预测图片步骤二：求出混淆矩阵步骤三：评价指标计算PACPAMPAIoUMIoU 4 测试代码参...
2021-11-26 23:18:23
15524
7
原创 Unet代码详解（三）损失函数和miou计算
所有代码来自博主Bubbliiiing，十分感谢1.相关函数（1）上采样函数Interpolate(2)交叉熵损失函数CrossEntropyLoss二.损失先贴一段训练时的损失计算代码import torchimport torch.nn as nnimport torch.nn.functional as Ffrom torch import nndef CE_Loss(inputs, target, cls_weights, num_classes=21): n,
2021-11-26 22:57:27
14932
4
原创 从零手写Unet代码及数据
数据集资源已上传，不需要积分。一.网络模型（model.py）import torchimport torch.nn as nnimport torchvision.transforms.functional as TFclass DoubleConv(nn.Module): def __init__(self,in_channels,out_channels): super(DoubleConv, self).__init__() self.conv=.
2021-11-25 14:13:52
2031
原创 Unet代码详解（二）数据预处理和后处理
import osimport cv2import numpy as npfrom PIL import Imagefrom torch.utils.data.dataset import Datasetfrom utils.utils import cvtColor, preprocess_inputclass UnetDataset(Dataset): def __init__(self, annotation_lines, input_shape, num_classes,
2021-11-21 16:28:06
6654
2
原创 Unet代码解读（一）网络架构
文章代码来自博主Bubbliiiing,特此感谢。一.网络总览二. VGG16主干提取网络文章采用VGG16作为主干提取网络，只会用到两种类型的层，分别是卷积层和最大池化层。代码对部分层进行了改动，详情可见下方网络结构，可参考下图作为理解完整代码如下：1.vggnetimport torchimport torch.nn as nnfrom torchvision.models.utils import load_state_dict_from_urlclass VGG(nn.Mo
2021-11-21 15:37:59
3810
2
原创 pytorch完整套路模板代码（CIFAR10数据集为例）
import torchimport torchvisionfrom torch.utils.tensorboard import SummaryWriter# from model import *# 准备数据集from torch import nnfrom torch.utils.data import DataLoadertrain_data = torchvision.datasets.CIFAR10(root="./data", train=True, transform=to
2021-11-18 17:14:10
235
原创 TF2 YOLOV3核心代码逐句详解------自用笔记（未完待更）
代码来自b站/csdn 大佬：Bubbliiiing一.网络结构1.darknet.pyfrom functools import wrapsfrom tensorflow.keras.initializers import RandomNormalfrom tensorflow.keras.layers import (Add, BatchNormalization, Conv2D, LeakyReLU, ZeroPadding2D)fr
2021-11-18 17:12:11
546
原创 语义分割指标---MIoU详细介绍（原理及代码）
一.IOU理解在语义分割的问题中，交并比就是该类的真实标签和预测值的交和并的比值单类的交并比可以理解为下图：TP: 预测正确，真正例，模型预测为正例，实际是正例FP: 预测错误，假正例，模型预测为正例，实际是反例FN: 预测错误，假反例，模型预测为反例，实际是正例TN: 预测正确，真反例，模型预测为反例，实际是反例IoU = TP / (TP + FN + FP)二.MIoUMIOU就是该数据集中的每一个类的交并比的平均,计算公式如下：Pij表示将i类别预测为j类别。三.混淆
2021-11-18 16:46:26
49079
10
原创 pytorch编写自己的dataset
from torch.utils.data import Dataset, DataLoaderfrom PIL import Imageimport osclass MyData(Dataset): def __init__(self, root_dir, label_dir): self.root_dir = root_dir self.label_dir = label_dir self.path = os.path.join(..
2021-11-16 10:54:16
1784
1
原创 Yolov2 聚类生成先验框代码详解（Yolov3同理）----自用笔记
代码来自https://blog.csdn.net/weixin_44791964/article/details/102687531完整代码如下：import numpy as npimport xml.etree.ElementTree as ETimport globimport randomdef cas_iou(box,cluster): x = np.minimum(cluster[:,0],box[0]) y = np.minimum(cluster[:,1],b
2021-11-13 21:04:57
1522
原创 RTX3060 cuda11.3一条命令安装pytorch1.10.0
检查GPU驱动版本在命令行输入nvidia-smi指令就能看到自己nvidia的驱动版本NVIDIA官网，看下CUDA版本以及GPU驱动的对应关系：可以看到要使用CUDA11.3，那么需要将显卡的驱动更新至465.89以上1、pytorch-gpu环境的创建与激活conda create –n pytorch-gpu python=3.7activate pytorch-gpu2.pytorch-gpu库的安装activate pytorch-gpupip3 --default
2021-11-11 12:35:59
2935
原创 tensorflow2.x自建数据集训练
1.导入库import tensorflow as tffrom tensorflow import kerasfrom tensorflow.keras import datasets, layers, optimizers, Sequential, metricsfrom tensorflow.python.framework.convert_to_constants import convert_variables_to_constants_v2import osimport pathli
2021-10-19 00:02:35
1091
原创 leetcode dp简单题练习
题目：121. 买卖股票的最佳时机给定一个数组 prices ，它的第 i 个元素 prices[i] 表示一支给定股票第 i 天的价格。你只能选择 某一天 买入这只股票，并选择在 未来的某一个不同的日子 卖出该股票。设计一个算法来计算你所能获取的最大利润。返回你可以从这笔交易中获取的最大利润。如果你不能获取任何利润，返回 0 。1.暴力求解：class Solution {public: int maxProfit(vector<int>& prices) {
2021-10-07 21:36:14
124
原创 leetcode 刷题笔记（21，58）
题目：21将两个升序链表合并为一个新的 升序 链表并返回。新链表是通过拼接给定的两个链表的所有节点组成的。c++ 非递归class Solution {public: ListNode* mergeTwoLists(ListNode* l1, ListNode* l2) { if(l1==nullptr) return l2; if(l2==nullptr) return l1
2021-10-07 20:32:43
116
原创 tensorflow2.0 预测新文本(二）
之前的文本我们是采用的一个自己输入的data，数据量太小，生成的新闻本效果不好，这次我们采用更多的数据进行预测。1.数据获取数据的格式与之前相同，只不过数据量增大了，下载的数据存储到/tmp/irish-lyrics-eof.txt（可以按照自己需求更改）!wget --no-check-certificate \ https://storage.googleapis.com/laurencemoroney-blog.appspot.com/irish-lyrics-eof.txt \
2021-09-25 15:30:00
277
原创 tensorflow2.0 预测新文本(一）
先记录一个报错1.导入库import tensorflow as tffrom tensorflow.keras.preprocessing.sequence import pad_sequencesfrom tensorflow.keras.layers import Embedding, LSTM, Dense, Bidirectionalfrom tensorflow.keras.preprocessing.text import Tokenizerfrom tensorflow.ker
2021-09-25 14:49:48
683
原创 Word Embedding 和 Word2Vec详细笔记（未完待更）
一.单词的向量化表示1.one-hot比如有一个1000个词汇的词典，每一个单词可以表示为一个1000*1维大小的向量，其中一个位置为1，其余为0，并且每个单词的1的位置互斥。不过这种表示方式存在很多问题：任意两个词之间都是孤立的，根本无法表示出在语义层面上词语词之间的相关信息如果词典非常大，那么每个单词的维度都是巨大的，这样会造成计算上的困难其得到的特征是离散稀疏的，得到的向量过于稀疏，导致计算和存储的效率不高2. distributed representation它的思路是通过训
2021-09-24 22:26:57
346
原创 tensorflow2.0实现IMDB文本数据集学习词嵌入
1. IMDB数据集示例如下所示[ { "rating": 5, "title": "The dark is rising!", "movie": "tt0484562", "review": "It is adapted from the book. I did not read the book and maybe that is why I still enjoyed the movie. There are recent
2021-09-24 10:47:22
492
原创 tensorflow2.0使用keras的Tokenizer文本预处理
tokenizer = Tokenizer(num_words=max_words) # 只考虑最常见的前max_words个词tokenizer.fit_on_texts(texts) #使用一系列文档来生成token词典，texts为list类，每个元素为一个文档 sequences =tokenizer.texts_to_sequences(texts) # 将多个文档转换为word下标的向量形式,shape为[len(texts)，len(text)] – (文档数，每条文档的长度).
2021-09-23 15:28:16
2170
原创 tensorflow实现猫狗分类器（三）Inception V3迁移学习
部分内容来自 博主史丹利复合田的Keras 入门课6 – 使用Inception V3模型进行迁移学习地址：https://blog.csdn.net/tsyccnh/article/details/78889838迁移学习主要分为两种第一种即所谓的transfer learning，迁移训练时，移掉最顶层，比如ImageNet训练任务的顶层就是一个1000输出的全连接层，换上新的顶层，比如输出为10的全连接层，然后训练的时候，只训练最后两层，即原网络的倒数第二层和新换的全连接输出层。可以说tr.
2021-09-21 19:12:01
901
原创 tensorflow实现猫狗分类器（二）数据增强版
在上文我们训练了一个猫狗分类器，虽然训练集的表现很好但是验证集却还不够，并且有明显的过拟合现象。为了克服过拟合通常需要扩大数据集，但是往往并没有足够的数据用来训练，所以我们采用数据增强的方式扩大训练规模。我们利用ImageGenerator来实现数据增强train_datagen = ImageDataGenerator( rotation_range=40, width_shift_range=0.2, height_shift_range=0.2, s
2021-09-21 15:39:36
355
原创 tensorflow实现猫狗分类器（一）
注：该代码均为在colab上通过挂载谷歌云盘实现，所以目录结构为linux结构。wget在jupyter中需要先安装。from google.colab import files为从谷歌云盘读取文件的代码1.下载猫狗图片数据集!wget --no-check-certificate \ https://storage.googleapis.com/mledu-datasets/cats_and_dogs_filtered.zip \ -O /tmp/cats_and_dogs_filtered.
2021-09-20 23:08:29
466
原创 Tensorflow 自建数据集实现人-马二分类识别
从网站下载数据集解压到工作目录import osimport zipfilelocal_zip = 'E:\JupyterWorkdir\data\horse-or-human.zip'zip_ref = zipfile.ZipFile(local_zip, 'r')zip_ref.extractall('E:\JupyterWorkdir\data\horse-or-human')zip_ref.close()目录如下图查看每个分类前10个图像import os# Directo
2021-09-20 18:36:32
566
原创 tensorflow实现循环神经网络
一.循环核二.RNN实现字母预测。2.1 输入一个字母预测下个字母该例实现对于a,b,c,d,e五个字母，对于5个字母进行训练，要求最终可以通过输入字母a网络可以输出b,输入b网络预测出c，…。对于5个字母进行one-hot编码import tensorflow as tfimport numpy as npfrom tensorflow.keras.layers import Dense, SimpleRNNimport matplotlib.pyplot as pltim
2021-09-19 11:12:14
370
原创 tensorflow实现卷积网络
import tensorflow as tfimport osimport numpy as npfrom matplotlib import pyplot as pltfrom tensorflow.keras.layers import Conv2D, BatchNormalization, Activation, MaxPool2D, Dropout, Flatten, Densefrom tensorflow.keras import Modelnp.set_printoptions
2021-09-15 16:59:47
209
原创 tensorflow2.0--keras入门
1.keras框架搭建步骤1.import //导入依赖库2.train test //设置训练集和测试集3.model=tf.keras.models.Sequential //搭建网络,完成前向传播 4.model.comlie //设置训练参数5.model.fit//执行训练过程6.model.summary//打印网络结构和参数统计这里注意，如果你的神经网络输出已经经过了概率分布(如经过了softmax)，这里的from_logits参数为False,否则为True.2.采用
2021-09-12 15:32:57
431
原创 Tensorflow基本函数
import tensorflow as tfa=tf.zeros([2,3])b=tf.ones(4)c=tf.fill([2,2],9)print(a)print(b)print(c)tf.Tensor([[0. 0. 0.][0. 0. 0.]], shape=(2, 3), dtype=float32)tf.Tensor([1. 1. 1. 1.], shape=(4,), dtype=float32)tf.Tensor([[9 9][9 9]], shape=(2, 2
2021-09-08 16:49:57
218
原创 Python Matplotlib
Matplotlib 是支持 Python 语言的开源绘图库，支持丰富的绘图类型、简单的绘图方式以及完善的接口文档.在使用 Notebook 环境绘图时，需要先运行 Jupyter Notebook 的魔术命令 %matplotlib inline。这条命令的作用是将 Matplotlib 绘制的图形嵌入在当前页面中。而在桌面环境中绘图时，不需要添加此命令，而是在全部绘图代码之后追加 plt.show()。简单示例：from matplotlib import pyplot as pltplt.p.
2021-09-07 11:40:28
160
原创 CoreNLP简介
CoreNLP是您使用Java进行自然语言处理的一站式服务！CoreNLP使用户能够导出文本的语言注释，包括标记和句子边界，词性，命名实体，数字和时间值，依存关系和选区解析，共指，情感，引用属性和关系。CoreNLP当前支持6种语言：阿拉伯语，中文，英语，法语，德语和西班牙语。管道CoreNLP的核心是管道。管道接收原始文本，在文本上运行一系列NLP注释器，并生成最终的注释集。核心文件管道产生CoreDocuments，这些数据对象包含所有注释信息，可通过简单的API进行访问，并可序列化为Goo.
2021-09-07 11:40:07
3938
原创 Echarts学习笔记
一.快速上手步骤：1.引入echarts.min.js文件（从官网下载解压缩可得到，放到js文件同级目录）2.准备一个呈现图表盒子3.初始化一个echarts实例对象4.准备配置项5.将配置项设置给echarts实例对象<html><head> <meta charset="utf-8"> <title>ECharts</title> <!-- 1. 引入 echarts.js --> &
2021-09-07 11:38:40
86
原创 Python Pandas笔记
Pandas 是非常著名的开源数据处理库，我们可以通过它完成对数据集进行快速读取、转换、过滤、分析等一系列操作。除此之外，Pandas 拥有强大的缺失数据处理与数据透视功能，可谓是数据预处理中的必备利器。一 数据类型数据类型主要有以下几种，它们分别是：Series（一维数组），DataFrame（二维数组），Panel（三维数组），Panel4D（四维数组），PanelND（更多维数组）。1.SeriesSeries 是 Pandas 中最基本的一维数组形式。其可以储存整数、浮点数、字符串等类型的数
2021-03-11 21:41:46
198
原创 Python numpy
一.简介Numpy的英文全称为 Numerical Python，意味 Python 面向数值计算的第三方库。NumPy 的特点在于，针对 Python 内建的数组类型做了扩充，支持更高维度的数组和矩阵运算，以及更丰富的数学函数。NumPy 是 Scipy.org 中最重要的库之一，它同时也被 Pandas，Matplotlib 等我们熟知的第三方库作为核心计算库。当你在单独安装这些库时，你会发现同时会安装 NumPy 作为依赖二 数值类型Python 本身支持的数值类型有 int（整型，P
2021-03-10 11:07:24
726
原创 SparkStreaming笔记(一）
package org.xylimport org.apache.spark.SparkConfimport org.apache.spark.streaming.dstream.{DStream, ReceiverInputDStream}import org.apache.spark.streaming.{Seconds, StreamingContext}object SparkStreaming_01 { def main(args: Array[String]): Unit = {
2021-02-06 20:44:40
224
原创 SparkSQL(三)-----------操作Hive
scala> spark.sql("show tables").show+--------+---------+-----------+|database|tableName|isTemporary|+--------+---------+-----------++--------+---------+-----------+1234scala> spark.sql("load data local inpath '/usr/hadoop/spark-2.1.1/data/
2021-02-03 17:23:00
324
原创 SparkSQL(二)------------IDEA 开发（UDF，UDAF）
一.基础操作1.添加依赖<dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-sql_2.12</artifactId> <version>3.0.0</version></dependency>2.编程实现2.1创建对象 //创建上下文环境配置对象 val conf: SparkConf = new Spar
2021-02-03 17:10:24
244
原创 IDEA SparkSQL连接外部hive报错Error while instantiating ‘org.apache.spark.sql.hive.HiveSessionState‘:
原图Exception in thread "main" java.lang.IllegalArgumentException: Error while instantiating 'org.apache.spark.sql.hive.HiveSessionState': at org.apache.spark.sql.SparkSession$.org$apache$spark$sql$SparkSession$$reflect(SparkSession.scala:981) at org.apac
2021-02-03 16:02:13
2095
原创 SparkSQL(一)-----------简介及命令行使用
文章总结自b站尚硅谷系列教程一.SparkSQL简介Spark SQL 是 Spark 用于结构化数据(structured data)处理的 Spark 模块。1.Hive and SparkSQLSparkSQL 的前身是 Shark，给熟悉 RDBMS 但又不理解 MapReduce 的技术人员提供快速上手的工具。Hive 是早期唯一运行在 Hadoop 上的 SQL-on-Hadoop 工具。但是 MapReduce 计算过程中大量的中间磁盘落地过程消耗了大量的 I/O，降低的运行效率，为了
2021-02-02 16:12:39
1970
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人