- 博客(99)
- 收藏
- 关注
RSS订阅原创 手把手教你爬取网站信息第二弹（附源码）
需要注意一下，在抓包⼯具中：Form Data存放的是post请求的请求参数，⽽Query String中存放的是get请求的请求参数，这一点在写代码时要区分开，否则会爬不到。②在弹出来的页面中点击Network，然后在餐厅关键字的搜索框中输入一个城市的名字，点击搜索，这时你会发现，在抓包工具的Name框中，会出现一个GetStoreList.ashx文件，这就是我们爬取网站要用的关键信息，点它！好了，你可以爬全国任意一个城市的门店信息了，想爬多少，爬哪里都你说了算啦（手动狗头）
2023-05-06 21:59:19
751
1
原创 手把手教你爬取网站信息
如题，理解这一部分需要一定的Python基础，有些代码我不做详细解释了，但是用这个方法是确实可以爬到的。以下这个网站就是db的一个页面，咱们就用这个页面爬取type_name=
2023-05-02 21:07:33
7383
1
原创 从零复现PyTorch版（3）
其中4表示tx,ty,tw,th即矩形框的位置信息，当然这个是编码后的，最终需要解码出绝对位置信息才可以用，后面YOLOV4中再说这事儿。obj表示物体的自信度，长度为1，如果当前对应特征图这个点位置存在一个物体，则值为1class表示物体的类别，使用one-hot编码，例如当前类别值为3，则具体表示法为100Y1直接由RES4后面经过5个DBL+DBL+Conv后得到，RES4后的尺寸是经过5次下采样，即从input缩小到了32倍得到的特征图。...
2022-07-20 21:27:06
802
原创 从零复现PyTorch版（2）
Yolov3的回顾，Yolov4的整体框图介绍，各个子模块的具体含义CSPNet等最新的提升性能技术FPN+PANNET自顶向下+自低向上双向多尺度融合，SPP金字塔池化头部的DECODE和ENCODE过程，和Yolov3基本一致Yolov3整整个部分由CBL，Resn，上采样，concat，yolo头组成，咱们后面使用pytorch实现代码YOLOV3的backbone的时候也会依据图中的基础模块进行封装，这样更便于大家理解。...
2022-07-16 14:04:09
468
原创 从零复现PyTorch版（1）
基于Pytorch的Yolov4代码更改卷积核，步长与Padding巧妙配合K:最后生成的特征图尺寸n:原始输入的图片或者特征图尺寸p:Padding的数量s:卷积的步长Yolov4中的下采样操作：f=3, p=1, s=2（弃用了max_polling）Yolov4中的保持尺寸不变卷积操作：f=3, p=1, s=2灵活的降维和升维减少参数量和计算量1X1 Conv代替全连接层YOLO中使用1X1卷积的设计思路...
2022-07-14 14:13:17
562
原创 人脸和手部特征点检测
干扰因素：主动因素 + 固有因素；推广性挑战：海量比对 + 分布差异更快的速度：需要满足嵌入式等设备；更高的精度：解决小尺度、遮挡问题；多任务联合：实例分割 = 检测 + 分割；视频中检测：关键帧信息加速，提精度现有问题：➢ 大量训练数据都是正脸，侧脸等从其他角度观看的图面较之而言非常少；➢ 实际应用的中，对于一些极端情况，如遮挡（手部、眼镜）、光照（强光、弱光）、极端姿态（yaw、pitch、raw较大的时候）、极端面部表情等。解决方案：➢ 通过采用特征描述能力更强的backbo
2022-07-08 22:05:58
410
原创 人体骨骼点检测：自底向上理论简述
Step 1: Human Detector;Step 2: Single Human Pose Estimation;Advantage:High precision;Disadvantage:Slow;Temporal occlusion:Step 1: Human Detector;Step 2: Single Human Pose Estimation;Advantage:High precision;Disadvantage:Slow;Temporal occlusion
2022-07-07 15:08:21
173
原创 人体骨骼点检测：自顶向下（部分理论）
Top Down:自顶向下 → 先找人 后找点Bottom Up:自底向上 → 先找点 后归纳Precision measures how accurate is your predictions. i.e. the percentage of your predictions arecorrect.Recall measures how good you find all the positives. For example, we can find 80% of thepossible
2022-07-05 14:18:17
1182
原创 Convolutional Neural Networks简述
计算机通过学习并挖掘目标属性的相关特征（Features）来对目标进行识别与探究。卷积层 Convolutional Layer池化层 Pooling Layer全连接层 Fully-Connected Layer
2022-07-04 20:04:24
123
原创 图像识别与检测--笔记
在 Torch 中的 Variable 就是一个存放会变化的值的地方（篮子）。 里面的值会不停的变化。 里面的值，就是Tensor张量（鸡蛋）。到目前为止, 我们看不出什么不同, 但是时刻记住, Variable 计算时, 它在背景幕布后面一步步默默地搭建着一个庞大的系统, 叫做计算图, computational graph. 这个图是用来干嘛的? 原来是将所有的计算步骤 (节点) 都连接起来, 最后进行误差反向传递的时候, 一次性将所有 variable 里面的修改幅度 (梯度) 都计算出来, 而
2022-07-02 20:30:33
823
原创 图像分割-数据标注
为什么需要数据标注工具（图像）业务场景下如何获取标记数据，数据越多越好吗？什么情况下需要图像增广？a. 图像变换b.Mixupc.GANGAN-Generative adcersarial networks图像变换方法缺陷：图像来自有限集合GAN:“synthetic data”...
2022-06-23 18:02:29
1536
原创 图像分割-改进网络结构
靠近图片边缘区域的mask缺失率高；特定形状如矩形mask形状预测差；训练集中样本不均较少的类精度低例子1：例子2：问题：是否存在更好的网络结构？办法1：增加网络体积，调大neuron数量。going deeper办法2：更好的网络架构：Vanilla Unet, SCSE Unet，Attention Unetencoder/backbone:resnet家族：resnet系列，resnext系列，se-resnet系列，se-resnext系列efficientnet家族：b0,b1,b2,
2022-06-22 20:34:32
893
原创 图像分割背景介绍
在计算机视觉领域，图像分割指的是将数字图像细分为多个图像子区域（像素的集合）（也被称作超像素）的过程。工具sklearn:train_test_split随机切分stratification:按正负样本比例、按业务知识切分...
2022-06-20 22:48:39
445
原创 肺部图像识别案例
肺部图像识别案例提示：需要安装库：tb-nightlypip3 install tb-nightly定义训练流程是否有GPUdevice = torch.device(‘cuda’ if torch.cuda.is_available() else ‘cpu’)print(device.type)model = get_model().to(device)criterion = nn.NLLLoss()optimizer = optim.S...
2022-06-18 21:19:36
1170
1
原创 强化学习和生成对抗网络
强化学习（reinforcement learning）是机器学习的一个重要分支，是一门多领域交叉学科，它的本质是自行解决决策问题，并且能进行连续决策。强化学习有四个主要组成部分∶1.代理（Agent）reward action state2.环境（Environment）3.行动（Action Environment）4.奖励（Reward）简而言之，强化学习是一个让代理在环境中不断尝试各种行动，并能通过奖励来影响行动模式，使得奖励最优化（或者趋近于最优）的一种算法。两种学习RL的方式Va
2022-06-16 21:42:36
2173
原创 RNN各门笔记
RNN的目的是让有sequential关系的信息得到考虑。什么是sequential关系?就是信息在时间上的前后关系。相比于普通神经网络∶LSTM中最重要的就是这个Cell State，它一路向下，贯穿这个时间线，代表了记忆的纽带。它会被XOR和AND运算符搞一搞，来更新记忆而控制信息的增加和减少的，就是靠这些阀门∶Gate阀门嘛，就是输出一个1于0之间的值∶1代表，把这一趟的信息都记着0代表，这一趟的信息可以忘记了下面我们来模拟一遍信息在LSTM里跑跑~来决定我们该忘记什么信息它把上一次的状态
2022-06-15 20:55:12
226
原创 图像语义分割中的应用
按照类别来做的。如图1-4分别是分数由高到低的4个目标狂，假设1，3被判为距离较近，2，4距离很近，哪些框保留，哪些要删除？预先定义好一些anchor/template, 输出的结果是region proposals. 是有监督的学习Aerial images做法和普通RPN or Faster RCNN 类似，pre-defined anchors 加上角度信息即可。提出的背景：之前的方法每个区域都需要一个子网 络来计loss.这个工作：RCNN, Fast-RCNN, RFCN 在f
2022-06-14 21:50:37
563
原创 物体检测笔记
在计算机视觉中，有如下四种基本任 务，分别是什么呢？提出了一系列非常经典的做法，包括：a. 如何应用stochastic gradient descent (SGD) 到training里。b. NMS (non-maximum suppression)对后期testing的处理非常重要。c. Data mining hard examples这些概念至今仍在使用。一种post-processing 方式。用在所有检测系统里。物体检测的指标里，不允许出现多个重复的检测，即使这些结果和真值都比较
2022-06-13 22:21:07
257
原创 图像处理基础--笔记
二值图像 灰度图像 彩色图像（RGB，Lab，HSV） 多种颜色空间Model: Core opencv_core.lib Imgproc opencv_imgproc.lib Highgui opencv_highgui.libMat Z = Mat::zeros(2,3, CV_8UC1);cout
2022-06-03 22:51:17
148
原创 卷积神经网络原理简述
1 CNN原理卷积神经网络主要应用在图像识别领域中，是指非某类网络的集合，其中包含了多种不同类型的结构。 不同网络结构，其性能一般也会有所不同。 通过对CNN几种典型架构的研究，我们可以发现这些网络创造者们极富创意，其中许多架构十分精巧，他们获得了重新引入当今主流几种典型架构的机会。 下面就从卷积神经网络原理开始。所有CNN的最终目的就是将一幅照片变成一个特征向量，而特征向量等于这幅照片的DNA。 与上面的VGG网络类似，经过若干层卷积、池化和全连接等步骤，使图片维度减少，并最终转化为一维向量。 该
2022-05-31 14:49:08
3222
原创 背景建模笔记
背景建模背景建模有下面几种方法1 帧插法我们把相邻的两帧(或更多帧)转为灰度图像后做差，就可以得出图像改变的区域得到差值后我们设置一个阈值，如果大于阈值我们将该像素点值置为255，否则置为0，2 混合高斯模型不同的物体在运动中会有不同的值，这样多个物体就会组成多个高斯分布，然后我们同时使用这些高斯模型，这个就是混合高斯模型处理...
2022-05-30 16:06:16
106
原创 模板匹配方法
模板匹配1 直方图cv2.calcHist(images,channels,mask,histSize,ranges)images: 原图像图像格式为 uint8 或 float32。当传入函数时应 用中括号 [] 括来例如[img]channels: 同样用中括号括来它会告函数我们统幅图 像的直方图。如果入图像是灰度图它的值就是 [0]如果是彩色图像 的传入的参数可以是 [0][1][2] 它们分别对应着 BGR。mask: 掩模图像。统整幅图像的直方图就把它为 None。但是如 果你想统图像某一
2022-05-27 15:42:48
689
原创 光流估计简述
1 光流估计光流是空间运动物体在观测成像平面上的像素运动的“瞬时速度”，根据各个像素点的速度矢量特征，可以对图像进行动态分析，例如目标跟踪。亮度恒定：同一点随着时间的变化，其亮度不会发生改变。小运动：随着时间的变化不会引起位置的剧烈变化，只有小运动情况下才能用前后帧之间单位位置变化引起的灰度变化去近似灰度对位置的偏导数。空间一致：一个场景上邻近的点投影到图像上也是邻近点，且邻近点速度一致。因为光流法基本方程约束只有一个，而要求x，y方向的速度，有两个未知变量。所以需要连立n多个方程求解。2 Lu
2022-05-26 16:37:29
2210
原创 图像特征-Scale Invariant Feature Transform
1 图像尺度空间在一定的范围内，无论物体是大还是小，人眼都可以分辨出来，然而计算机要有相同的能力却很难，所以要让机器能够对物体在不同尺度下有一个统一的认知，就需要考虑图像在不同的尺度下都存在的特点。尺度空间的获取通常使用高斯模糊来实现2 DoG空间极值检测为了寻找尺度空间的极值点，每个像素点要和其图像域（同一尺度空间）和尺度域（相邻的尺度空间）的所有相邻点进行比较，当其大于（或者小于）所有相邻点时，该点就是极值点。如下图所示，中间的检测点要和其所在图像的3×3邻域8个像素点，以及其相邻的上下两层的3
2022-05-25 22:30:40
170
原创 图像基本操作
目录1 数据读取-图像2 数据读取-视频3 截取部分图像数据4 边界填充5 数值计算6 灰度图7 HSV8 图像阈值1 数据读取-图像cv2.IMREAD_COLOR：彩色图像cv2.IMREAD_GRAYSCALE：灰度图像2 数据读取-视频cv2.VideoCapture可以捕获摄像头，用数字来控制不同的设备，例如0,1。如果是视频文件，直接指定好路径即可。3 截取部分图像数据4 边界填充5 数值计算6 灰度图7 HSVH - 色调（主波长）。S - 饱和度（纯度
2022-05-24 23:13:53
242
原创 图像生成基础
目录图像生成1 判别式模型与生成式模型2 生成模型3 VAE3.1 经典的自编码机3.2 误差精确度3.3 VAE全过程3.4 VAE的优点与不足4 GAN4.1 VAE与GAN4.2 结构4.3 训练过程4.4 问题及挑战4.5 DCGAN4.6 CGAN图像生成1 判别式模型与生成式模型判别式模型∶已知观察变量X和隐含变量z，它对p（z|X）进行建模，它根据输入的观察变量x得到隐含变量z出现的可能性：根据原始图像推测图像具备的一些性质，例如根据数字图像推测数字的名称等;生成式模型则相反，它对p（
2022-05-20 19:35:13
2001
原创 图像描述基础
目录图像描述1 深度语言模型__2 RNN的应用3 朴素Vanilla-RNN4 时序后向传播（BPTT）5 Vanilla-RNN vs LSTM6 LSTM6.1 LSTM数学模型6.2 LSTM控制门作用6.3 LSTM结构图7 LSTM vs GRU图像描述1 深度语言模型__递归神经网络RNN有2类：时间递归神经网络（Recurrent Neural Network）：针对时间序列结构递归神经网络（Recursive Neural Network）：针对树状结构优化方法：时序后向传播
2022-05-19 20:22:23
378
原创 医疗影像分割基础
目录医疗影像分割1 特殊的图像2 主流存储方式∶DICOM3 DICOM影像的构成4 曲率驱动的图像去噪医疗影像分割1 特殊的图像医学影像口X线设备∶是通过测量透过人体的X线来实现人体成像的，即利用人体各组织的密度和厚度不同，X线穿过后的衰减程度不同，来显示身体内部的形态影像。磁共振成像设备∶是通过测量构成人体组织元素的原子核发出的磁共振信号来实现人体成像。MRI可反映人体分子水平的生理、生化等方面的功能特性。常规MRI检查（常规MR成像序列）∶是指以常规T1WI和T2WI为主的磁共振成像技术，主
2022-05-18 20:11:26
404
原创 通用场景图像分割
目录通用场景图像分割1 Pascal VOC数据集2 语义分割2.1 什么是语义分割2.2 语义分割的用处2.3 算法研究阶段2.4 全卷积网络3 FCN-卷积化3.1 FCN-卷积化的降维问题3.2 FCN-反卷积3.3 FCN-卷积/转置卷积的参数关系3.4 上采样的三种实现4 反池化4.1 反池化操作4.2 反卷积与反池化5 FCN-跳层结构5.1 FCN构架图例5.2 使用AlexNet构建FCN5.3 FCN训练5.4 FCN的基础网络性能通用场景图像分割图像分割所谓图像分割指的是根据灰度、
2022-05-17 21:25:28
1208
原创 目标检测（下）
目录目标检测（下）1 R-CNN1.1 R-CNN系列的结构1.2 R-FCN结构1.3 R-FCN的位置敏感卷积层1.4 R-FCN的Score map可视化1.5 R-FCN的训练1.6 R-FCN位置敏感的性能2 YOLO v12.1 YOLO v1的优点2.2 YOLO v1 的不足2.3 NMS（非极大值抑制）3 YOLO v23.1 YOLO v2的基础模型3.2 YOLO v2/90004 YOLO v3目标检测（下）1 R-CNN1.1 R-CNN系列的结构基于旧形态CNN的结构（A
2022-05-16 20:55:32
317
原创 目标检测（上）
目录目标检测（上）1 R-CNN的架构2 R-CNN训练流程3 分类部分R-CNN:4 Fast R-CNN网络4.1 改进4.2 在SPP-Net基础引入2个新技术4.3 感兴趣区域池化目标检测（上）检测图片中所有物体的：类别标签，位置1 R-CNN的架构2 R-CNN训练流程3 分类部分R-CNN:SVM训练完成后，如果完全分类正确，所有正样本的输出概率都大于0.5，而所有负样本的输出概率都小于0.5。但常见的情况是有一部分的负样本的输出概率也大于0.5的，这些样本就称之为"Fa
2022-05-13 22:05:35
465
原创 图像检索基础
目录图像检索1 相似图像检索2 相似颜色检索2.1 算法结构2.2 自编码器2.3 颜色特征提取2.4 颜色特征相似度计算2.4.1 颜色直方图距离2.4.2 色差距离3 相似纹理检索3.1 纹理（texture）3.2 纹理特征3.3 算法结构3.4 Gabor滤波器组4 相似形状检索5 相似局部特征检索图像检索1 相似图像检索2 相似颜色检索2.1 算法结构目标：实现基于人类颜色感知的相似排序模块：颜色特征提取&特征相似度计算颜色直方图就是将RGB图像中出现的颜色进行统计。将一
2022-05-12 22:08:16
870
原创 图像分类基础
目录图像分类1 CIFAR-10数据集2 卷积神经网络（CNN）3 CNN结构的演化4 AlexNet网络5 Network-in-Network网络5.1 1x1卷积6 全局平均池化7 GoogLeNet7.1 Inception V1网络7.2 Inception V2网络7.3 Inception V3网络7.4 Inception V4网络8 总结一下Inception图像分类判断图片中是否有某个物体一个图对应一个标签：性能指标 Top1 error->前1中1；Top5 error-
2022-05-11 21:09:35
1004
原创 深度学习基础
目录深度学习基础交叉熵与均方误差Softmax层激活函数采用ReLU激活函数后学习步长SGD的问题Momentum（动量）Nesterov MomentumAdagradRMSpropAdam各种梯度下降算法的比较关于算法选择的建议Batch Normalization的由来卷积神经网络（CNN）1 CNN的基本组件2 CNN卷积层3 3D滤波器/卷积核4 ReLU激活函数5 CNN池化层6 CNN-Softmax层深度学习基础深度学习与神经网络的区别选择合适的目标函数交叉熵与均方误差可以想象
2022-05-10 20:54:25
434
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人