- 博客(14)
- 收藏
- 关注
RSS订阅原创 Veer网站爬虫
最近需要从Veer网站上爬一些图，于是去研究了一下，这个网站有时候会出现滑动验证，出现情况不明，试了好几种方法都无法爬取，在此记录一下。1.Request用request请求，返回的是滑动验证界面，试着调整request body之类的参数也无效，用Fillter发送过去也是滑动验证洁界面。卒2.Selenium后来改用selenium，第一次测试，成功打开网页，获取到数据，以为成功了。在我把代码完善之后，再次测试发现，又出现了滑动验证的界面，且滑条下方有Error，手动滑无效。后面进行多次尝试，比
2021-07-03 22:01:47
1037
1
原创 穷游网 游记 爬虫
最近需要一些东南亚国家的照片，于是写了一个穷游网游记的爬虫，穷游网用了ajax请求，简单的request很难实现拿到图片的url，于是用了selenium进行爬取。from selenium import webdriverimport time,re,requests,osfrom bs4 import BeautifulSoupdef get_img_in_page(page_url='https://bbs.qyer.com/thread-3502079-1.html',wait_time
2021-07-01 21:26:41
684
3
原创 BP反向传播算法推导
本文主要是在该文的基础上进行了自己的整理总结，如有不清楚的地方还请移步原文1 准备工作1.1 Sigmoid激活函数的导数Sigmoid函数表达式：σ(x)=11+e−x\sigma \left( x \right) =\frac{1}{1+e^{-x}}σ(x)=1+e−x1其导数为：dσ(x)dx=ddx(11+e−x)=e−x(1+e−x)2=(1+e−x)−1(1+e−x)2=1+e−x(1+e−x)2−(11+e−x)2=σ(x)−σ(x)2=σ(1−σ)\\\frac{d
2021-06-27 14:01:56
345
原创 在Colab中监测GPU显存占用方法
在Colab中监测GPU显存占用方法 1.氪金，Colab Pro可以用Terminal 2.用wandb库import wandbwandb.init(project='tensorrt2')详细教程请自行百度wandb https://stackoverflow.com/questions/62620268/display-gpu-usage-while-code-is-running-in-colab...
2021-05-12 22:30:31
2937
原创 ONNX转Tensor RT 7
ONNX转Tensor RT 7我的环境：colab，python3.7，tensorrt-7.2.3.4，cuda11.0 import osimport tensorrt as trtimport sysTRT_LOGGER = trt.Logger()model_path = '/content/drive/tensorrt/onnx/gan512.onnx'engine_file_path = "/content/drive/tensorrt/onnx/gan512.trt"EX
2021-05-12 22:29:37
339
原创 Colab安装Tensor RT 7
Colab安装Tensor RT 7 1.查看CUDA、Ubuntu和Python版本!nvcc -V #查看cuda版本!lsb_release -a #查看ubuntu版本!python --version #查看python版本当前Colab的版本为cuda11.0，Ubuntu18.04，python3.7 2.下载Tensor RT安装包网址，下载需要注册账户，找到对应的安装包，DEB和TAR两个都需要下载 3.安装将下载的nv-tensorrt-repo-ubu
2021-05-12 22:27:37
808
2
原创 matterport/MaskRCNN labelme转coco文件
import json,osimport numpy as npdef labelme2coco(path):# path='./json' files=[] for file in os.listdir(path): if file[-5:]=='.json': files.append(file) # break print(json.load(open(path+files[0]))) via_regi
2021-02-19 22:41:32
236
1
原创 rbgirshick/py-faster-rcnn的预测demo优化
源码：https://github.com/rbgirshick/py-faster-rcnn因为最近需要用到tf版本的Faster RCNN，便在github上找了这个版本的代码，代码应该是已经停止更新了，demo里面存在很多待优化的地方，在此记录一下我自己改了之后的demo.pydemo.py中修改的主要有以下几个地方：1.读入图片的时候要把待预测的文件名写在列表中，且只能显示，不能保存。修改后把待预测的图片放热demo文件夹下，预测后的将会保存在demo_out文件夹下。2.原demo.
2021-02-04 11:10:13
225
1
原创 电力线路巡检数据集
找了很多地方，电力巡检相关数据集都没有公开的，可能是因为保密的原因，只在Github上找到了一个绝缘子图像数据集，在这里分享一下。Github原址：https://github.com/InsulatorData/InsulatorDataSet百度云：https://pan.baidu.com/s/1nvuPmj73xOa2VyA2cbu7LQ 提取码：4v1k......
2020-08-28 11:37:20
12958
25
原创 Python查找文件夹中相同图片
选定一张图片与文件夹中的其他图片进行SSIM对比import os,cv2from skimage.measure import compare_ssimimport numpy as npdef found_same_img(path): dir_list=[] i=0 for img_name in os.listdir(path): img_dir=path+img_name dir_list.append(img_dir)
2020-05-29 15:22:49
2176
1
原创 GoPro模糊图像数据集
GoPro提供的模糊图像数据集，轻量版9GB，完整版35GB轻量版:https://drive.google.com/file/d/1H0PIXvJH4c40pk7ou6nAwoxuR4Qh_Sa2/view?usp=sharing完整版:https://drive.google.com/file/d/1SlURvdQsokgsoyTosAaELc4zRjQz9T2U/view?usp=sharing
2020-05-19 20:27:01
11454
9
原创 跑DID-MDN代码遇到的问题
整理一下自己跑DID-MDN代码遇到的问题：我的环境：win10，python3.6，pytorch1.2.01.ImportError: bad magic number in 'myutils': b'\x03\xf3\r\n'解决办法：删除myutils文件夹中的.pyc文件2.ModuleNotFoundError: No module named 'torch.utils.serialization'因为新版torch中删掉了load_lua解决办法：安装torchfile
2020-05-09 23:49:50
1422
5
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人