Python
HW140701
这个作者很懒,什么都没留下…
展开
-
Python - 不依赖第三方库对类对象进行json序列化与反序列化
1 python不依赖第三方库对类对象进行json序列化与反序列化import jsonclass RequestArgs: def __init__(self,name,video_path): self.name = name self.video_path = video_path @staticmethod def fromJson(mapping): if mapping is None: ret原创 2021-07-30 16:18:28 · 225 阅读 · 0 评论 -
Python - 使用python-opencv裁剪原视频为与视频高同宽的视频
1 裁剪视频的原因在有些情况下,我们只需要视频中间部分的视频内容,所以需要通过裁剪去掉周围冗余的视频部分。2 代码# -*- coding: utf-8 -*-import cv2import osdef crop_video_by_width(input_video_path,out_video_path): # 判断视频是否存在 if not os.path.exists(input_video_path): print('输入的视频文件不存在')原创 2021-07-28 10:31:45 · 1017 阅读 · 1 评论 -
Python - 深度学习训练过程使用matplotlib.pyplot实时动态显示loss和acc曲线
1 深度学习训练过程中实时动态显示loss和acc曲线可参考代码如下:# -*- coding: utf-8 -*-import matplotlib.pyplot as pltif __name__ == '__main__': train_loss = 5 val_loss = 5 train_acc = 0.0 val_acc = 0.0 x = [] train_loss_list = [] val_loss_list = []原创 2021-07-19 13:56:44 · 9474 阅读 · 2 评论 -
Pytorch - 使用Pyav解码视频文件并将视频帧转换为Pytorch tensor作为网络模型输入数据
1 视频文件作为网络模型的输入数据越来越多的神经网络模型开始以视频作为训练数据,比如基于视频数据的行为识别等等,这就需要我们将视频转换为可适用的张量,本文将以pytorch为例,展示一下视频数据转换为pytorch tensor的过程。2 使用Pyav解码视频文件并将视频帧转换为Pytorch tensor2.1 安装ffmepg以及pyav不赘述。2.2 视频转换为tensorimport torchimport numpy as npimport osimport avdef ge原创 2021-03-25 15:30:30 · 2189 阅读 · 0 评论 -
Pytorch - 使用opencv-python解码视频文件并将视频帧转换为Pytorch tensor作为网络模型输入数据
1 视频文件作为网络模型的输入数据越来越多的神经网络模型开始以视频作为训练数据,比如基于视频数据的行为识别等等,这就需要我们将视频转换为可适用的张量,本文将以pytorch为例,展示一下视频数据转换为pytorch tensor的过程。2 使用OpenCV-Python解码视频文件并将视频帧转换为Pytorch tensor2.1 安装opencv-python不赘述。2.2 视频转换为tensorimport torchimport numpy as npimport osdef ge原创 2021-04-19 14:37:58 · 2525 阅读 · 0 评论 -
Python - 普通函数/lambda匿名函数/类成员函数作为回调函数的用法
本文将简单介绍普通函数、lambda匿名函数、类成员函数作为回调函数的用法,回调函数参数采用不定长tuple参数列表进行传递1 普通函数作为回调函数# -*- coding: UTF-8 –*-def callback_func(*kwargs): print(kwargs)def process_callback_func(callback_func): for i in range(10): if i % 2 == 0: callb.原创 2021-04-08 14:17:02 · 1289 阅读 · 0 评论 -
Python - 不定长函数参数列表
python中实现函数不定长函数参数列表一般采用星号*,而星号又有两种方式:单星号*一般在不指定参数时使用,而参数会以元祖tuple的形式传入,且各个参数会维持原有参数类型双星号**一般用于全部以指定参数传入的情况,而参数会以字典dit的形式传入,且各个参数维持原有参数类型1 单星号代码示例:def call_tuple(*args): print('不定长可变参数:元祖') for x in args: print(x, type(x))if __nam原创 2021-04-08 13:30:18 · 1355 阅读 · 0 评论 -
Python - 使用Opencv-Python库获取本机摄像头视频并保存为视频文件
1 Opencv-Python获取本机摄像头视频1.1 视频捕获为了捕获本机摄像头的视频,需要创建一个VideoCapture对象,如果需要处理视频文件,则在构造对象时传入视频文件路径,如果需要捕获摄像头视频,则需要传入本机摄像头设备索引,如果电脑上只有一个摄像头,那么一般传入0,如果有多个摄像头,则根据需要传入响应摄像头的索引。cap.read():通常返回一个布尔值,如果视频流能被正确读取,那么发挥True,如果视频流不能被正确读取则返回False。cap.isOpened():检测cap是否原创 2021-03-18 17:16:16 · 1379 阅读 · 0 评论 -
Python - 使用ffmepg批量转换某个文件夹以及所有子文件夹下所有的视频,修改其帧率/码率/分辨率到另一文件夹,并保留原有文件夹结构
文章目录1 环境要求2 使用python调用ffmpeg命令1 环境要求需要在电脑上安装ffmpeg并配置好相应的系统环境变量。2 使用python调用ffmpeg命令最近在工作中需要将一个文件夹以及其所有子文件夹下所有的视频都修改其码率和分辨率,并保持原有的目录结构,并显示转换进度,这种东西用python来写再合适不过了。可以参考以下代码:# -*- coding: UTF-8 –*-import osimport subprocessimport datetimefrom enum原创 2021-03-10 14:13:02 · 1643 阅读 · 3 评论 -
Python3爬虫 - 下载反盗链图片的方式
1 第一种方式:为Headers添加Referer字段下载反盗链图片时,Headers除了必备的User-Agent字段之外,还需添加Referer字段,该字段为当前图片所在的页面链接。1.1 在headers未加入Referer字段时运行以下代码:import requests# 图片地址url = 'https://stubbornhuangcomwordpressmedialib...原创 2019-12-30 11:28:05 · 916 阅读 · 0 评论 -
python - 爬虫常用的UserAgents
python爬虫常常使用的UserAgentsuserAagents = [ "Mozilla/5.0 (Linux; U; Android 2.3.6; en-us; Nexus S Build/GRK39F) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1", "Avant Brows...原创 2019-12-29 16:49:14 · 1249 阅读 · 0 评论 -
opencv-python:读取视频,不改变视频分辨率修改视频帧率
代码modify_video_frame_rate.pyimport osimport cv2# 修改视频帧率为指定帧率,分辨率保持不变def modify_video_frame_rate(videoPath,destFps): dir_name = os.path.dirname(videoPath) basename = os.path.basename(vide...原创 2019-12-11 17:07:02 · 5590 阅读 · 6 评论 -
PyInstaller:编译exe与反编译
1 简单Python代码示例TestAdd.py#__author__ = 'StubbornHuang'#coding = utf-8import ioimport osimport sysdef addTest(a,b): print ("a+b={}".format(a+b)) if __name__ == '__main__': addTest(1,5)2 ...原创 2019-06-24 17:54:28 · 15638 阅读 · 0 评论 -
Windows Python下载、安装、配置多版本
1 下载Python官网下载地址:https://www.python.org/getit/1.1 下载说明以python版本3.6.5 64位为例进行下载:其中版本说明版本说明Windows x86-64 embeddable zip file32/64位绿色解压版本,解压后再配置系统环境变量即可使用Windows x86-64 executeable...原创 2019-06-24 11:51:49 · 2359 阅读 · 0 评论 -
解决Python爬虫在爬资源过程中使用urlretrieve函数下载文件不完全且避免下载时长过长陷入死循环,并在下载文件的过程中显示下载进度
import urllibfrom urllib.request import urlretrieve#解决urlretrieve下载文件不完全的问题且避免下载时长过长陷入死循环def auto_down(url,filename): try: urlretrieve(url,filename,jindu) except socket.timeout: ...原创 2017-10-16 21:45:18 · 4945 阅读 · 0 评论 -
python错误:SyntaxError: Non-UTF-8 code starting with '\xcb' in file E:/Python/test.py on line 2
错误:SyntaxError: Non-UTF-8 code starting with '\xcb' in file E:/Python/test.py on line 2解决方法:在首行加上# coding=gbk如果您觉得这篇博文有用,请访问我的个人站:http://www.stubbornhuang.com,更多博文干货等着您。...原创 2017-10-11 19:06:06 · 13780 阅读 · 3 评论 -
Python最常用的正则表达式
正则表达式常用符号 符号 含义 例子 匹配结果 * 匹配前面的字符、子表达式或者括号里的字符0次或多次 a*b* aaaaaaaa,aaaaaabbbbb,bbbbbbbb + ...原创 2016-07-25 19:47:55 · 1391 阅读 · 0 评论 -
Win7 64位安装BeautifulSoup
BeautifulSoup库不是标准的Python库,因此需要单独安装。下面介绍下BeautifulSoup的安装方法,BeautifulSoup的安装包自行去官网下载。Linux的系统的基本安装方法是: sudo apt-get install python-bs4Mac系统: 首先用sudo easy_install pip 安装Python的包管理器pip,...原创 2016-07-25 13:59:01 · 1917 阅读 · 0 评论 -
Python写的网络爬虫程序
Python写的网络爬虫程序今天尝试使用Python写一个网络爬虫代码,主要是想访问某个网站,从中选取感兴趣的信息,并将信息按照一定的格式保存早Excel中。此代码中主要使用到了python的以下几个功能,由于对python不熟悉,把代码也粘贴在下面。1, 使用url打开网站网页import urllib2data = urllib2.urlopen(string_full_lin转载 2016-06-23 16:24:29 · 1061 阅读 · 0 评论 -
Python:UnicodeEncodeError: 'gbk' codec can't encode character '\xbb' in position 12305,以及中文乱码的解决方案
刚刚学习了Python没几天,看了《Python网络数据采集》这本书,准备今天在网上试验着爬一个数据,网站是UTF-8编码的,可以在网站的文件头可以看出来所以我就按照书上的代码照着写了几行代码#__author__ = 'Administrat#coding=utf-8from urllib.request import urlopenfrom urllib impo...原创 2016-07-27 14:01:51 · 14485 阅读 · 2 评论 -
简单粗暴:使用pycharm安装对应的Python版本第三方包
Python的强大除了其简单的语法以及易用性,还有其不得不说的海量的第三库的支持。但是,我们电脑上由于需要可能安装了多个版本的Python,如Python2.X和Python3.X,这时候我们除了在电脑上要解决多个Python版本共存的问题,还需要针对不同的版本安装支持不同版本的第三方库,而且在安装第三方库的时候在cmd.exe上可能会出现输入字符错误,或者其他的错误,简而言之,就是没有交互式...原创 2017-02-28 14:30:38 · 31134 阅读 · 4 评论 -
Python爬虫小实践:获取某个网站所有的外部链接以及内部链接
我们在进行爬虫时有的时候不可能只是在一个网站上进行内容上的爬取,理想中的爬虫应该是顺着一个链接从一个页面到另外一个页面,这需要获取页面上的所有的外链,同时收集每个页面上的内链。网站首页上不一定会发现外链,为了防止程序出错,就要递归深入到一个网站直到找到一个外链为止。但在爬取的过程中出现了TimeoutError: [WinError 10060] 由于连接方在一段时间后没有正确答复或连接的主机...原创 2017-02-20 11:04:22 · 20612 阅读 · 7 评论 -
Python爬虫小实践:使用BeautifulSoup+Request爬取CSDN博客的个人基本信息
好久都没有动Python了,自从在网上买了《Python网络数据采集》这本书之后一直没有时间写自己的小的Demo,今天再网络上无意中看见http://www.cnblogs.com/mfryf/p/3695844.html:开发记录_自学Python写爬虫程序爬取csdn个人博客信息这篇博客,自己想要不花一个小时复习下BeutifulSoup,然后实现与上面的那个博客一模一样的功...原创 2017-02-13 14:29:15 · 4964 阅读 · 1 评论 -
Python配置Selenium+Chrome环境和Selenium+PhantomJS环境
配置步骤1.在pycharm编译其中按上一篇文章简单粗暴:使用pycharm安装对应的Python版本第三方包,在包的搜索窗口输入Selenium,然后点击Install Package即可。2.下载最新版本的Chrome浏览器安装3.下载最新版本ChromeDrive.exe可进入以下网址进行下载http://chromedriver.storage.goog...原创 2017-03-01 16:06:58 · 5873 阅读 · 0 评论 -
Python爬虫小实践:爬取任意CSDN博客所有文章的文字内容(或可改写为保存其他的元素),间接增加博客访问量
Python并不是我的主业,当初学Python主要是为了学爬虫,以为自己觉得能够从网上爬东西是一件非常神奇又是一件非常有用的事情,因为我们可以获取一些方面的数据或者其他的东西,反正各有用处。这两天闲着没事,主要是让脑子放松一下就写着爬虫来玩,上一篇初略的使用BeautifulSoup去爬某个CSDN博客的基本统计信息(http://blog.csdn.net/hw140701/article/...原创 2017-02-15 16:03:49 · 8780 阅读 · 2 评论 -
Python爬虫小实践:寻找失踪人口,爬取失踪儿童信息并写成csv文件,方便存入数据库
这两天有个筒子叫我帮他爬这个网站http://bbs.baobeihuijia.com/forum-191-1.html上的失踪儿童信息,准备根据失踪儿童的失踪时的地理位置来更好的寻找失踪儿童,这种事情本就应该义不容辞,如果对网站服务器造成负荷,还请谅解。这次依然是用第三方爬虫包BeautifulSoup,还有Selenium+Chrome,Selenium+PhantomJS来爬取信息...原创 2017-03-16 09:32:47 · 6477 阅读 · 7 评论 -
Python爬虫:BeautifulSoup的find()和findAll()
BeautifulSoup的find()和findAll()这两个函数在某些方面十分的相似,我们可以使用它们过滤HTML页面,并查找需要的标签组和单个的标签。 这两个函数非常的相似: findAll(tag,attributes,recursive,text,limit,keywords) find(tag,attributes,recursive,text,keyw...原创 2017-02-14 19:04:29 · 20957 阅读 · 6 评论 -
Windows7 64位安装Requests
先从官网下载requests源包:https://pypi.python.org/pypi/requests/2.10.0将下载下来的压缩包进行解压,放进一个目录下,测试的目录是F:\requests-2.10.0然后运行cmd命令行,先输入F:进入到F盘目录下,然后在输入cd requests-2.10.0打开requests-2.10.0文件夹然后输入pyth...原创 2016-07-26 13:39:53 · 1084 阅读 · 0 评论