weixin_44918193的博客

# 开发时间：2021/2/2 22:28# 开发工具：PyCharm# 开发者：GoTopimport requestsimport redef getPhoto(qqCode): url = f"http://q.qlogo.cn/headimg_dl?dst_uin={qqCode}&spec=640&img_type=jpg" headers = { 'Referer': 'http://pic.netbian.com/4kmeinv/in

1.创建想要添加的虚拟环境conda create -n test python=3.7其中test是我自己创建的环境的名称。创建之后可以通过conda env list 查看所有已存在的环境，并通过activate 环境名称进入该环境，进行各种包的安装及操作。2.将新的环境添加到jupyter中2.1安装ipykernelconda install ipykernel2.2将环境写入notebook的kernel中python -m ipykernel install --user

写在前面：教程地址代码直接CV就可以用，不过之前得安装wxpython模块pip install wxpython# 开发时间：2021/1/12 10:11# 开发工具：PyCharm# 开发者：GoTopimport wximport urllib.request # 导入模块import urllib.parseimport jsonclass MyFrame(wx.Frame): def __init__(self): wx.Frame.__init.

太菜了，写了一上午。遇到了无数的问题，好在没有放弃，一一解决了。首先是xpath解析出现问题，在原网站上用xpath工具可以顺利地解析出a标签里面的链接，但在pycharm上获取的是空列表。于是乎将原网页代码爬取下来，观察了要获取内容所对应的标签，发现标签与原网页是一样的，但是标签的class不同，于是将xpath解析里面的class属性改掉，最终获取到了目标链接。然后是乱码问题，由于个人疏忽，没有对for循环内部的响应数据进行手动设定编码格式。找了很多资料，没有找到解答，最后才发现这个简单问题。总.

目标网站：https://www.aqistudy.cn/historydata/# 开发时间：2020/12/27 22:00# 开发工具：PyCharm# 开发者：Friday# 网址 https://www.aqistudy.cn/historydata/import requestsfrom lxml import etreeif __name__ == "__main__": headers = { 'Referer': 'http://pic.netb.

这个网页的代码结构。可以很好的拿来练手xpath解析。现在爬这个网站比较慢，有时还可能报错。代码没有问题，可以实现，也许是缺一些优化。等熟悉了再来优化。代码中的处理中文乱码的方式划重点。一种是手动设定响应数据的编码格式，另一种是通用处理中文乱码解决方案。encode('iso-8859-1').decode('gbk') 用这个别忘了接收修改后的数据哦！import requestsfrom lxml import etreeimport osif __name__ == "__main_.

xpath是常用且最便捷高效的一种解析方式，具有通用性。—xpath解析原理：实例化一个etree对象，且需要将被解析页面源码数据加载到该对象中调用etree对象中的xpath方法结合着xpath表达式实现标签的定位和内容的捕捉—环境安装pip install lxml—如何实例化一个etree对象：from lxml import etree将本地的html文档中的源码数据加载到etree对象中：etree.parse(filepath)可以将从互联网上获取的源码数据加载到

1.python中的比较大小复数不支持比较大小类似元组，字符串，列表这类格式，在进行两者之间的比较时，先从第一个元素开始比较ASCII码值的大小，如果相等，则依次往后比较，如果全部相等，则比较数量大小ASCII码值大小：数字：0-9 48-57字母： A-Z 65-90 a-z 97-122一串数字，字符的ASCII码值大小取决于最后一位的ASCII码值，例如：1234的ASCII码值为52，4的码值也为52.ABCDA的码值为65，A的码值也为65 2.装饰器3.新式类：c

1.安装pillow库pip install pillow2.图像处理的基本知识①图像的RGB色彩模式：RGB三个颜色通道的变化和叠加得到各种颜色，其中-R红色：取值范围，0-255-G绿色：取值范围，0-255-B蓝色：取值范围，0-255我们常见的黄色就是由红色和绿色叠加而来红色：(255,0,0)绿色：(0,255,0)蓝色：(0,0,255)黄色：(255,255,0)②像素矩阵：数字图像可以看成一个整数矩阵，矩阵中的元素称为像素(pixel)，每个像素包含三个字节

import reres=re.search(r'(([01]{0,1}\d{0,1}\d|2[0-4]\d|25[0-5])\.){3}([01]{0,1}\d{0,1}\d|2[0-4]\d|25[0-5])','127.0.0.1')print(res)

1.读写文件text="This is text"fp=open('文件路径','打开方式')fp.write(text)#必须关闭文件，否则会导致宕机fp.close()打开方式包括typeinfor以只读方式打开文件。文件的指针将会放在文件的开头。这是默认模式。w打开一个文件只用于写入。如果该文件已存在则将其覆盖。如果该文件不存在，创建新文件。a打开一个文件用于追加。如果该文件已存在，文件指针将会放在文件的结尾。也就是说，新的内容将会被写入到已有内容

1.python中的标准数据类型：python有五个标准的数据类型：Numbers(数字)String(字符串)List(列表)Tuple(元组)Dictionary(字典)其中数字类型有：python支持四种不同的数字类型int(有符号整型)long(长整型，也可以表示八进制和十六进制)float(浮点型)complex(复数)注意：string不是char！可变数据类型：列表list[],字典dict{}不可变数据类型：整型int,字符串str’’,元组tuple

最近开始学习爬虫开发入门，记录了一些学习笔记以下是需要了解的一些术语：反爬机制 门户网站，可以通过制定相应的政策或者技术手段，防止爬虫程序进行进行网站数据的爬取反反爬策略 爬虫程序可以通过指定相关的策略或者技术手段，破解门户网站中具备的反爬机制，从而获取门户网站中的数据rebots.txt协议 君子协议。规定了网站中哪些数据可以被爬虫爬取，哪些数据不可以被爬取http协议 -概念：就是服务器和客户端进行数据交互的一种形式。常用请求头信息 -User-Agent：请求载体的身.

一.永久使用1.命令行输入pip config set global.index-url 镜像源地址常见的国内镜像源地址 http://pypi.douban.com/simple/ 豆瓣 http://mirrors.aliyun.com/pypi/simple/ 阿里 http://pypi.hustunique.com/simple/ 华中理工大学 http://pypi...