![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
python爬虫
文章平均质量分 62
网络请求框架和模块的使用
微剑
Linux小白
展开
-
python多进程的使用方法
Python的多进程模块是,它允许在同一计算机上创建多个进程并发执行任务。原创 2023-07-21 09:43:30 · 542 阅读 · 0 评论 -
python多线程常用方法
Python的多线程模块是threading,它允许在同一进程中创建多个线程并发执行任务。原创 2023-07-21 09:18:45 · 394 阅读 · 0 评论 -
requests详细参数说明
response = requests.get(url, stream=True) # 以流方式获取响应内容。response = requests.get(url, verify=False) # 不进行证书验证。response = requests.get(url, timeout=5) # 设置5秒超时。-1. timeout:请求超时时间,单位为秒。4. stream:是否以流方式获取响应内容。2. verify:请求SSL证书验证。10. json:请求参数为JSON格式。原创 2023-05-20 10:57:11 · 716 阅读 · 0 评论 -
Python网络编程
使用bind()方法将套接字绑定到一个本地地址和端口号。使用accept()方法接受TCP连接请求,返回一个新的套接字对象和客户端地址信息。在Python中,使用socket模块可以创建和操作套接字,实现网络通信。# 创建TCP套接字并绑定到本地地址和端口号,然后开始监听连接请求。# 创建TCP套接字并绑定到本地地址和端口号,然后开始监听连接请求。# 接受连接请求,返回一个新的套接字对象和客户端地址信息。# 创建TCP套接字并绑定到本地地址和端口号。# 创建UDP套接字并绑定到本地地址和端口号。原创 2023-03-16 19:54:08 · 339 阅读 · 0 评论 -
Python多线程
t.setDaemon(True) #把子进程设置为守护线程,必须在start()之前设置。t.setDaemon(True) #把子进程设置为守护线程,必须在start()之前设置。为了让守护线程执行结束之后,主线程再结束,我们可以使用join方法,让主线程等待子线程执行。线程是进程的执行单元,进程是系统分配资源的最小单位,所以在同一个进程中的多线程是共享资源的。time.sleep(1) #此时子线程停1s。t.join() # 设置主线程等待子线程结束。主线程等待子线程结束。原创 2023-03-14 14:52:14 · 50 阅读 · 0 评论 -
parsel使用方法
Parsel是一个Python库,用于解析HTML和XML文档。它提供了一种简单的CSS选择器语法,用于从文档中提取数据。Parsel还支持使用正则表达式选择器,可以使用re()方法指定正则表达式。这就是Parsel的基本使用方法。通过使用CSS选择器语法和正则表达式选择器,可以从HTML和XML文档中提取数据。可以使用链式调用选择器来提取更复杂的数据。使用CSS选择器语法从文档中提取数据。4. 使用CSS选择器提取数据。6. 使用正则表达式选择器。1. 安装Parsel。2. 导入Parsel。原创 2023-04-19 07:15:54 · 2553 阅读 · 0 评论 -
selenium高级用法
在自动化测试中,经常需要等待某个元素出现或者某个操作完成后再执行下一步操作。有些操作会弹出新的浏览器窗口或者警告框,Selenium提供了`switch_to`方法来处理这些弹出窗口。其中,`window_handles`属性返回当前所有窗口的句柄,`switch_to.window()`方法可以切换到指定窗口。其中,`move_to_element()`方法将鼠标移动到指定元素上,`perform()`方法执行鼠标动作。其中,`execute_script()`方法可以执行JavaScript代码。原创 2023-04-21 06:41:22 · 256 阅读 · 0 评论 -
requests-html高级用法
上面的代码将查找`class`属性为`class-name`的元素的第一个父级``标签的文本内容。以上是使用Requests-HTML的一些高级用法示例。更多详细信息,请参阅Requests-HTML文档。上面的代码将查找所有`class`属性为`some-class`的``标签的文本内容。上面的代码将查找`class`属性为`class-name`的元素后面的所有兄弟元素的文本内容。上面的代码将打印HTML文档中所有的绝对链接。上面的代码将在多个请求之间保持会话状态。原创 2023-04-20 14:04:21 · 145 阅读 · 0 评论 -
request的基本使用
以上是requests库的一些常见使用方法,更多的使用方法可以查看官方文档:https://requests.readthedocs.io/en/latest/print(response.status_code) # 输出响应状态码。print(response.status_code) # 输出响应状态码。print(response.status_code) # 输出响应状态码。print(response.status_code) # 输出响应状态码。5. 发送带Cookies的请求。原创 2023-04-21 06:42:17 · 314 阅读 · 0 评论 -
urllib3高级用法
1. 连接池管理:urllib3使用连接池管理HTTP连接,可以提高性能和效率。4. 文件上传:可以使用`fields`参数和`encode_multipart_formdata()`方法来上传文件。2. SSL/TLS验证:可以使用`cert_reqs`和`ca_certs`参数来控制SSL/TLS验证。3. 代理设置:可以使用`proxy_url`和`proxy_port`参数来设置代理。5. 超时设置:可以使用`timeout`参数来设置请求超时时间。原创 2023-04-21 06:41:35 · 644 阅读 · 0 评论 -
requests-html基础使用
Requests-HTML是一个基于Python的库,它是在Requests库的基础上构建的,并使用了PyQuery库来实现HTML解析。上面的代码将获取https://www.example.com的HTML文档,并将其存储在`html_string`变量中。`find()`方法只返回第一个匹配的元素,而`find_all()`方法返回所有匹配的元素。上面的代码将查找`class`属性为`class-name`的第一个元素。上面的代码将打印HTML文档中所有的`<div>`标签的文本内容。原创 2023-04-19 07:19:15 · 1257 阅读 · 0 评论 -
parsel高级用法
ItemLoader`类用来将提取的数据加载到`MyItem`实例中。`add_css`方法用来定义如何从HTML中提取数据,`MapCompose`函数用来对提取的数据进行处理,`TakeFirst`函数用来取第一个结果。最后,`load_item`方法用来将提取的数据加载到`MyItem`实例中。可以通过`Selector`类的`xpath`方法来实现。可以通过`Selector`类的`re`方法来实现。可以通过`Selector`类的`callback`方法来实现。1. 使用CSS选择器。原创 2023-04-15 08:06:36 · 419 阅读 · 0 评论 -
selenium无头模式
其中,`add_argument('headless')`表示启用无头模式,`add_argument('window-size=1920x1080')`表示设置窗口大小。Selenium可以在无头模式下运行,即在后台执行自动化测试任务,不需要打开浏览器窗口。无头模式可以提高测试效率,减少资源消耗,适合在服务器上运行自动化测试任务。在创建无头浏览器对象后,可以像普通浏览器一样使用它来执行自动化测试任务。注意:使用无头模式时,不能访问浏览器的UI。因此,某些测试可能无法在无头模式下运行。原创 2023-04-06 15:48:13 · 5373 阅读 · 0 评论 -
selenium模拟网页的键盘鼠标操作
以上是一些常用的模拟键盘和鼠标操作的方法,可以根据具体需要进行调整。# 创建ActionChains对象。# 创建ActionChains对象。# 创建ActionChains对象。# 将光标移动到元素上并点击。# 模拟按下Ctrl + A。# 模拟按下Ctrl + C。# 模拟按下Ctrl + V。# 找到要拖拽到的目标元素。# 在输入框输入文字。# 找到要点击的元素。# 找到要拖拽的元素。4. 模拟键盘快捷键。# 找到要操作的元素。原创 2023-04-06 20:39:41 · 2169 阅读 · 0 评论 -
selenium点击按钮返回链接
Selenium可以模拟点击一个按钮并返回链接。通常情况下,我们可以通过Selenium模拟点击一个链接或按钮,来跳转到另一个页面。以上代码首先找到需要点击的按钮,通过get_attribute方法获取到按钮的链接,并保存在变量button_href中。然后通过click方法点击按钮,最后调用driver.get方法返回按钮点击前的链接。需要注意的是,上述方法适用于按钮的链接是固定不变的情况,如果链接是动态生成或生成已经改变了,那么该方法可能不适用。# 返回按钮点击前的链接。# 找到需要点击的按钮。原创 2023-04-06 21:25:51 · 1307 阅读 · 1 评论 -
lxml的xpath用法
使用lxml库可以大概分为两步:解析和查询。首先我们需要解析HTML或XML文档。lxml提供了两个类来解析HTML或XML文档:etree.ElementTree和etree.HTML。lxml是一个Python库,用于处理XML和HTML。它支持XPath、CSS选择器等查询方式,可以快速、灵活地处理XML和HTML文档。lxml库的功能非常丰富,支持文档序列化、元素操作等,可以根据具体需求进行更深入的使用。解析完成后,我们可以使用XPath或CSS选择器等方式查询文档中的元素。# 解析HTML文档。原创 2023-04-06 22:23:04 · 260 阅读 · 0 评论 -
lxml的CSS用法
带属性值的属性选择器:选择有指定属性值的元素,例如a[href="#"]。- 子元素选择器:选择某个元素的子元素,例如div > p。- 后代元素选择器:选择某个元素的后代元素,例如div p。- 属性选择器:选择有指定属性的元素,例如a[href]。- 标签选择器:选择指定标签名的元素,例如div、p等。- 类选择器:选择指定类名的元素,例如.class。- 伪类选择器:选择元素的状态,例如a:hover。- ID选择器:选择指定ID的元素,例如#id。lxml库还支持CSS选择器来查询元素。原创 2023-04-06 22:27:20 · 290 阅读 · 0 评论