python爬虫
文章平均质量分 91
python编程之爬虫的相关知识点
Mr*Guo
这个作者很懒,什么都没留下…
展开
-
爬虫02-python爬虫使用的库及详解
可以根据状态码和描述信息来判断请求的处理结果,并采取相应的处理措施。当使用了隐式等待执行测试的时候,如果 WebDriver没有在 DOM中找到元素,将继续等待,超出设定时间后则抛出找不到元素的异常, 换句话说,当查找元素或元素并没有立即出现的时候,隐式等待将等待一段时间再查找 DOM,默认的时间是0。urllib.request 模块中的 urllib.request.Request() 方法用于创建一个 HTTP 请求对象,可以在请求中指定 URL、请求方法、请求头部信息和请求体数据等参数。原创 2024-02-20 13:56:59 · 1008 阅读 · 0 评论 -
爬虫01-爬虫原理以及爬虫前期准备工作
爬虫,又名网络爬虫。顾名思义,就是在网络中爬行的一只蜘蛛。互联网可以看作是一张巨大的网,爬虫就在这个网上爬来爬去,如果在爬行的过程中遇到了一些网站资源,就会把它抓取下来。如何抓取、抓取什么内容就由你来决定!原创 2024-01-10 15:50:46 · 1488 阅读 · 0 评论 -
正则表达式知识点汇总
示例3:\num,前面已经分组了,可以用\序号来直接引用某一组的内容,但是注意匹配规则字符串前要加r变成元字符串(元字符串中的所有符号都会被看作是字符串,而不会看成其他的比如\转义字符)比如:如果是字符串"c:\\a"的话,\\会自动变成一个\,因为\在程序中是转义字符。还可以再加一个参数是:count=0,是可选参数,用于指定最多替换的次数。用到三个参数,分别是:需要匹配的正则表达式,替换的字符串或替换函数,要搜索的字符串。sub函数用于在字符串中查找与正则表达式匹配的子串,并将其替换为指定的字符串。原创 2024-01-04 14:41:44 · 1114 阅读 · 1 评论 -
爬虫知识补充——编程高级知识
IO编程IO在计算机中就是input\output,就是输入\输出。凡是用到数据交换的地方,都会涉及IO编程,例如磁盘、网络的数据传输。在计算机系统中I/O操作针对不同的操作对象,可以划分为磁盘I/O模型,网络I/O模型,内存映射I/O, Direct I/O、数据库I/O等,只要具有输入输出类型的交互系统都可以认为是I/O系统,也可以说I/O是整个操作系统数据交换与人机交互的通道,这个概念与选用的开发语言没有关系,是一个通用的概念。在IO编程中,Stream(流)是一个很重要的概念:只不过流的概.原创 2022-05-12 13:20:37 · 210 阅读 · 0 评论