![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
python爬虫学习记录
文章平均质量分 74
littlejazzcat
这个作者很懒,什么都没留下…
展开
-
Selenium总结
如果不加等待时间,则有可能在查找元素等操作时碰到元素尚未加载出来就会导致抛出未找到的异常影响自动化效率###隐式等待 driver.implicitly_wait()参数为需要等待的秒数(整型)driver.implicitly_wait(10)#隐式等待时间设置为10秒driver.get("http://www.jianshu.com") # 打开简书###显式等待driver.get("http://www.jianshu.com") # 打开简书。原创 2023-09-13 11:58:16 · 1114 阅读 · 1 评论 -
lxml学习记录
Lxml库是基于libxml2的XML解析库的封装。只用C语言编写,用xpath语法解析定位网页数据。原创 2023-08-08 17:56:48 · 47 阅读 · 0 评论 -
关于python中可变对象与不可变对象的值传递与引用以及‘+=‘的问题
这意味着对对象进行的修改在所有引用它的地方都是可见的,因为它们引用的是同一个对象。这两段代码逻辑基本一致,唯一的区别就是前者使用了’+=‘,后者则在逻辑上将’+=‘拆开了(copied_list = copied_list + [‘a’]),如果这是在C语言中那这两者的结果应该是一样的,但是python3中对于可变对象的’+='和将其拆开的逻辑是有区别的。这是因为不可变对象的值是不可更改的,为了在修改时保持数据的不变性,Python会创建一个新的对象来存储修改后的值。)的传递处理是不同的。原创 2023-09-06 21:33:25 · 134 阅读 · 1 评论 -
python闭包
python闭包问题原创 2023-09-08 23:51:36 · 63 阅读 · 1 评论 -
Python多线程学习记录
但是如果多线程任务都是计算型,CPU会一直在进行工作,直到一定的时间后采取多线程时间切换的方式进行切换线程,此时CPU一直处于工作状态,此种情况下并不能提高性能,相反在切换多线程任务时,可能还会造成时间和资源的浪费,导致效能下降。除了submit,ThreadPoolExecutor还提供了map函数来添加线程,与常规的map类似,区别在于线程池的 map() 函数会为 iterables 的每个元素启动一个线程,以并发方式来执行 func 函数. 同时,使用map函数,还会自动获取返回值。原创 2023-08-09 11:35:44 · 35 阅读 · 1 评论 -
beautifulsoup学习记录
BeautifulSoup方法将res.text(注意要是text格式)解析成标准的html缩进格式数据放入变量'soup'中,这时'soup'是一个soup对象,可以使用BeautifulSoup库的其他方法来提取想要的内容具体看下面的方法。需要注意的是,strip()函数返回一个新的字符串,并不会修改原始字符串。strip()函数是用于移除字符串开头和末尾的指定字符(默认为空格)或字符序列的方法。需要注意这种方法得到的结果是会带有标签的,使用get_text()方法即可获得其中的文本内容。原创 2023-08-01 22:00:00 · 84 阅读 · 1 评论 -
requests学习记录
使用requests库,你可以轻松地向服务器发送GET、POST、PUT、DELETE等各种类型的请求,并获取响应结果。1、发送HTTP请求:使用requests库,你可以发送各种类型的HTTP请求,如GET、POST、PUT等,以及定制请求头、请求参数、文件上传等功能。6、文件上传和下载:requests库可以方便地处理文件的上传和下载,支持多种文件传输方式,如普通文件上传、分块上传、断点续传等。2、图像数据:当请求的资源是图像文件时,服务器可以返回图像数据,如JPEG、PNG、GIF 等格式。原创 2023-08-01 17:45:58 · 30 阅读 · 1 评论