爬虫
文章平均质量分 71
Harley_lee
努力学习 Python搞起来
展开
-
Python爬虫——XPath问题集合
requests异常 可能原因: 1. http 的连接数超过最大限制,默认的情况下连接是keep-alive的,导致了服务器保持了太多连接而不能再新建连接。 2. ip 被封。 3. 请求过快。解决方法: 1. 在header中不使用持久连接。设置‘Connection’: ‘close’ 或requests.adapters.DEFAULT_RETRIES = 5 ...原创 2021-08-25 09:20:08 · 1069 阅读 · 0 评论 -
Python爬虫——异常处理(try/except/else/finally)
1. 什么是异常当程序运行中检测到一个错误时,无法继续执行,出现了一些错误的提示,这就是异常常见错误类型BaseException 所有异常的基类 *** SystemExit 解释器请求退出 *** KeyboardInterrupt 用户终端执行(通常是输入) *** GeneratorExit 生成器(Generator)发生异常来通知推出 *** Exception 常规错误基类 2. 异常捕获python中的异常捕获...原创 2021-08-10 15:32:15 · 1837 阅读 · 0 评论 -
Python爬虫——csv数据存取/数据处理
1. Python内置csv模块eg1. with open 模式import csvwith open('test.csv','w') as csvFile: writer = csv.writer(csvFile) #先写columns_name writer.writerow(["index","a_name","b_name"]) #写入多行用writerows writer.writerows([[1,2,3],[0,1,2],[4,5,6]原创 2021-08-05 18:38:51 · 2800 阅读 · 0 评论