- 博客(3)
- 收藏
- 关注
RSS订阅原创 scrapy爬取数据到数据库，报错：「class ‘pymysql.err.InternalError‘」: (1241, ‘Operand should contain 1 column(s)‘)
scrapy爬取数据到数据库，报错：[Failure instance: Traceback: <class ‘pymysql.err.InternalError’>: (1241, ‘Operand should contain 1 column(s)’)这种问题出现的原因是因为你在解析数据的时候出现的问题，不是你解析错误，而是他解析成了列表。以1688商品名称举例：这时候他解析出来的数据可能就是：shop_name=[‘定制口罩收纳盒学生存放口罩盒子长方形口罩盒新奇特创意’,‘家居
2020-07-10 10:58:02
3717
1
原创 python+selenium爬取1688多个商品数据
python+selenium爬取1688多个商品数据需求：查询某商品后页面的信息，不涉及深入采集就像这种的：为什么不用request，urllib进行爬取，而是用selenium呢？有试过使用request，可以进行爬取，但是时间长了，就会出现error，反正阿里就不给你返回页面了，用了免费代理ip更恐怖，没有一个成功的，什么超级主机主动拒绝什么，一个看着比一个giaoligiaogiao。之所以用selenium，因为他是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览
2020-07-06 10:03:23
3101
原创 python requests 爬取代理ip并验证（快代理&西祠代理）
**爬取代理ip并验证（快代理&西祠代理）**最近公司有些爬虫需求，有爬虫，就需要有代理IP池（为什么需要？自己想。），但是吧，只能用免费的，原因都懂，那来吧！快代理：https://www.kuaidaili.com/free/inha/1/西祠代理：http://www.xicidaili.com/nn/1/（我今天发现登不上，代码也贴上吧，赠人玫瑰，手有余香！）快代理快代理# 快代理import requestsfrom lxml import etree
2020-07-03 11:00:10
7022
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人