爬虫学习
文章平均质量分 58
香芒小吃货
这个作者很懒,什么都没留下…
展开
-
tuple索引号越界报错的解决方法 IndexError: Replacement index 12 out of range for positional args tuple
前几天遇到tuple索引号越界的报错,调试了好久都没解决,幸亏柳老师帮我分析后搞定啦,感激~在这里记录一下代码用 python 抓取网站信息的数据,导入本地数据库(MySQL)时 遇到下标越界问题(图片回家后补哈,手机上传好像会转链接)虽然是在format这行报的错,但实际错的是上面values的位置参数的{0}就表示format函数中的第一个值,依次类推。format里面就11个值,最多到{10},我以为要跟字典里结构的位置相匹配,就改成 {12} {16} {17} 了,哇咔咔pytho原创 2020-08-08 09:31:11 · 14022 阅读 · 0 评论 -
python爬虫之 XPath 结合 requests 爬取豆瓣网站 存储格式可选 有 json、csv、txt
因为项目需要,最近在爬取非遗相关的网站,但目标url 有做源码的保护,不同元素的辨识度特别低,点开审查网页,好几个关键字都是cye-Im-tag就打算用XPath获取节点信息嘻嘻,这边引用大佬wsmrzx的爬取猫眼电影TOP250电影信息废话不多说,上链接 猫眼爬取大佬写得很详细,user-agent改一下即可哈关于lxml库的安装只需要执行:pip install lxml不知道为什么,使用这个命令安装,一次成功的很少,不知道为啥,就是各种报错那就先执行命令,安装wheel库pip原创 2020-07-18 12:17:01 · 350 阅读 · 0 评论