python爬虫学习之视频评论抓取

爬虫学习的一点心得

任务：抓取某视频评论并下载

抓取：requests

解析：xpath，正则表达式

遇到的问题：

1.有些data参数使用的时间戳（由13位组成），每次访问的时间戳不一样，如果每一页爬取该参数值均一样可能导致爬取错误，需要自动生成时间戳：用time.time()*1000即可。

2.爬取多页数据时，发现中间某些页报错导致无法全部获取到页面信息（本次爬取时候发生报错，只爬取到部分页面评论），进行异常捕捉，可以准确定位问题，也可以跳过问题页面，不至于终止爬取后面正常页面信息。

 

转载于:https://www.cnblogs.com/tian2B/p/10878392.html