倔强的小爬虫
各类场景爬虫实战解析,欢迎大家交流学习~
我该怎样继续前行丶
这个作者很懒,什么都没留下…
展开
-
爬取利用fiddler华中科技大学公众号
没错,它就是fiddler啦。极致简约的界面,老外写的软件就是看得舒服,它的基本使用我就不说啦,而且他还有一个好玩的用处,就是可以用来对那些异步刷新的页面进行爬取,异步刷新就是像于百度图片或者查看微信历史文章时,它并不是像一般的网站直接会返回所有的html信息,而是在使用者光标下滑到底时,再在同一个页面刷新出新的内容,然后就可以继续往下翻啦。从我们的角度来看就像网页变长了,但实际上这是一种异步请求返回数据的技术,好处就是只用建立一个TCP连接,而不用重新再打开新的网页,省去了三次握手的时间消耗,这明显要原创 2020-06-22 23:09:26 · 3040 阅读 · 0 评论 -
运用selenium爬取淘宝商品信息并保存在本地文件夹或MongoDB数据库
首先初始化一些变量# -*- coding: utf-8 -*-'''@Time : 2019/11/6 15:02@Author : yoos@FileName: 17.selenium爬取淘宝并保存在MongoDB.py@Software: PyCharm '''#from requests import optionsimport jsonimport os...原创 2019-11-07 20:20:57 · 3334 阅读 · 0 评论