python爬虫
你的龙哥哥
这个作者很懒,什么都没留下…
展开
-
python 爬虫 之 requests
python爬虫 python爬虫使用的基本库之一:requests 首先,需要安装:pip install requests 安装之后就可以使用了 我们大多数情况下会使用requests.get(),或者requests.post(),来获得我们所需要的网页内容。 requests.get()是通过get请求来获得网页,requests.post()是通过post请求来获得网页内容的,需要传额外...原创 2018-09-19 18:24:49 · 338 阅读 · 2 评论 -
python爬虫之一个完整的小爬虫
今天就直接进入主题 这个爬虫需要用到的包: 其中mongo_cache使我们自己定义的向MongoDB里存储数据的包,大家可以参照我之前的有关MongoDB的讲解https://blog.csdn.net/oyjl19961216/article/details/82778256 import requests from fake_useragent import UserAgent # 随机生...原创 2018-09-21 20:04:18 · 267 阅读 · 0 评论