爬虫
未来的小牛
这个作者很懒,什么都没留下…
展开
-
一、爬虫入门——爬虫的基础知识
1.数据的来源1)用户自行产生2)去第三方的公司购买数据3)去免费的数据网站下载数据4)人工收集数据5)爬虫获取2.什么是爬虫网络爬虫(又被称为网页蜘蛛,网络机器人)就是模拟浏览器发送网络请求,接收请求响应,一种按照一定的规则,自动地抓取互联网信息的程序。原则上,只要是浏览器(客户端)能做的事情,爬虫都能够做3.爬虫的分类根据被爬网站的数量的不同,我们把爬虫分为:通用爬虫 :通...原创 2018-12-08 16:03:10 · 398 阅读 · 0 评论 -
二、爬虫入门——requests的基本使用
1.作用:发送请求获取响应为什么使用requesst?1)requests底层实现的是urllib2)requests在python2和python3中通用,方法完全一样3)requests简单易用(python特性)4)requests能够帮助我们解压响应内容(自动解压完善请求头,自动获取cookie)2. 发送简单的get请求、获取响应response = requests.ge...原创 2018-12-10 09:19:43 · 365 阅读 · 0 评论