爬虫
未来的小牛
这个作者很懒,什么都没留下…
展开
-
一、爬虫入门——爬虫的基础知识
1.数据的来源 1)用户自行产生 2)去第三方的公司购买数据 3)去免费的数据网站下载数据 4)人工收集数据 5)爬虫获取 2.什么是爬虫 网络爬虫(又被称为网页蜘蛛,网络机器人)就是模拟浏览器发送网络请求,接收请求响应,一种按照一定的规则,自动地抓取互联网信息的程序。原则上,只要是浏览器(客户端)能做的事情,爬虫都能够做 3.爬虫的分类 根据被爬网站的数量的不同,我们把爬虫分为: 通用爬虫 :通...原创 2018-12-08 16:03:10 · 363 阅读 · 0 评论 -
二、爬虫入门——requests的基本使用
1.作用:发送请求获取响应 为什么使用requesst? 1)requests底层实现的是urllib 2)requests在python2和python3中通用,方法完全一样 3)requests简单易用(python特性) 4)requests能够帮助我们解压响应内容(自动解压完善请求头,自动获取cookie) 2. 发送简单的get请求、获取响应 response = requests.ge...原创 2018-12-10 09:19:43 · 342 阅读 · 0 评论