![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
python3网络爬虫
文章平均质量分 90
lss926
越努力,越幸运。
展开
-
python3网络爬虫-介绍
大家都说现在是“大数据时代”,然而数据从何而来?如果需要的数据市场上没有,或者不愿意花钱购买,可以通过网络爬虫的方式从万维网上抓取想要的数据。1. 爬虫的分类根据使用场景不同,网络爬虫可以分为通用爬虫和聚焦爬虫两种。2. 爬虫的基础-HTTP协议基本原理网络爬虫抓取数据的过程可以理解为模拟浏览器操作的过程,因此在学习爬虫之前要先学习HTTP协议的原理。HTTP协议(Hyper Text Trans...原创 2018-06-25 19:35:53 · 857 阅读 · 0 评论 -
python3网络爬虫-urllib.request模块
1. urllib.request模块基础使用 python中有很多网页抓取的库,python2中常用urllib+urllib2,python3中统一成了urllib库,urllib包中包含了四个模块:urllib.request、urllib.error、urllib.parse、urllib.robotparser。 urllib.request用于请求url和读取url的结果。 ur...原创 2018-07-30 19:47:15 · 567 阅读 · 0 评论