网页爬取的三种方式

最新推荐文章于 2024-08-09 18:16:40 发布

Analyst128

最新推荐文章于 2024-08-09 18:16:40 发布

阅读量3.3k

点赞数

分类专栏： Python语言爬虫文章标签： Python爬虫端午福利

本文链接：https://blog.csdn.net/Analyst128/article/details/82595186

版权

本文通过淘宝网图片爬取实例，详细介绍了利用Python进行网页爬取的三种方式：urllib.request、封装Request请求以及urlretrieve直接保存到硬盘。重点探讨了如何分析网页结构并实施爬取。

摘要由CSDN通过智能技术生成

爬取的重点在于分析网页结构,以爬取淘宝网图片为例:
爬取网页有三种方式：
1.urllib.request
2.封装Request请求
3.urlretrieve直接写入硬盘
下面以第三种方法爬取xxx图片
代码如下：

#爬取网页有三种方式:urllib.request,封装Request请求,urlretrieve直接写入硬盘,下面以第三种方法爬取xxx图片
import urllib.request
'''爬取网页方法一：'''
data=urllib.request.urlopen('http://123.sogou.com').read().decode('utf-8','ignore')
#A=len(data)
'''爬取网页方法二：'''
url='http://123.sogou.com'
req=urllib.request.Request(url)
data2=urllib.request.urlopen(req).read().decode('utf-8','ignore')
#B=len(data2)
#爬取淘宝网'xxx'
import urllib.request
import re
key1="关键词"
key2=urllib.request.quote(key1) #对关键字进行编码处理
for i in range(1,10):   #获取各页
    try:        #底层网页爬取异常处理
        print("--------正在爬第"+str(i)+"页------------")
        url="https://s.taobao.com/search?q=&