爬虫 网页、照片、视频

1、使用urllib获取网站首页源码

# 使用urllib获取网站首页源码
import urllib.request
#(1)定义一个url 就是你访问地址
url = '# 网址'
#(2)模拟浏览器向服务器发送请求
response=urllib.request.urlopen(url)
# (3)获取响应中的页面源码
#read方法 返回的是字节形式的二进制数据
#六个方法：read、readline、readlines、getcode、geturl、getheaders
#我们要将二进制数据转换为字符串
#二进制--》字符串  解码  decode(‘编码的格式')
content=response.read().decode('utf-8')
#打印数据
print(content)

2、urllib下载网页、图片、视频

#urllib下载网页、图片、视频
'''
# (urlretrieve(),参数：地址名，文件名称)
import urllib.request
#下载网页
url_page=' '
#urlretrieve(),参数：地址名，文件名称
urllib.request.urlretrieve(url_page,'baidu.html')

#下载图片
url_img=' '
urllib.request.urlretrieve(url_img,'照片.jpg')

#下载视频
url_video=' '
urllib.request.urlretrieve(url_video,'视频.mp4')
'''