下载普通网页
获取网页内容
打开VS Code,选择文件,打开文件夹。然后按CTRL+P,调出命令菜单,输入>jup。选择create new blank notebook。
按CTRL+S,保存文件为.ipynb模式。(要记得pip install urllib3)
#导入urllib3模块的所有类和对象
import urllib3
#将要下载的网址,保存在url变量中
url = "http://jandan.net/p/110355"
#创建一个poolmanager对象
http = urllib3.PoolManager()
#调用http对象的request方法,第一个参数传一个字符串"GET",第二个参数是要下载的网址
#request方法会返回一个HTTPResponse类的对象,命名为response
response = http.request("GET", url)
#获取response对象的data属性
response_data = response.data
#调用data对象的decode方法
html_content =response_data.decode()
#打印出来
print(html_content)
将网页保存到文件
把字符串保存成一个文件。
#调用open函数,三个参数均为字符串类型
#第一个参数表示要操作的文件名
#第二个参数表示模式,w表示写入文件,r表示读取文件
#第三个参数表示编码格式,一般有中文认准的utf-8
fo = open("jiandan.html", "w", encoding="utf-8")
#调用文件对象的write方法
fo.write(html_content)
#关闭
fo.close()
写成一个整体函数
#第一个函数可以用来下载网页,返回网页内容
#参数url代表所要下载的网页地址
def download_content(url):
http = urllib3.PoolManager()
response = http.request("GET", url)
response_data = response.data
html_content = response_data.decode()
return html_content
#第二个函数,将字符串内容保存到文件中
#第一个参数为所要保存的文件名,第二个参数为要保存的字符串内容的变量
def save_to_file(filename, content):
fo = open(filename, "w", encoding= "utf-8")
fo.write(content)
fo.close()
url = "http://jandan.net/"
html_content = download_content(url)
save_to_file("jiandan.html", html_content)
下载动态网页
首先安装selenium。
安装完毕。
(写的时候,又出错了orz。所以又在cmd中pip了以下)
存储动态网页
url = "http://movie.douban.com/tv"
#从selenium库中导入webdriver类
from selenium import webdriver
#创建一个chrome浏览器对象
brow = webdriver.Chrome()
#使用Chrome对象打开url
brow.get(url)
#访问chrome对象的page_source属性
html_content = brow.page_source
#调用函数
save_to_file("douban_tv.html", html_content)
分页存储
for i in range(5):
url = "http://jiandan.net"
if i > 1:
url = url + "/page/" + str(i)
html_content = download_content(url)
save_to_file("jiandian_"+ str(i) + ".html", html_content)