【python数据分析】获取网页

下载普通网页

获取网页内容

打开VS Code，选择文件，打开文件夹。然后按CTRL+P，调出命令菜单，输入>jup。选择create new blank notebook。

按CTRL+S，保存文件为.ipynb模式。(要记得pip install urllib3）

#导入urllib3模块的所有类和对象
import urllib3
#将要下载的网址，保存在url变量中
url = "http://jandan.net/p/110355"
#创建一个poolmanager对象
http = urllib3.PoolManager()
#调用http对象的request方法，第一个参数传一个字符串"GET"，第二个参数是要下载的网址
#request方法会返回一个HTTPResponse类的对象，命名为response
response = http.request("GET", url)
#获取response对象的data属性
response_data = response.data
#调用data对象的decode方法
html_content =response_data.decode()
#打印出来
print(html_content)

将网页保存到文件

把字符串保存成一个文件。

#调用open函数，三个参数均为字符串类型
#第一个参数表示要操作的文件名
#第二个参数表示模式，w表示写入文件，r表示读取文件
#第三个参数表示编码格式，一般有中文认准的utf-8
fo = open("jiandan.html", "w", encoding="utf-8")
#调用文件对象的write方法
fo.write(html_content)
#关闭
fo.close()

写成一个整体函数

#第一个函数可以用来下载网页，返回网页内容
#参数url代表所要下载的网页地址
def download_content(url):
    http = urllib3.PoolManager()
    response = http.request("GET", url)
    response_data = response.data
    html_content = response_data.decode()
    return html_content

#第二个函数，将字符串内容保存到文件中
#第一个参数为所要保存的文件名，第二个参数为要保存的字符串内容的变量
def save_to_file(filename, content):
    fo = open(filename, "w", encoding= "utf-8")
    fo.write(content)
    fo.close()

url = "http://jandan.net/"
html_content = download_content(url)
save_to_file("jiandan.html", html_content)

下载动态网页

首先安装selenium。

安装完毕。
（写的时候，又出错了orz。所以又在cmd中pip了以下）

存储动态网页

url = "http://movie.douban.com/tv"
#从selenium库中导入webdriver类
from selenium import webdriver
#创建一个chrome浏览器对象
brow = webdriver.Chrome()
#使用Chrome对象打开url
brow.get(url)
#访问chrome对象的page_source属性
html_content = brow.page_source
#调用函数
save_to_file("douban_tv.html", html_content)

分页存储

for i in range(5):
    url = "http://jiandan.net"
    if i > 1:
        url = url + "/page/" + str(i)
html_content = download_content(url)
save_to_file("jiandian_"+ str(i) + ".html", html_content)