Python 爬虫入门
一、准备工作
- 安装 Python 3.6 及以上版本
- 会使用pip安装第三方库
1、Python安装及使用pip安装第三方库
- 官网https://www.python.org/下载并安装,勾选pip安装选项
- 打开控制台,输入
python --version
查看 Python 版本,对于学习者来说,保持使用最新版本的 Python 是个好习惯。 - 使用 pip 安装 requests_html 库,
pip install requests_html
,根据网络情况,通常需要几分钟时间。
二、提取网页数据
1、使用 Python 下载网页代码
新建一个 crawler.py 文件,输入并执行以下 4 行代码:
from requests_html import HTMLSession
session = HTMLSession()
r = session.get('https://3w.huanqiu.com/a/c36dc8/7KZVzJcCY7K?agt=20&tt_group_id=6667596831221875203')
print(r.text)
可看到输出为:
<!DOCTYPE html>
<html lang="zh">
<head>
<meta charset="UTF-8">
<title>惨败!英国脱欧协议草案以149票之差被下议院否决</title>
<meta name="keywords" content="惨败,英国脱欧协议草案,以149票之差,被下议院,否决">
<meta name="description" content="惨败!英国脱欧协议草案以149票之差被下议院否决">
<link rel="shortcut icon" href="/favicon.ico"/>
<link rel="stylesheet" href="//at.a