Python爬取网页数据

都说python爬网页数据方便，我们今天就来试试，python爬取数据到底有多方便

---

简介

爬取数据，基本都是通过网页的URL得到这个网页的源代码，根据源代码筛选出需要的信息

准备

IDE：pyCharm
库：requests、lxml

大概介绍一下，这俩库主要为我们做什么服务的
requests：获取网页源代码
lxml：得到网页源代码中的指定数据

言简意赅有没有 ^_^

搭建环境

这里的搭建环境，可不是搭建python的开发环境，这里的搭建环境是指，我们使用pycharm新建一个python项目，然后弄好requests和lxml
新建一个项目：

光溜溜的啥也没有，新建个src文件夹再在里面直接新建一个Test.py吧

依赖库导入
我们不是说要使用requests吗，来吧
由于我们使用的是pycharm，所以我们导入这两个库就会显的格外简单，如图：

在Test.py中输入：

import requests

这个时候，requests会报红线，这时候，我们将光标对准requests，按快捷键：alt + enter，pycharm会给出解决之道，这时候，选择install package requests，pycharm就会自动为我们安装了，我们只需要稍等片刻，这个库就安装好了。lxml的安装方式同理.

将这两个库安装完毕后，编译器就不会报红线了

接下来进入快乐的爬虫时间

获取网页源代码

之前我就说过，requests可以很方便的让我们得到网页的源代码
网页就拿我的博客地址举例好了：https://blog.csdn.net/it_xf?viewmode=contents
获取源码：

# 获取源码
html = requests.get("https://blog.csdn.net/it_xf?viewmod