11.15爬虫作业

一、实验环境：
Windows10系统、VsCode软件
二、实验步骤
（1）安装所需库，并导入所需库

（2）打开VsCode，创建.py文件，编写代码在.py文件中先编写如下代码
首先，因为我们需要爬取多个网页信息，我们进入网站https://sh.lianjia.com/zufang/点击翻页，观察规律

经对比发现，每页格式为https://sh.lianjia.com/zufang/pg+i
I为自增整数，代表页码，由此确定我们所爬取的url，编写如下代码：

（4）然后我们进行爬取数据，我们采用正则表达式的形式，首先通过在网页的检查，找到所需内容，

根据网上代码，编写正则表达式，进行爬取，代码如下：

（5）获得网页信息，进行解析数据，导入bs4库

采用find_all函数查找符合的字符串，并通过append()将目标字符串加入到数据中，部分代码如下：

（6）首先将数据存储到excel表格中，通过创建workbook对象和工作表，存储数据，代码如下：

得到部分数据如下：

（7）将数据存储到数据库，首先下载pymysql，并导入

创建数据库lianjia及数据表homes，创建表代码如下：

通过pymysql进行连接，并将数据存储到数据库，代码如下：

存储成功，可在数据库中查询到，效果如下：