python 爬取网页 通知消息_Python爬取网页信息

Python爬取网页信息的步骤

以爬取英文名字网站(https://nameberry.com/)中每个名字的评论内容，包括英文名，用户名，评论的时间和评论的内容为例。

1、确认网址

在浏览器中输入初始网址，逐层查找链接，直到找到需要获取的内容。

在打开的界面中，点击鼠标右键，在弹出的对话框中，选择“检查”，则在界面会显示该网页的源代码，在具体内容处点击查找，可以定位到需要查找的内容的源码。

注意：代码显示的方式与浏览器有关，有些浏览器不支持显示源代码功能(360浏览器，谷歌浏览器，火狐浏览器等是支持显示源代码功能)

步骤图：

1)首页，获取A~Z的页面链接

2)名字链接页，获取每个字母中的名字链接(存在翻页情况)

3)名字内容页，获取每个名字的评论信息

2、编写测试代码

1)获取A~Z链接，在爬取网页信息时，为了减少网页的响应时间，可以根据已知的信息，自动生成对应的链接，这里采取自动生成A~Z之间的连接，以pandas的二维数组形式存储

1 defget_url1():2 urls=[]3 #A,'B','C','D',&#