Python爬虫入门教程【14】：石家庄政民互动数据爬取-网页分析

今天，咱抓取一个网站，这个网站呢，涉及的内容就是 网友留言和回复，特别简单，但是网站是gov的。网址为
http://www.sjz.gov.cn/col/1490066682000/index.html

首先声明，为了学习，绝无恶意抓取信息，不管你信不信，数据我没有长期存储，预计存储到重装操作系统就删除。

石家庄政民互动数据爬取-网页分析

点击更多回复 ，可以查看到相应的数据。

数据量很大14万条,，数据爬完，还可以用来学习数据分析，真是nice

经过分析之后，找到了列表页面。

数据的爬取这次我们采用的是 selenium ，解析页面采用lxml，数据存储采用pymongo ，关于selenium 你可以去搜索引擎搜索相关的教程，好多的，主要就是打开一个浏览器，然后模拟用户的操作，你可以去系统的学习一下。

石家庄政民互动数据爬取-撸代码

导入必备模块

from selenium import webdriver
from selenium.common.exceptions import TimeoutException
from selenium.webdriver.common.by import By
from selenium.webdri