from selenium import webdriver
import time
import pymysql
class GovementSpider(object):
def __init__(self):
self.browser=webdriver.Chrome()
self.one_url='http://www.mca.gov.cn/article/sj/xzqh/2019/'
#创建数据库相关变量
self.db=pymysql.connect(
'localhost','root','123456','govdb',charset='utf8'
)
self.cursor=self.db.cursor()
#定义3个列表,为了excutemany()
self.province_list=[]
self.city_list=[]
self.country_list=[]
#获取首页,并提取二级页面链接(虚假链接)
def get_false_url(self):
self.browser.get(self.one_url)
#提取二级页面链接+点击该节点
td_list
用selenium爬取政府民政部代码和市县名称
最新推荐文章于 2023-02-15 10:54:24 发布