python+playwright获取国家统计局行政区划数据

最新推荐文章于 2024-10-12 12:26:23 发布

前端node资料大全

最新推荐文章于 2024-10-12 12:26:23 发布

阅读量573

点赞数 20

分类专栏： 2024年程序员学习文章标签： python 开发语言

本文链接：https://blog.csdn.net/m0_60144796/article/details/137358661

版权

result = pd.DataFrame()

抓取网页内容

def scrape_page(page, url):
page.goto(url)
page.wait_for_load_state(‘networkidle’)

获取解析内容

def parse_index(page):
# 获取网页内容请求
elements = page.query_selector_all(‘tr td:nth-child(2) a’)
if page.query_selector(‘table.towntable’):
BASE_URL = BASE_URL_2
else:
BASE_URL = BASE_URL_1
# 获取元素信息
for element in elements:
part_of_url = element.get_attribute(‘href’)
detail_url = urljoin(BASE_URL, part_of_url)
url_list.append(detail_url)
parse_detail(page)

def parse_detail(page):
global result
global count
data = page.query_selector_all(‘.villagetable tbody tr, .countytable tbody tr, .towntable tbody tr’)
for i in range(1,len(data)):
acode = data[i].query_selector(‘td:nth-child(1)’).text_content()
region = data[i].query_selector(‘td:nth-child