初学者——Selenium爬取统计局年度人口分布公开数据代码

最新推荐文章于 2025-01-22 11:43:58 发布
最新推荐文章于 2025-01-22 11:43:58 发布
阅读量269 收藏 1
点赞数 1
分类专栏： 数据爬虫 文章标签： selenium python 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Fighting_hyt/article/details/131538396
版权

初学者——Selenium爬取统计局年度人口分布公开数据代码

（仅爬虫练习，侵删）

数据来源：统计局官网
数据去向：EXCEL表格
数据处理工具：SELENIUM ，GOOGLE浏览器
注意事项：

1.代码中的浏览器驱动地址以及存储CSV地址需要更换本地地址；
2.存储数据：一张表 = 一个工作薄，目录层级关系在工作薄名字上进行展示；

话不多说，直接上代码：

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.select import Select
from selenium.webdriver.common.action_chains import ActionChains
from lxml import etree
from lxml import html
from bs4 import BeautifulSoup
import selenium.webdriver.support.ui as ui
import requests
import pandas as   pd
import time
import json
import openpyxl as op
import urllib.request
import re
import hashlib
import datetime
#写入指定的EXCEL文件
def  write_to_excel(fileName,sheetname,title,data):
    try:
        workbook = op.load_workbook(fileName)
        worksheet1 = workbook.create_sheet(sheetname)
        worksheet1.append( title)
        for j in range(len(data)):
            insertData = data[j]
            worksheet1.append(insertData)
        workbook.save(fileName)  # 关闭表
    except Exception as e:
        print('list index out of range')
        print(e)
        
# 获取指定路径下的级数个数
def getElementCnt(resp,path,element):
    param1 = resp.xpath(path)
    try:
        param_code = html.tostring(param1[0])
        param_cnt = str(param_code).count(element)
        return param_cnt
    except Exception as e:
#         print("Calculating Element Count Wrong!")
        if e is 'list index out of range':
            return 0
        else:
#             print(e)
            return 0
        
    
#判断下一级个数是否存在
def judgeHasNextFloor(resp,path,element):
    a = getElementCnt(resp,path,element)
    if a is not 0:
        return true
    else:
        return false
#清除数据自身带来的符号
def cleanString(str1):
    return str1.replace('[','').replace(']','').replace('\'''','')
# #获取数据列级信息
def getHeadData(resp):
    headlists = []
    column_cnt = getElementCnt(resp,'/html/body/div[5]/div[2]/div/div[2]/div[2]/div[2]/div/div[1]/table/thead/tr','<th')
    tbhead_list = resp.xpath('/html/body/div[5]/div[2]/div/div[2]/div[2]/div[2]/div/div[1]/table/thead/tr')
    for tbhead in tbhead_list: 
        for i in range(column_cnt):
            i +=1
            head_pri = tbhead.xpath('./th['+str(i)+']/strong/text()')
            head=str(head_pri).replace('[','').replace(']','').replace('\'''','')
            headlists.append(head)
    print("Columns:"+str(headlists))
    return headlists

#获取数据行级信息 
def getRowsData(resp):
    bodylists = []
    tbbody_list = resp.xpath('/html/body/div[5]/div[2]/div/div[2]/div[2]/div[2]/div/div[3]/table/tbody')
    row_cnt = getElementCnt(resp,'/html/body/div[5]/div[2]/div/div[2]/div[2]/div[2]/div/div[3]/table/tbody','<tr')
    column_cnt = getElementCnt(resp,'/html/body/div[5]/div[2]/div/div[2]/div[2]/div[2]/div/div[1]/table/thead/tr','<th')
    for tbbody in  tbbody_list:
        for j in range(row_cnt):#rows
            bodylist = []
            j += 1
            for k in range(column_cnt):#columns
                k += 1
                body_pri = tbbody.xpath('./tr['+str(j)+']/td['+str(k)+']/text()')
                body=str(body_pri).replace('[','').replace(']','').replace('\'''','')
                bodylist.append(body)
            bodylists.append(bodylist)
            print("Rows:"+str(bodylist))
    return bodylists

def printHeadAndData(resp,fileName,sheetname):
    headlists = getHeadData(resp)
    bodylists = getRowsData(resp)
    write_to_excel(fileName,sheetname,headlists,bodylists)
# 获取网页驱动
driver = webdriver.Chrome(executable_path='D:/test/chromedriver.exe')
wait = ui.WebDriverWait(driver,10)


# 获取网页信息
driver.get('https://data.stats.gov.cn/easyquery.htm?cn=C01')
# 针对Google私密设置
click_goon = driver.find_element_by_xpath("/html/body/div/div[3]/p[2]/a[text()='继续前往data.stats.gov.cn（不安全）']")
driver.execute_script("arguments[0].click();", click_goon)
driver.get('https://data.stats.gov.cn/easyquery.htm?cn=C01')
driver.switch_to.default_content()
time.sleep(2)


# 设置页面功能维度转换
converse=driver.find_element_by_xpath("/html/body/div[11]/ul/li[2]/a[text()='转置']")
driver.execute_script("arguments[0].click();", converse)
time.sleep(2)
#设置展示最近20年数据，暂未成功
# ele = driver.find_element(By.XPATH,'(//*[@title="最近20年"])[1]') 
# ActionChains(driver).move_to_element(ele).perform() # 鼠标悬停


# 定位鼠标悬停元素 触发下拉框菜单
# # 选择第一层单位
# driver.find_element(By.XPATH,'//*[@id="treeZhiBiao_2_span"]').click() 
# # 选择第二层单位
# driver.find_element(By.XPATH,'//*[@id="treeZhiBiao_30_span"]').click() 
# time.sleep(2)

# 获取网页源代码
resp = driver.page_source
resp = etree.HTML(resp)

# 获取一级菜单栏地址和个数
floor1_cnt = getElementCnt(resp,'/html/body/div[5]/div[2]/div/div[1]/div/ul/li/ul','<li')
print("The number of data`s floors is "+str(floor1_cnt))

basepath = '/html/body/div[5]/div[2]/div/div[1]/div/ul/li/ul'
fileName = 'E:/User/datamining/c_data.xlsx'  

floor1_id_list = []
floor1_name_list = []
floor2_id_list = []
floor2_name_list = []
floor3_name_list = []
floor3_id_list = []
floor4_name_list = []
floor4_id_list = []
#判断菜单层级是否为0 ，为0时记录当前层级ID值；不为0时继续遍历下一级；下面展示的就是不为0时获取菜单的ID和名称
def converseMenu(cnt,basepath):
    floor_list = []
    floor_name_list = []
    floor_id_list = []
    if cnt is not 0:
        for c in range(cnt):
            c += 1
            floor = driver.find_element_by_xpath('/html/body/div[5]/div[2]/div/div[1]/div/ul/li/ul/li['+str(c)+']/a/span[2]')
            driver.execute_script("arguments[0].click();", floor)
            time.sleep(2)
            resp2 = driver.page_source
            resp2 = etree.HTML(resp2)
        
            cnt2 = getElementCnt(resp2,'/html/body/div[5]/div[2]/div/div[1]/div/ul/li/ul/li['+str(c)+']/ul','<li')
            time.sleep(1)
            print(floor.text +'的下一层菜单个数为 = '+str(cnt2))
            if cnt2 is not 0 :
                for c2 in range(cnt2):
                    c2 += 1
                    floor2 = driver.find_element_by_xpath('/html/body/div[5]/div[2]/div/div[1]/div/ul/li/ul/li['+str(c)+']/ul/li['+str(c2)+']/a/span[2]')
                    driver.execute_script("arguments[0].click();", floor2)
                    time.sleep(1)
                    resp3 = driver.page_source
                    resp3 = etree.HTML(resp3)
                    cnt3 = getElementCnt(resp3,'/html/body/div[5]/div[2]/div/div[1]/div/ul/li/ul/li['+str(c)+']/ul/li['+str(c2)+']/ul','<li')
                    print(floor.text+'_'+floor2.text +' 下一层菜单个数为 '+str(cnt3))
                    if cnt3 is not 0 :
                        for c3 in range(cnt3):
                            c3 += 1
                            floor3 = driver.find_element_by_xpath('/html/body/div[5]/div[2]/div/div[1]/div/ul/li/ul/li['+str(c)+']/ul/li['+str(c2)+']/ul/li['+str(c3)+']/a/span[2]')
                            driver.execute_script("arguments[0].click();", floor3)
                            time.sleep(1)
                            resp4 = driver.page_source
                            resp4 = etree.HTML(resp4)
                            cnt4 = getElementCnt(resp4,'/html/body/div[5]/div[2]/div/div[1]/div/ul/li/ul/li['+str(c)+']/ul/li['+str(c2)+']/ul/li['+str(c3)+']/ul','<li')
                            print(floor.text+'_'+floor2.text+'_'+floor3.text +' 下一层菜单个数为 '+str(cnt4))
                            if cnt4 is not 0 :
                                for c4 in range(cnt4):
                                    c4+=1
                                    floor4 = driver.find_element_by_xpath('/html/body/div[5]/div[2]/div/div[1]/div/ul/li/ul/li['+str(c)+']/ul/li['+str(c2)+']/ul/li['+str(c3)+']/ul/li['+str(c4)+']/a/span[2]')
                                    driver.execute_script("arguments[0].click();", floor4)
                                    time.sleep(1)
                                    resp4_5 = driver.page_source
                                    resp4_5 = etree.HTML(resp4_5)
                                    printHeadAndData(resp4_5,fileName,floor.text+'_'+floor2.text+'_'+floor3.text+'_'+floor4.text)
                                    floor4_name = floor4.text
                                    floor4_id = floor4.get_attribute('id')
                                    floor_name_list.append(floor4_name)
                                    floor_id_list.append(floor4_id)
                                    floor4_name_list.append(floor4_name)
                                    floor4_id_list.append(floor4_id)
                            else:
                                resp3_4 = driver.page_source
                                resp3_4 = etree.HTML(resp3_4)
                                printHeadAndData(resp3_4,fileName,floor.text+'_'+floor2.text+'_'+floor3.text)
                                floor3_name = floor3.text
                                floor3_id = floor3.get_attribute('id')
                                floor_name_list.append(floor3_name)
                                floor_id_list.append(floor3_id)
                                floor3_name_list.append(floor3_name)
                                floor3_id_list.append(floor3_id)
                    else:
                        resp2_3 = driver.page_source
                        resp2_3 = etree.HTML(resp2_3)
                        printHeadAndData(resp2_3,fileName,floor.text+'_'+floor2.text)
                        floor2_name = floor2.text
                        floor2_id = floor2.get_attribute('id')
                        floor_name_list.append(floor2_name)
                        floor_id_list.append(floor2_id)
                        floor2_name_list.append(floor2_name)
                        floor2_id_list.append(floor2_id)
            else:
                resp1_2 = driver.page_source
                resp1_2 = etree.HTML(resp1_2)
                printHeadAndData(resp1_2,fileName,floor.text)
                floor_name = floor.text
                floor_id = floor.get_attribute('id')
                floor_name_list.append(floor_name)
                floor_id_list.append(floor_id)
                floor1_name_list.append(floor_name)
                floor1_id_list.append(floor_id)
        floor_list.append(floor_name_list)
        floor_list.append(floor_id_list)   
        return floor_list
    else:
        return false
    

# 第一层
floor1_list = converseMenu(floor1_cnt,basepath)
# print("The click floors are as list: "+str(floor_list))        
# print("The first floors are as list: "+str(floor1_name_list))        
# print("The second floors are as list: "+str(floor2_name_list))   


   
driver.close()
driver.quit()

爬虫页面显示：
在这里插入图片描述
EXCEL表格展示数据，目录间的上下级关系通过下划线“_”连接的，表格数量非常多：
在这里插入图片描述

欢迎小伙伴留言讨论哦~

利用Python爬取全国250m精度的人口数据
J_Giser的博客
02-08 905
利用Python爬取全国250m精度的人口数据（文末worldpop人口数据分享）
利用Python在统计局网站爬取统计年鉴
大尾巴鱼的博客
08-11 5018
通过爬虫手段批量获取统计局年鉴报告里指定的指标。
Python-selenium-爬取河南省统计年鉴信息
01-20
Python-selenium-爬取河南统计年鉴信息 写论文需要用到统计年鉴数据，发现网页上面的数据是一个个的表格，如果一个个的去下载非常麻烦，写个脚本解决一下。 爬虫地址 http://www.ha.stats.gov.cn/hntj/lib/tjnj/2019/zk/lefte.htm 成果预览 实现代码 # -*- coding: utf-8 -*- @File : 河南省统计年鉴.py @Author : fungis@163.com @Time : 2020/03/11 20:52 @notice : 河南省统计年鉴文件下载 from seleni
【日常】《中国统计年鉴》与《中国金融年鉴》数据表爬虫（附1985-2020所有Excel资源）
梦想破三的奔三狗
06-07 1万+
想要打个招呼真难
用Python（selenium）爬取重庆统计年鉴信息
积一时之步，臻千里之遥程
04-24 2036
import time,os from selenium import webdriver from lxml import etree import requests def downloads_excel(excel_url, year, name): get_excel = requests.get(str(excel_url)) save_file_path = ...
获取统计年鉴数据链接
weixin_58816905的博客
11-23 329
https://www.yearbookchina.com
使用selenium爬取国家统计局人口普查信息
qq_44132542的博客
06-07 2291
此爬虫使用了以下库: selenium + ChromeDriver beautifulsoup requests 具体安装方法请自行百度,这里不过多赘述 爬虫主要分为两个模块 一个使用selenium获得网页内容,再使用beautifulsoup提取出地址信息. 另一个使用requests下载xls文件 代码如下: from selenium import webdriver from sele...
Python selenium爬取微信公众号文章代码详解
09-16
主要介绍了Python selenium爬取微信公众号历史文章代码详解,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
selenium爬取腾讯新闻feiyan页面实时数据
12-21
requests+json爬取腾讯新闻feiyan实时数据并实现持续更新 requests+bs4爬取丁香园feiyan实时数据 但是之前用腾讯的接口，一方面腾讯老是换接口，另一方面提供的接口经常不更新数据。而丁香园的数据吧，老是不大准确...
python3+selenium爬取百度图片
12-21
python3+selenium爬取百度图片 from selenium import webdriver from lxml import etree from urllib import request import time class Baidu_pic(object): def __init__(self,kw): self.kw = kw options = ...
python抓取文献关键信息,python爬虫——使用selenium爬取知网文献相关信息
weixin_39623355的博客
03-26 4350
python爬虫——使用selenium爬取知网文献相关信息写在前面：本文章限于交流讨论，请不要使用文章的代码去攻击别人的服务器如侵权联系作者删除文中的错误已经修改过来了，谢谢各位爬友指出错误在你复制本文章代码去运行的时候，请设置延迟，给自己留一条后路转载请注明来源，谢谢1. 先看爬取的效果2.知网的反爬虫手段很强，反正我爬取pc端的时候，用selenium爬取获取不到源代码，真是气人，后来换成手...
知网统计年鉴爬虫
11-19
知网的统计数据爬虫
统计局数据爬取.py
05-12
统计局数据爬取脚本，包括从html中解析标题，从html中解析CPI数据，提取各地区数据等，代码简单易于读取
全国第七次人口普查数据，七普人口：省市县三级人口数据（shp格式）.rar
02-23
全国第七次人口普查数据，七普人口：省市县三级人口数据（shp格式）.rar
案例分享：使用 Python 批量处理统计年鉴数据（上）
weixin_55633225的博客
03-28 2179
案例分享：使用 Python 批量处理统计年鉴数据（上）
Selenium爬虫项目———我国主要城市年度数据爬取
m0_74282695的博客
04-22 1920
使用selenium模块进行我国主要城市年度数据的爬取，爬取相关数据到数据集中，实现根据年份分门别类。
Python 爬取zw年鉴
qq_37224833的博客
11-13 1540
爬虫主方法 # -*- coding: utf-8 -*- import sys import urllib.request from bs4 import BeautifulSoup from selenium import webdriver from selenium.webdriver import DesiredCapabilities from selenium.webdriver.common.by import By from selenium.webdriver.support impor
Python：第六次全国人口普查数据分析及可视化（pandas、matplotlib）
热门推荐
Jodness' Blogs
02-22 2万+
  一、数据获取 在国家统计局网中下载第六次人口普通统计表：http://www.stats.gov.cn/tjsj/pcsj/rkpc/6rp/indexch.htm 然后通过pandas将excel数据解析为多级字典 先观察excel数据 可以转化为这样的多级词典： 理清字典关系后代码就简单了 def getDataDict(): #skiprows指跳过的行下...
selenium获取登录token
最新发布
我只是无聊
01-22 529
新到一个需求需要用爬虫采集数据，但这个采购的系统登录做了加密，我也懒得研究前端代码了，于是考虑用selenium来获取用户token做处理。
selenium爬取国家统计局
01-21
以下是使用Selenium和BeautifulSoup爬取国家统计局数据的示例代码： ```python from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC from selenium.webdriver.chrome.options import Options from bs4 import BeautifulSoup from time import sleep import pandas as pd # 设置Chrome浏览器的选项 chrome_options = Options() chrome_options.add_argument('--headless') # 无界面模式 chrome_options.add_argument('--disable-gpu') # 禁用GPU加速 # 创建Chrome浏览器实例 driver = webdriver.Chrome(options=chrome_options) # 打开国家统计局网站 driver.get('http://www.stats.gov.cn/') # 等待页面加载完成 wait = WebDriverWait(driver, 10) wait.until(EC.presence_of_element_located((By.ID, 'dataList'))) # 获取页面源代码 html = driver.page_source # 使用BeautifulSoup解析页面 soup = BeautifulSoup(html, 'html.parser') # 提取数据 data_list = [] table = soup.find('table', id='dataList') rows = table.find_all('tr') for row in rows: cols = row.find_all('td') if len(cols) > 0: data = [col.get_text() for col in cols] data_list.append(data) # 关闭浏览器 driver.quit() # 将数据转换为DataFrame df = pd.DataFrame(data_list) # 输出数据 print(df) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值