selenium爬取中国经济与社会发展统计数据库

最新推荐文章于 2024-02-23 11:52:58 发布
最新推荐文章于 2024-02-23 11:52:58 发布
阅读量1.4k 收藏 7
点赞数 1
分类专栏： 爬虫实战模块
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42830971/article/details/109599664
版权

声明：代码仅作学习交流用途，代码分享者与创作者不承担任何由他人恶意运行而导致的责任，勿擅自修改限制频率的参数，勿恶意攻击网页，请学习浏览者遵守社会公德与法律秩序，爬虫导致的网页崩溃等损失由计算机操作者负全部责任，造成严重后果的需要承担刑事责任
爬虫代写：邮箱 leon_leon@yeah.net


from selenium import webdriver
from time import sleep
from lxml import etree
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import Select
import pandas as pd
from random import randint
edge = webdriver.Edge()

edge.get("https://data.cnki.net/NewHome/Index")
#edge.find_element_by_id("Button2").click()
#edge.find_element_by_href("/Area/Home/Index/D12").click()
edge.find_element(By.XPATH, '/html/body/div[1]/div[4]/ul/li[2]/a').click()
sleep(6)
for handle in edge.window_handles:#方法二，始终获得当前最后的窗口
    edge.switch_to.window(handle)

year = [str(i) for i in range(1994,2015)]
month = [str(i) for i in range(1,13)]
for year_index,year_item in enumerate(year):
    Select(edge.find_element(By.ID, "selYear")).select_by_value(year_item)
    sleep(randint(5,9))
    for month_index,month_item in enumerate(month):
        print('已成功获取{}%数据'.format(((1+year_index)*12+(month_index+1))/252*100))
#        edge.find_element(By.XPATH, '//*[@id="J_headroom-n"]/div/a[9]').click()
        edge.find_element(By.XPATH, '''//div[@id='J_conNav09']/div/ul/li[@class='item'][1]/a[@mval={}]'''.format(month_item)).click()
        sleep(randint(10,13))
        for handle in edge.window_handles:  # 方法二，始终获得当前最后的窗口
            edge.switch_to.window(handle)
        html = edge.page_source
        # print(html)
        e = etree.HTML(html)
        row_name = e.xpath('//tbody/tr[position()>2]/td[1]/text()')
        data = e.xpath('//tbody/tr[position()>2]/td[position()>1]/span/text()')
        column_name = e.xpath('//tbody/tr[2]/td/text()')
        df = pd.DataFrame(index=row_name, columns=column_name)
        row_num = len(row_name)
        col_num = len(column_name)
        for i in range(row_num):
            for j in range(col_num):
                df.iloc[i,j] = data[i*col_num + j]
        df.to_csv('{0}年{1}月进出口数据.csv'.format(year_item,month_item), encoding='GBK')
        edge.close()
        handles = edge.window_handles
        edge.switch_to.window(handles[1])



from selenium import webdriver
from time import sleep
from lxml import etree
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import Select
import pandas as pd
from random import randint
edge = webdriver.Edge()

edge.get("https://data.cnki.net/NewHome/Index")
#edge.find_element_by_id("Button2").click()
#edge.find_element_by_href("/Area/Home/Index/D12").click()
edge.find_element(By.XPATH, '/html/body/div[1]/div[4]/ul/li[2]/a').click()
sleep(6)
for handle in edge.window_handles:#方法二，始终获得当前最后的窗口
    edge.switch_to.window(handle)

year = [str(i) for i in range(1994,2015)]
month = [str(i) for i in range(1,13)]
for year_index,year_item in enumerate(year):
    if edge.find_element(By.ID,"Button2").is_displayed():
        edge.find_element(By.ID,"Button2").click()
    Select(edge.find_element(By.ID, "selYear")).select_by_value(year_item)
    sleep(randint(5, 9))
    for month_index,month_item in enumerate(month):
        print('已成功获取{}%数据'.format(((1+year_index)*12+(month_index+1))/252*100))
#        edge.find_element(By.XPATH, '//*[@id="J_headroom-n"]/div/a[9]').click()
        if edge.find_element(By.ID, "Button2").is_displayed():
            edge.find_element(By.ID, "Button2").click()
        edge.find_element(By.XPATH, '''//div[@id='J_conNav09']/div/ul/li[@class='item'][1]/a[@mval={}]'''.format(month_item)).click()
        sleep(randint(10,13))
        for handle in edge.window_handles:  # 方法二，始终获得当前最后的窗口
            edge.switch_to.window(handle)
        html = edge.page_source
        # print(html)
        e = etree.HTML(html)
        row_name = e.xpath('//tbody/tr[position()>2]/td[1]/text()')
        data = e.xpath('//tbody/tr[position()>2]/td[position()>1]/span/text()')
        column_name = e.xpath('//tbody/tr[2]/td/text()')
        df = pd.DataFrame(index=row_name, columns=column_name)
        row_num = len(row_name)
        col_num = len(column_name)
        for i in range(row_num):
            for j in range(col_num):
                df.iloc[i,j] = data[i*col_num + j]
        df.to_csv('{0}年{1}月进出口数据.csv'.format(year_item,month_item), encoding='GBK')
        edge.close()
        handles = edge.window_handles
        edge.switch_to.window(handles[1])


year = [str(i) for i in range(2020,2014,-1)]
month = [str(i) for i in range(1,13)]
for year_index,year_item in enumerate(year):
    if edge.find_element(By.ID,"Button2").is_displayed():
        edge.find_element(By.ID,"Button2").click()
    edge.find_element(By_XPATH,'//*[@id="J_headroom"]/div[2]/div/a[{}]'.format(year_index+1)).click()
    sleep(randint(5, 9))
    for month_index,month_item in enumerate(month):
        print('已成功获取{0},{1}%数据'.format(year_item,month_item))
#        edge.find_element(By.XPATH, '//*[@id="J_headroom-n"]/div/a[9]').click()
        if edge.find_element(By.ID, "Button2").is_displayed():
            edge.find_element(By.ID, "Button2").click()
        edge.find_element(By.XPATH, '''//div[@id='J_conNav09']/div/ul/li[@class='item'][1]/a[@mval={}]'''.format(month_item)).click()
        sleep(randint(10,13))
        for handle in edge.window_handles:  # 方法二，始终获得当前最后的窗口
            edge.switch_to.window(handle)
        html = edge.page_source
        # print(html)
        e = etree.HTML(html)
        row_name = e.xpath('//tbody/tr[position()>2]/td[1]/text()')
        data = e.xpath('//tbody/tr[position()>2]/td[position()>1]/span/text()')
        column_name = e.xpath('//tbody/tr[2]/td/text()')
        df = pd.DataFrame(index=row_name, columns=column_name)
        row_num = len(row_name)
        col_num = len(column_name)
        for i in range(row_num):
            for j in range(col_num):
                df.iloc[i,j] = data[i*col_num + j]
        df.to_csv('{0}年{1}月进出口数据.csv'.format(year_item,month_item), encoding='GBK')
        edge.close()
        handles = edge.window_handles
        edge.switch_to.window(handles[1])
print('爬虫100%')

from selenium import webdriver
from time import sleep
from lxml import etree
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import Select
import pandas as pd
from random import randint
edge = webdriver.Edge()

edge.get("https://data.cnki.net/NewHome/Index")
#edge.find_element_by_id("Button2").click()
#edge.find_element_by_href("/Area/Home/Index/D12").click()
edge.find_element(By.XPATH, '/html/body/div[1]/div[4]/ul/li[2]/a').click()
sleep(6)
for handle in edge.window_handles:#方法二，始终获得当前最后的窗口
    edge.switch_to.window(handle)

year = [str(i) for i in range(1995,2015)]
month = [str(i) for i in range(1,13)]
for year_index,year_item in enumerate(year):
    Select(edge.find_element(By.ID, "selYear")).select_by_value(year_item)
    sleep(randint(4, 6))
    for month_index,month_item in enumerate(month):
        print('已成功获取{0}年{1}月数据'.format(year_item,month_item))
#        edge.find_element(By.XPATH, '//*[@id="J_headroom-n"]/div/a[9]').click()
   #     if edge.find_element(By.ID, "Button2").is_displayed():
   #         edge.find_element(By.ID, "Button2").click()
        edge.find_element(By.XPATH, '''//div[@id='J_conNav09']/div/ul/li[@class='item'][1]/a[@mval={}]'''.format(month_item)).click()
        sleep(randint(7,10))
        for handle in edge.window_handles:  # 方法二，始终获得当前最后的窗口
            edge.switch_to.window(handle)
        html = edge.page_source
        # print(html)
        e = etree.HTML(html)
        row_name = e.xpath('//tbody/tr[position()>2]/td[1]/text()')
        data = e.xpath('//tbody/tr[position()>2]/td[position()>1]//text()')
        column_name = e.xpath('//tbody/tr[2]/td/text()')
        df = pd.DataFrame(index=row_name, columns=column_name)
        row_num = len(row_name)
        col_num = len(column_name)
        for i in range(row_num):
            for j in range(col_num):
                df.iloc[i,j] = data[i*col_num + j]
        df.to_csv('{0}年{1}月进出口数据.csv'.format(year_item,month_item), encoding='GBK')
        edge.close()
        handles = edge.window_handles
        edge.switch_to.window(handles[1])


year = [str(i) for i in range(2020,2014,-1)]
month = [str(i) for i in range(1,13)]
for year_index,year_item in enumerate(year):
  #  if edge.find_element(By.ID,"Button2").is_displayed():
    #    edge.find_element(By.ID,"Button2").click()
    edge.find_element(By_XPATH,'//*[@id="J_headroom"]/div[2]/div/a[{}]'.format(year_index+1)).click()
    sleep(randint(5, 9))
    for month_index,month_item in enumerate(month):
        print('已成功获取{0}年,{1}月数据'.format(year_item,month_item))
#        edge.find_element(By.XPATH, '//*[@id="J_headroom-n"]/div/a[9]').click()
   #     if edge.find_element(By.ID, "Button2").is_displayed():
    #        edge.find_element(By.ID, "Button2").click()
        edge.find_element(By.XPATH, '''//div[@id='J_conNav09']/div/ul/li[@class='item'][1]/a[@mval={}]'''.format(month_item)).click()
        sleep(randint(5,7))
        for handle in edge.window_handles:  # 方法二，始终获得当前最后的窗口
            edge.switch_to.window(handle)
        html = edge.page_source
        # print(html)
        e = etree.HTML(html)
        row_name = e.xpath('//tbody/tr[position()>2]/td[1]/text()')
        data = e.xpath('//tbody/tr[position()>2]/td[position()>1]/span/text()')
        column_name = e.xpath('//tbody/tr[2]/td/text()')
        df = pd.DataFrame(index=row_name, columns=column_name)
        row_num = len(row_name)
        col_num = len(column_name)
        for i in range(row_num):
            for j in range(col_num):
                df.iloc[i,j] = data[i*col_num + j]
        df.to_csv('{0}年{1}月进出口数据.csv'.format(year_item,month_item), encoding='GBK')
        edge.close()
        handles = edge.window_handles
        edge.switch_to.window(handles[1])
print('爬虫100%')
小蜗笔记
关注
专栏目录
selenium 自动化中国经济社会发展数据库数据获取(python)
Cmmmmm丶的博客
06-06 976
求点赞！！！ 科研找数据的时候是最痛苦的，一个个年鉴地翻眼睛快看瞎了，中国经济社会发展数据库提供了一个很好的数据平台。但是一个个搜还是很麻烦，所以我就想把数据自动获取出来，这样又能节省一大波时间玩。 最近试试了selenium，因为它的交互过程让我一个爬虫小白都能轻松明白。我看csdn还没有这样的例子，所以下面做一个北京市GDP获取的例子给大家参考一下： selenium安装和驱动程序获取过程这里就不赘述了，csdn很多博客都有说，我用的是chrome，下面上代码吧： from selenium impor
selenium 爬取中国经济社会发展数据库数据 (3) 更新多地区 多关键字 多年爬取，优化关键字筛选方法
Cmmmmm丶的博客
06-08 509
点赞发Nature 第一版在这 第二版在这 这次更新了多地区，多时间段，多关键字爬取。 其实比较简单，就是加了几个循环语句。 稍微进行了一些关键字筛选方法优化，用的是dataframe.str.contains方法，而不是直接用==比较了 为的是可以进行大量数据爬取，测试了固定资产、GDP的爬取，是成功的。 def find_table(indicator, region, year): wait = WebDriverWait(browser, 40,) browser.find_elem
Python：爬虫财经数据-selenium
qq_41314882的博客
10-25 929
最近十年中，各类因果推断方法层出不穷。令人欣喜的同时，也让很多人无所适从。虽然借助 Stata，R，Python 等软件很容易「跑出」结果，但很多人应该都经历过如下「囧境」：虽然有很多方法可以用，但由于不清楚原理，不知道该用哪个？虽然自己很努力地跑代码、看文献，但总感觉没啥实质性进展，有一种「有劲没处使」的无力感；很像看看 QJE，AER，JoE，JASA 上那些牛逼的方法，但「一开始就懵了」……。根源何在？可能是没有清晰地理解「基本概念」，比如条件期望，条件独立，无偏性以及 FWL 定理等。
python爬取全球历年GDP数据
m0_67790374的博客
03-08 3945
python爬取全球历年GDP数据并以两种方式写入excel
2019年全国行政区划-从国家统计局爬取，完整数据
05-12
2019年全国行政区划-最细一级数据，精确到村，社区，居委会，数据是从国家统计局官网爬取，共80多M，保证准确和完整。
Selenium库爬取国家统计局数据
最新发布
m0_58477260的博客
02-23 1028
运用 Selenium 之前，首先需要对我们所用的浏览器驱动进行下载。本文所用浏览器为火狐，其驱动器下载网址为：https：//github.com/mozilla/geckodriver/releases。
selenium 爬取中国经济社会发展数据库数据 (2)优化爬取速度和解决StaleElementReferenceException
Cmmmmm丶的博客
06-07 632
求点赞！！！ 求点赞！！！ 求点赞！！！ 上一版本的爬取测试代码在这 添加链接描述 对上一版本进行了一些测试，主要问题有两个 用time.sleep()作为固定等待时长导致了爬取速度过慢，同时，也有可能存在网速问题等客观因素导致的抛错 在进行大量数据爬取时，会抛出StaleElementReferenceException错误 对代码进行了一些优化 def find_table(indicator, region, year): wait = WebDriverWait(
python爬取天气数据并制图分析
12-26
随着社会发展与科技进步，人们越来越关注居住地的环境质量，尤其是空气质量。对于那些计划在北京、上海、广州、深圳（简称“北上广深”）这四个一线城市工作的人员来说，了解当地的空气质量尤为重要。本项目旨在通过...
爬取图片与音视频：多媒体数据的爬取与处理
在当今信息化的社会中，网站上存储着大量的多媒体数据，包括图片、音频和视频等。利用这些多媒体数据，我们可以进行各种有趣和实用的应用，比如图像识别、音频处理和视频分析等。然而，要进行这些应用之前，我们首先...
python 爬取数据intraday_利用Python进行数据分析(11)：金融和经济数据应用
weixin_39715997的博客
12-21 271
---------------------------------------------------------------------------gaierror Traceback (most recent call last)C:\ProgramData\Anaconda3\lib\site-packages\request...
信用中国爬虫
05-29
信用中国爬虫，根据企业名称，查询企业信息，并将数据入库。技术：requests、redis、mongodb。
信用中国爬虫.zip
01-20
爬虫（Web Crawler）是一种自动化程序，用于从互联网上收集信息。其主要功能是访问网页、提取数据并存储，以便后续分析或展示。爬虫通常由搜索引擎、数据挖掘工具、监测系统等应用于网络数据抓取的场景。 爬虫的工作流程包括以下几个关键步骤： URL收集： 爬虫从一个或多个初始URL开始，递归或迭代地发现新的URL，构建一个URL队列。这些URL可以通过链接分析、站点地图、搜索引擎等方式获取。 请求网页： 爬虫使用HTTP或其他协议向目标URL发起请求，获取网页的HTML内容。这通常通过HTTP请求库实现，如Python中的Requests库。 解析内容： 爬虫对获取的HTML进行解析，提取有用的信息。常用的解析工具有正则表达式、XPath、Beautiful Soup等。这些工具帮助爬虫定位和提取目标数据，如文本、图片、链接等。 数据存储： 爬虫将提取的数据存储到数据库、文件或其他存储介质中，以备后续分析或展示。常用的存储形式包括关系型数据库、NoSQL数据库、JSON文件等。 遵守规则： 为避免对网站造成过大负担或触发反爬虫机制，爬虫需要遵守网站的robots.txt协议，限制访问频率和深度，并模拟人类访问行为，如设置User-Agent。 反爬虫应对： 由于爬虫的存在，一些网站采取了反爬虫措施，如验证码、IP封锁等。爬虫工程师需要设计相应的策略来应对这些挑战。 爬虫在各个领域都有广泛的应用，包括搜索引擎索引、数据挖掘、价格监测、新闻聚合等。然而，使用爬虫需要遵守法律和伦理规范，尊重网站的使用政策，并确保对被访问网站的服务器负责。
详解如何用爬虫程序采集新闻信息数据（以中国日报为例）
weixin_33827965的博客
11-27 1570
2019独角兽企业重金招聘Python工程师标准>>> ...
21经济网爬虫样例
pengjunlee的博客
03-18 386
本文主要记录如何基于 Scrapy 获取21经济网中金融分类下的新闻资讯内容。 items.py import scrapy class NewsItem(scrapy.Item): # define the fields for your item here like: # name = scrapy.Field() title = scrapy.Field(...
爬虫面经--中网数据
Candance_star的博客
05-28 415
1.介绍一下你的爬虫项目 2.我看你用的scrapy-redis，当时用了几台机器？ 2.scrpay到scapy-redis的转换 3.爬虫中遇到的反爬策略 4.selenium了解吗？ 5.xpath中的一些函数（substring\substring-before） 6.容器docker了解吗？ 7.python的多线程（GIL） ...
【日常】《中国统计年鉴》与《中国金融年鉴》数据表爬虫（附1985-2020所有Excel资源）
热门推荐
一只热爱奔跑的程序猿
06-07 1万+
想要打个招呼真难
python爬虫知网实例-大数据获取案例：Python网络爬虫实例
weixin_37988176的博客
10-30 841
网络爬虫：网络爬虫（又称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。以上是网络爬虫的百度，下面开始介绍使用Python进行网络爬虫来获取数据。本次内容参考自：https://www.jianshu.com/p/1e47c3a59646https://www...
Python爬虫实战——爬取新闻数据（简单的深度爬虫）
weixin_54243306的博客
03-02 9711
新闻数据爬取
Python爬取中国网新闻
白帽阿叁的博客
12-15 1748
观察网页导入相关库请求数据解析数据保存excel文件观察网页导入相关库对子网页的内容进行爬取并保存成word：以一个子网页为例1、请求数据2、解析数据并存储word循环爬取多个子网页的内容并保存成word一、制作新闻的Excel索引。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小蜗笔记

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值