【python爬虫demo存档】爬取全国省份编码和DataV.GeoAtlas抽取全国GeoJSON数据

【python爬虫demo存档】爬取全国省份编码和DataV.GeoAtlas抽取全国GeoJSON数据

需求

开始是需要把省份的名称,省份编码经纬度导入数据库,为后面接口提供数据。
需要爬取的经纬度地址:(因为开始就找到这个)

思路

先通过WebDriver把页面爬取下来,然后观察结构解析需要的表格部分,最后把爬取下来的数据用excel保存再导入数据库

前期准备:

  1. 安装Selenium WebDriver
    pip install selenium
    Selenium WebDriver提供了各种语言的编程接口,来进行Web自动化开发。
    安装完成后,运行python解释器,执行命令import selenium,如果没有异常,则表示安装成功了,如下所示
    image.png
  2. 下载浏览器的驱动
    chrom浏览器的web driverchromedriver.exe),可以在下面网址访问:
    http://npm.taobao.org/mirrors/chromedriver/

firefox(火狐浏览器)的**web driver (geckodriver.exe)**在这里访问:
https://github.com/mozilla/geckodriver/releases

其他浏览器驱动可以见下面列表:

Edge:https://developer.microsoft.com/en-us/micrsosft-edage/tools/webdriver

Safar

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值