【python爬虫demo存档】爬取全国省份编码和DataV.GeoAtlas抽取全国GeoJSON数据
需求
开始是需要把省份的名称,省份编码经纬度导入数据库,为后面接口提供数据。
需要爬取的经纬度地址:(因为开始就找到这个)
思路
先通过WebDriver把页面爬取下来,然后观察结构解析需要的表格部分,最后把爬取下来的数据用excel保存再导入数据库
前期准备:
- 安装Selenium WebDriver
pip install selenium
Selenium WebDriver提供了各种语言的编程接口,来进行Web自动化开发。
安装完成后,运行python解释器,执行命令import selenium,如果没有异常,则表示安装成功了,如下所示
- 下载浏览器的驱动
chrom浏览器的web driver(chromedriver.exe),可以在下面网址访问:
http://npm.taobao.org/mirrors/chromedriver/
firefox(火狐浏览器)的**web driver (geckodriver.exe)**在这里访问:
https://github.com/mozilla/geckodriver/releases
其他浏览器驱动可以见下面列表:
Edge:https://developer.microsoft.com/en-us/micrsosft-edage/tools/webdriver
Safar