Kettle【实践 08】全国地铁线路信息及线路站点座标数据获取脚本及技巧说明（云资源分享:完整ktr脚本及20221008最新数据SQL）

于 2022-10-28 14:16:01 发布
阅读量220 收藏 2
点赞数 1
分类专栏： ::: :: : Kettle : :: ::: 文章标签： etl etl工程师 kettle 数据迁移 数仓
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yuanzhengme/article/details/127557391
版权
本文介绍了如何使用Kettle脚本获取并处理全国地铁线路信息和站点坐标数据，涉及HTTP请求、数据筛选、JSON解析及入库操作。通过转换流程的详细步骤，包括获取地铁城市信息、拼接站点URL、解析站点数据，展示了Kettle在ETL过程中的应用技巧。
摘要由CSDN通过智能技术生成

资源链接在文章末尾，包含文件：

在这里插入图片描述

1.介绍

地铁线路及站点数据在某些业务场景下是挺有用的，具体使用这里不是重点，脚本使用到的转换步骤有：

  • 生成记录
  • HTTP web service
  • 过滤数据
  • 增加常量
  • Concat fields
  • 表输出

百度地图所有已开通地铁城市的地铁数据（有国内也有国外的），包含名称、拼音、站点、站点座标等数据，脚本中使用了如下两个接口:

  • 地图城市数据接口 http://map.baidu.com/?qt=subwayscity
  • 城市地铁站点接口 http://map.baidu.com/?qt=bsi&c=268 268为郑州市的code码

数据库建表语句PostgreSQL数据库的：

CREATE TABL
了解本专栏 订阅专栏 解锁全文 超级会员免费看
シ風
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
Kettle【实践 07】CSV类型文件数据解析及Concat fields使用（云资源分享:ktr脚本+csv测试文件）
Java与大数据相关实践内容分享！
08-09 997
CSV类型文件数据解析及Concat fields使用（云资源分享:ktr脚本+csv测试文件）
全国各大城市地铁站数据（更新至2023-05）
最新发布
宋发元
05-17 1774
最近项目需要用到全国各大城市的地铁站数据，包含城市、线路、站点、站点经纬度等
全国地铁经纬度坐标sql脚本
03-19
DROP TABLE IF EXISTS `subways_`; CREATE TABLE `subways_` ( `id` int(11) NOT NULL AUTO_INCREMENT, `city` varchar(255) DEFAULT NULL COMMENT '城市名称', `line` varchar(255) DEFAULT NULL COMMENT '地铁线路', `station` varchar(255) DEFAULT NULL COMMENT '地铁站', `lng` varchar(30) DEFAULT NULL COMMENT '经度', `lat` varchar(30) DEFAULT NULL COMMENT '纬度', PRIMARY KEY (`id`) ) ENGINE=InnoDB AUTO_INCREMENT=3523 DEFAULT CHARSET=utf8; -- ---------------------------- -- Records of subways_ -- ---------------------------- INSERT INTO `subways_` VALUES ('1', '上海市', '1号线', '富锦路', '121.43103', '31.398683'); INSERT INTO `subways_` VALUES ('2', '上海市', '1号线', '友谊西路', '121.434336', '31.387741');
上海地铁查询脚本
cjfcjf1130的博客
08-22 179
EXEC p_SelectStation @StartStation=N'巨峰路', @EndStation=N'四平路'CREATE PROCEDURE p_SelectStation@StartStation nvarch...
全国地铁数据
06-05
详细的全国地铁数据，有对应行政区划、名称等信息，可通过Arcgis进行可视化
Kettle【实践 05】Kettle处理JSON格式数据的4种方法及适用场景和优劣分析（云资源分享:json数据+ktr）
Java与大数据相关实践内容分享！
07-19 2206
Kettle处理JSON格式数据的4种方法及适用场景和优劣分析（云资源分享:json数据+ktr）
地铁预约Postman脚本使用
wangliuqi123的博客
08-19 4164
首先下载脚本，并导入到Postman中。https://www.getpostman.com/collections/131aa7acf2c6fb5f4956。 1引入脚本 打开Postman。 点击“import” 设置预约参数 每个人的身份信息不同，这里需要修改为个人的身份信息。 1: 打开浏览器：访问：https://webui.mybti.cn。 2: 按“F12”，然后点击如图： 输入自己的手机号，验证码登录上去： 在console下输入：loc...
用Python脚本模拟登陆获取地铁一卡通的充值和消费记录
python学习者的博客
11-05 2231
1. 思路 这几天尝试写了个脚本模拟登陆获取地铁一卡通的充值和消费记录，学习了不少新东西，总结下记录下来。整个流程大概这样，首先模拟登陆一卡通的查询网址，分析如何获取验证码，然后就是下载验证码并识别，分析网站post数据字段，模拟post构造的数据登陆，获取登陆后的网页，bs4解析网页找到需要的数据筛选出来，pandas处理这些数据使其结构化。 2. 模拟登陆 2.1 cookie的处理 ...
全国地铁数据库表!!!!!!!!!!!!!
04-10
最新全国数据库表(不包含港澳台),后面会持续更新!!
地铁数据库
06-20
铁路数据库，数据库中表的简单设计
全国42个城市地铁站点数据（2021年）.zip
04-30
全国42个城市地铁站点数据（2021年）.zip
全国地铁数据-转自github
12-25
全国地铁数据-转自github，
北京地铁数据库
06-20
北京地铁数据库，数据库格式为SQLite格式
china-city-subway:中国城市地铁数据库
04-29
Introduction 中国所有已开通地铁城市的地铁数据，包含名称、拼音、站点等数据 本数据来源为百度地图，使用了如下两个接口: 格式说明 本数据库内含三张表，分别为 citys (中国已开通地铁城市) lines（对应城市的地铁线路，使用 city_id 标注上级城市） steps （地铁线路的站点，使用 line_id 标注上级地铁线路） 更新时间 本数据库最新更新时间为: 2018年07月23日10:32:03
mysql实现地铁线路换乘查询
charie411的博客
12-24 3043
mysql实现深圳地铁线路换乘查询。
全国 40城 5000+ 地铁站点数据分析实战——这盛世如您所愿！
湾区人工智能
04-24 1516
这盛世如您所愿大家好，我是小一今天这篇文章，是在前两篇文章的基础上进行的后续分析，也算是对地铁站点系列的一个小总结目的也很明确：通过对爬取到的 40 个已开通地铁的城市，共计 5000+ ...
python爬虫，矢量数据地铁线路获取
qq_34815075的博客
11-13 460
import requests import shapefile # -*- coding: utf-8 -*- import json import urllib import math import pandas as pd import numpy as np #坐标转换，转WGS84 x_pi = 3.14159265358979324 * 3000.0 / 180.0 pi = 3.1415926535897932384626 # π a = 6378245.0 # 长半轴 ee = 0.
中国地铁数据库表 (MySQL)
热门推荐
I am your sun ❤
07-24 1万+
最近做个项目，需要地铁数据，网上找了好长时间，终于找到一个，今天分享一下。 https://laravel-china.org/index.php/topics/13125/china-metro-database-mysql#reply10 这是博主的原文链接，博主直接从百度抓了，真的很厉害，给博主点赞。大家多多支持博主。 Github: Seaony/chinese-city-subwa...
Oracle数据库与Kettle数据报盘实践：处理换行、生成CSV及压缩
"该资源主要涉及Oracle数据库的数据处理，数据报盘操作，以及使用Kettle Spoon工具生成CSV文件和后续的文件压缩与编码转换。在Oracle数据库中，针对数据中的空格和换行问题进行了处理，然后利用Kettle的Spoon工具...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

シ風

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值