Hive中经纬度-地理坐标导入ES中，地理坐标不可用

最新推荐文章于 2024-03-05 10:29:34 发布
最新推荐文章于 2024-03-05 10:29:34 发布
阅读量118 收藏
点赞数 2
分类专栏： hive相关问题汇总及解决 文章标签： hive elasticsearch hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41367158/article/details/136456791
版权
在Hive中存储的地理坐标数据无法直接在ES中使用。通过使用es-hadoop组件同步数据并转换Hive中的array类型为json对象，成功解决了这个问题。在ES中，经纬度坐标需要以特定的json格式存储：{""lat"": 12.34, ""lon"": 56.78}。通过在Hive中创建映射表并将字段转换为map类型，确保了数据正确导入到ES的geo_point类型字段。" 90740567,7864919,使用git+gitlab+jenkins+docker搭建持续集成环境,"['DevOps', '自动化测试', '容器技术', '版本控制', '持续交付']
摘要由CSDN通过智能技术生成

问题描述：hive中地理坐标字段location:array,使用ES自带同步工具导入到ES中，ES中location类型为geo_point发现经纬度坐标数据不能用。

解决：使用es-hadoop组件同步数据，将导入进去的location数据，进行更新。

分析：ES中取坐标数据，需要是一个json对象：{ “lat”: 12.34, “lon”: 56.78 } ,所以需要在hive中构造一个json对象。

步骤1：hive中新建映射表：es_mapping.app_enterprise_business_tags_es1222

CREATE EXTERNAL TABLE `es_mapping.app_enterprise_business_tags_es1222`(
了解本专栏 订阅专栏 解锁全文 超级会员免费看
大数据侠客
关注
  • 2
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
订阅专栏
ElasticSearch地理空间数据写入
孙霸天的专栏
06-20 221
我习惯使用Java+PostgreSQL+PostGIS的方式处理地理数据。这次的数据主要分两类：点（Point）的POI数据和Shape（点、线、面）混合数据。原始数据使用arcmap处理成一个矢量 ，并且将坐标系转换设置为EPSG4326（WGS84经纬度坐标）创建PostgreSQL数据库，并添加PostGIS扩展windows环境下，使用PostGIS自带的工具或QGIS将矢量导入pg数据库中ES数据库中根据数据字段创建对应的mappings。
Hive数据写入ES，处理经纬度范围查询
Baron_ND的博客
11-12 1308
使用ES的初衷就是快速检索，他的默认输出数据是一万条，并不适合大数据的处理计算。要是需要导出或者将取出的数据再做二次处理的话，就需要换组件。 首先需要将hive中的数据写入ES，要是涉及到经纬度，需要lat,lng的格式放到location字段里面。 import org.apache.spark.rdd.RDD import org.apache.spark.sql.{Row, Spark...
Hive+经纬度+数据导入ES
03-04
Hive+经纬度+数据导入ES
解决Elasticesearch中传输经纬度坐标（geo-point）无法识别的问题
zaishijizhidian的博客
07-12 4995
应用场景：在往Elasticesearch中传输数据的过程中，后台人员无法获取经纬度值，后来在官方文档中查到：地理坐标点（geo-point）是指地球表面可以用经纬度描述的一个点。地理坐标点可以用来计算两个坐标位置间的距离，或者判断一个点是否在一个区域中。地理坐标点不能被动态映射（dynamic mapping）自动检测，而是需要显式声明对应字段类型为geo_point。这也就是说，如果不对经纬度...
记录一个Es使用地理位置时创建映射失败的解决方案
weixin_44254087的博客
05-25 553
项目场景： 项目需要用到es的地理位置搜索,映射字段类型为gen_point. java实体类上加入了@GeoPointField注解,类型也是GeoPoint 问题描述： 映射后发现es中地理位置字段是float,不是想要的geo_point "location": { "lat":{ "type":"float" } "lon":{ "type":"float" } 原因分析： es版本采用7.x,应该是注解没有生效,没有映射上 解决方案： 先删除当前错误字段的索引,然后重
Hive计算两个经纬度坐标的直线距离
程序员大魔王
06-24 3351
计算公式如下 6378137*2*ASIN(SQRT(POWER(SIN((ta.start_point_lat-ta.end_point_lat)*ACOS(-1)/360),2) + COS(ta.start_point_lat*ACOS(-1)/180)*COS(ta.end_point_lat*ACOS(-1)/180) *POWER(SIN((ta.start_point_lng-ta.end_point_lng)*ACOS(-1)/360),2))) as distance 其中 sta
同步数据Hive到ES-支持复杂类型
最新发布
weixin_41367158的博客
03-05 51
注：为避免后续报错，需要另一个jar包-commons-httpclient-3.1.jar,并上传到hdfs目录下：/user/hive/warehouse/es_hadoop。‘es.batch.size.entries’=‘10000’ ----每批次条数设置。‘es.batch.size.bytes’=‘10mb’ --批次大小设置。‘es.write.operation’=‘upsert’ --更新插入。.jar(根据自身es版本下载)第四步：ES查看数据。
Logstash7.0.0同步MySQL数据到ES，并存储geo位置信息，以及支持写入分词功能
热门推荐
浅汐
04-08 7万+
场景： 1. 数据来源是python爬虫获取美团、安居客的数据，使用Java进行ETL清洗后，批量插入MySQL中，由于MySQL在千万级甚至亿级数据量的激增下，查询缓慢，以及部分功能不能支持业务的需求，比如分词。。。等 2. 调研组件Hive，发现Hive对于GIS的支持并不友好，首先Hive不支持创建表时指定字段为geometry类型，这就很尴尬了，对于使用GIS函数的功能，官方并不支持，...
hive 经纬度距离计算方法
YangTinTin的博客
09-02 1725
select 6378.137*2*ASIN(SQRT(POWER(SIN((${arrival_lat}-${hotel_lat})*ACOS(-1)/360),2) +COS(${arrival_lat}*ACOS(-1)/180)*COS(${hotel_lat}*ACOS(-1)/180) *POWER(SIN((${arrival_lon}-${hotel_lon})*ACOS(-1)/360),2))) as
hive-udf(两地址间距离计算+省市区位置解析(Java代码))
05-07
地址转换成经纬度+两地址间距离计算+省市区位置解析(Java代码) Hive自定义函数的封装
hive 解析经纬度，计算经纬度之间的直线距离
YmeBtc的博客
08-08 3947
#每天一点点，记录工作中实操可行# hive 解析经纬度 解析经纬度字段 原始字段: POINT(116.094532 39.579501) select city_name, num_id ,split(regexp_replace(open_position,'POINT\\(|\\)',''),' ')[0] as start_point_lng ...
hive通过经纬度计算两地距离
浅笑古今的博客
11-13 5179
start_point_lng 为起点 longitude （经度）start_point_lat 为起点 latitude（纬度） end_point_lng 为起点 longitude （经度） end_point_lat 为终点 latitude（纬度） 6378137*2*ASIN(SQRT(POWER(SIN((ta.start_point_lat-ta.end_point_lat)*ACOS(-1)/360),2) + COS(ta.start_point_lat*ACOS(-1)/1..
hive中的gis函数
zengxianglei的博客--手指星辰 奈何天！
05-27 3380
hive中的gis函数 目前，Hive表中存在需要把经纬度转化为距离，和一些其他相关的计算函数，但是在hive中并没有集成这些函数。当然我们可以自定义UDF函数，但是现在提供一个更加简单的方法，通过源码编译的方式，集成GIS函数。 环境： 2 hadoop-2.7 3 4 下载源码：https://github.com/Esri/spatial-fram...
hive UDF函数
scott的专栏
06-01 3876
1.一直在公司琢磨hive的UDF和UDAF函数，几番测试还是不通。 业务场景：物流企业有路由和线路，每条线路有班次，报表需求要求传入路由参数后，返回在最后一站的达到时刻？ 此业务场景sql通过临时表觉得不是高手搞不定，想到hive的UDF函数。 问题：1.理由有几条线路组成？  未知数，离不开循环和递归了             2.每条线路有多班次，选择哪个班次？ 在循
hive中hive-site.xml的配置
09-16
在Hive中，hive-site.xml文件是Hive的主要配置文件之一。它包含了Hive的各种配置参数，可以用于调整Hive的行为和性能。 以下是一些常见的hive-site.xml配置选项： 1. hive.metastore.uris: 指定Hive元数据存储的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值