使用elasticsearch1.5.2查询指定距离范围内的城市（类似微信附近的人）

最新推荐文章于 2020-11-28 20:41:27 发布
最新推荐文章于 2020-11-28 20:41:27 发布
阅读量315 收藏 1
点赞数
文章标签： 大数据 java python
原文链接：https://my.oschina.net/ydsakyclguozi/blog/515361
版权

2019独角兽企业重金招聘Python工程师标准>>> hot3.png

获取附近的人

mongodb实现方式：http://www.infoq.com/cn/articles/depth-study-of-Symfony2

mysql实现功能：http://www.wubiao.info/470

在此使用elasticsearch,简称es实现：

pom.xml:

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
	xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
	<modelVersion>4.0.0</modelVersion>

	<groupId>com.heli</groupId>
	<artifactId>ElasticSearch</artifactId>
	<version>0.0.1-SNAPSHOT</version>
	<packaging>jar</packaging>

	<name>ElasticSearch</name>
	<url>http://maven.apache.org</url>

	<properties>
		<project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
		<es.version>1.5.2</es.version>
		<lucene.maven.version>4.10.4</lucene.maven.version>
	</properties>

	<dependencies>
		<dependency>
			<groupId>org.elasticsearch</groupId>
			<artifactId>elasticsearch</artifactId>
			<version>${es.version}</version>
		</dependency>
		
		<dependency>
			<groupId>junit</groupId>
			<artifactId>junit</artifactId>
			<version>4.8.2</version>
			<scope>test</scope>
		</dependency>
	</dependencies>
</project>

实体City：

package com.heli.es;

public class City {

	private long id;// id
	private String city;// 城市名
	private double lat;// 纬度
	private double lon;// 经度
	private double[] location;// 经纬度数组，第一个元素纬度，第二个元素经度
	private String title;// 标题

	public City(long id, String city, double lon, double lat, String title) {
		super();
		this.id = id;
		this.city = city;
		this.lat = lat;
		this.lon = lon;
		this.title = title;
	}

	public long getId() {
		return id;
	}

	public void setId(long id) {
		this.id = id;
	}

	public double getLat() {
		return lat;
	}

	public void setLat(double lat) {
		this.lat = lat;
	}

	public double getLon() {
		return lon;
	}

	public void setLon(double lon) {
		this.lon = lon;
	}

	public String getCity() {
		return city;
	}

	public void setCity(String city) {
		this.city = city;
	}

	public double[] getLocation() {
		return location;
	}

	public void setLocation(double[] location) {
		this.location = location;
	}

	public String getTitle() {
		return title;
	}

	public void setTitle(String title) {
		this.title = title;
	}

}

测试类：

package com.heli.es;

import static org.elasticsearch.common.xcontent.XContentFactory.jsonBuilder;
import static org.elasticsearch.index.query.FilterBuilders.geoDistanceRangeFilter;

import java.io.IOException;
import java.math.BigDecimal;
import java.util.ArrayList;
import java.util.List;
import java.util.Map;

import org.elasticsearch.action.admin.indices.mapping.put.PutMappingRequest;
import org.elasticsearch.action.admin.indices.mapping.put.PutMappingResponse;
import org.elasticsearch.action.bulk.BulkRequestBuilder;
import org.elasticsearch.action.bulk.BulkResponse;
import org.elasticsearch.action.index.IndexRequest;
import org.elasticsearch.action.search.SearchRequestBuilder;
import org.elasticsearch.action.search.SearchResponse;
import org.elasticsearch.client.Client;
import org.elasticsearch.client.Requests;
import org.elasticsearch.client.transport.TransportClient;
import org.elasticsearch.common.geo.GeoDistance;
import org.elasticsearch.common.transport.InetSocketTransportAddress;
import org.elasticsearch.common.unit.DistanceUnit;
import org.elasticsearch.common.xcontent.XContentBuilder;
import org.elasticsearch.common.xcontent.XContentFactory;
import org.elasticsearch.index.query.FilterBuilder;
import org.elasticsearch.index.query.QueryStringQueryBuilder;
import org.elasticsearch.node.Node;
import org.elasticsearch.search.SearchHit;
import org.elasticsearch.search.SearchHits;
import org.elasticsearch.search.sort.GeoDistanceSortBuilder;
import org.elasticsearch.search.sort.SortBuilders;
import org.elasticsearch.search.sort.SortOrder;
import static org.elasticsearch.node.NodeBuilder.*;

public class ES {

	// 创建索引
	public static void createIndex(String indexName, String indexType) throws IOException {
		Client esClient = new TransportClient().addTransportAddress(new InetSocketTransportAddress("127.0.0.1", 9300));
		// 创建Mapping
		XContentBuilder mapping = createMapping(indexType);
		System.out.println("mapping:" + mapping.string());
		// 创建一个空索引
		esClient.admin().indices().prepareCreate(indexName).execute().actionGet();
		PutMappingRequest putMapping = Requests.putMappingRequest(indexName).type(indexType).source(mapping);
		PutMappingResponse response = esClient.admin().indices().putMapping(putMapping).actionGet();
		if (!response.isAcknowledged()) {
			System.out.println("Could not define mapping for type [" + indexName + "]/[" + indexType + "].");
		} else {
			System.out.println("Mapping definition for [" + indexName + "]/[" + indexType + "] succesfully created.");
		}
	}

	// 创建mapping
	public static XContentBuilder createMapping(String indexType) {
		XContentBuilder mapping = null;
		try {
			mapping = jsonBuilder().startObject()
					// 索引库名（类似数据库中的表）
					.startObject(indexType).startObject("properties")
					// ID
					.startObject("id").field("type", "long").endObject()
					// 城市
					.startObject("city").field("type", "string").endObject()
					// 位置
					.startObject("location").field("type", "geo_point").endObject()
					// 标题
					.startObject("title").field("type", "string").endObject()

			.endObject().endObject().endObject();
		} catch (IOException e) {
			e.printStackTrace();
		}
		return mapping;
	}

	// 添加数据
	public static Integer addIndexData(String indexName, String indexType) {
		Client client = new TransportClient().addTransportAddress(new InetSocketTransportAddress("127.0.0.1", 9300));
		List<String> cityList = new ArrayList<String>();

		City city1 = new City(1L, "北京", 116.395645, 39.929986, "中国人民站起来了，北京人民可以天天站在天安门广场吃烤鸭了");
		City city2 = new City(2L, "天津", 117.210813, 39.143931, "中国人民站起来了，天津人民可以天天在迎宾广场吃麻花了");
		City city3 = new City(3L, "青岛", 120.384428, 36.105215, "中国人民站起来了，青岛人民可以天天在五四广场吃海鲜了，虾TM就是贵点儿，38元一只，38元最后一次！！！最后一次，不要错过今天");
		City city4 = new City(4L, "哈尔滨", 126.657717, 45.773225, "中国人民站起来了，哈尔滨人民可以天天站在索菲亚广场吃红肠了");
		City city5 = new City(5L, "乌鲁木齐", 87.564988, 43.840381, "中国人民站起来了，乌鲁木齐人民可以天天在人民广场啃羊腿了");
		City city6 = new City(6L, "三亚", 109.522771, 18.257776, "中国人民站起来了，三亚人民可以天天在明珠广场吃鲍鱼了，三亚人民这次没丢脸，脸让青岛政府去丢吧，让他们创城去吧！");

		cityList.add(obj2JsonUserData(city1));
		cityList.add(obj2JsonUserData(city2));
		cityList.add(obj2JsonUserData(city3));
		cityList.add(obj2JsonUserData(city4));
		cityList.add(obj2JsonUserData(city5));
		cityList.add(obj2JsonUserData(city6));

		// 创建索引库
		List<IndexRequest> requests = new ArrayList<IndexRequest>();
		for (int i = 0; i < cityList.size(); i++) {
			IndexRequest request = client.prepareIndex(indexName, indexType).setSource(cityList.get(i)).request();
			requests.add(request);
		}

		// 批量创建索引
		BulkRequestBuilder bulkRequest = client.prepareBulk();
		for (IndexRequest request : requests) {
			bulkRequest.add(request);
		}

		BulkResponse bulkResponse = bulkRequest.execute().actionGet();
		if (bulkResponse.hasFailures()) {
			System.out.println("批量创建索引错误！");
		}
		return bulkRequest.numberOfActions();
	}

	public static String obj2JsonUserData(City city) {
		String jsonData = null;
		try {
			// 使用XContentBuilder创建json数据
			XContentBuilder jsonBuild = XContentFactory.jsonBuilder();
			jsonBuild.startObject().field("id", city.getId()).field("city", city.getCity()).startArray("location").value(city.getLat()).value(city.getLon()).endArray().field("title", city.getTitle())
					.endObject();
			jsonData = jsonBuild.string();
			System.out.println(jsonData);
		} catch (IOException e) {
			e.printStackTrace();
		}
		return jsonData;
	}

	// 模糊查询
	public static void query(String query) {
		Client client = new TransportClient().addTransportAddress(new InetSocketTransportAddress("127.0.0.1", 9300));
		QueryStringQueryBuilder qsqb = new QueryStringQueryBuilder(query);
		// qsqb.analyzer("ik").field("title");
		qsqb.field("title");
		client.admin().indices().prepareRefresh().execute().actionGet();

		SearchResponse searchResponse = client.prepareSearch("testes").setTypes("xq").setQuery(qsqb)
				// .setScroll(new TimeValue(60000))
				.addFields("id", "title", "updatetime")
				// .addSort("updatetime", SortOrder.DESC)
				.addSort("_score", SortOrder.DESC)
				// .addHighlightedField("title")
				.setHighlighterEncoder("UTF-8").execute().actionGet();
		// 搜索耗时
		Float usetime = searchResponse.getTookInMillis() / 1000f;
		// 命中记录数
		Long hits = searchResponse.getHits().totalHits();
		System.out.println("查询到记录数=" + hits);

		for (SearchHit hit : searchResponse.getHits()) {
			// 打分
			Float score = hit.getScore();
			Integer id = Integer.parseInt(hit.getFields().get("id").value().toString());
			String title = hit.getFields().get("title").value().toString();
			System.out.println(title);
		}
	}

	// 获取附近的城市
	public static void testGetNearbyCities(Client client, String index, String type, double lat, double lon) {
		SearchRequestBuilder srb = client.prepareSearch(index).setTypes(type);
		// wx4g0th9p0gk 为北京的geohash 范围为lt(小于) 1500km内的数据
		FilterBuilder builder = geoDistanceRangeFilter("location").point(lon, lat).from("1km").to("1000km").optimizeBbox("memory").geoDistance(GeoDistance.PLANE);
		srb.setPostFilter(builder);
		// 获取距离多少公里 这个才是获取点与点之间的距离的
		GeoDistanceSortBuilder sort = SortBuilders.geoDistanceSort("location");
		sort.unit(DistanceUnit.KILOMETERS);
		sort.order(SortOrder.ASC);
		sort.point(lon, lat);
		srb.addSort(sort);

		SearchResponse searchResponse = srb.execute().actionGet();

		SearchHits hits = searchResponse.getHits();
		SearchHit[] searchHists = hits.getHits();
		System.out.println("北京附近的城市(" + hits.getTotalHits() + "个)：");
		for (SearchHit hit : searchHists) {
			String city = (String) hit.getSource().get("city");
			String title = (String) hit.getSource().get("title");
			// 获取距离值，并保留两位小数点
			BigDecimal geoDis = new BigDecimal((Double) hit.getSortValues()[0]);
			Map<String, Object> hitMap = hit.getSource();
			// 在创建MAPPING的时候，属性名的不可为geoDistance。
			hitMap.put("geoDistance", geoDis.setScale(2, BigDecimal.ROUND_HALF_DOWN));
			System.out.println(city + "距离北京" + hit.getSource().get("geoDistance") + DistanceUnit.KILOMETERS.toString() + "---" + title);
		}
		
	}

	public static void main(String[] args) throws IOException {
		Client client = new TransportClient().addTransportAddress(new InetSocketTransportAddress("127.0.0.1", 9300));
		String index = "testes";
		String type = "xq";
		// createIndex("testes", "xq");
		// addIndexData("testes", "xq");
		//
		double lat = 39.929986;
		double lon = 116.395645;
		long start = System.currentTimeMillis();
		testGetNearbyCities(client, index, type, lat, lon);
		// query("*海鲜*");
		long end = System.currentTimeMillis();
		System.out.println((end - start) + "毫秒");
		client.close();
	}
}

输出结果：

北京附近的城市(2个)：
天津距离北京98.69km---中国人民站起来了，天津人民可以天天在迎宾广场吃麻花了
青岛距离北京486.53km---中国人民站起来了，青岛人民可以天天在五四广场吃海鲜了，虾TM就是贵点儿，38元一只，38元最后一次！！！最后一次，不要错过今天
1192毫秒

注：server 和client版本使用的是1.5.2，如果server版本用elasticsearch-rtf-master，sort的时候总是报：

Exception in thread "main" org.elasticsearch.action.search.SearchPhaseExecutionException: Failed to execute phase [query], all shards failed; shardFailures {[alee59cPQNuzRP4go6-5vw][testes][4]: SearchParseException[[testes][4]: from[-1],size[-1]: Parse Failure [Failed to parse source [{"post_filter":{"geo_distance_range":{"location":"wx4g0th9p0gk","from":"1km","to":"2000km","include_lower":true,"include_upper":true,"distance_type":"arc","optimize_bbox":"memory"}},"sort":[{"_geo_distance":{"location":[{"lat":39.929986,"lon":116.395645}],"unit":"km","distance_type":"arc"}}]}]]]; nested: ElasticsearchParseException[Numeric value expected]; }{[alee59cPQNuzRP4go6-5vw][testes][0]: SearchParseException[[testes][0]: from[-1],size[-1]: Parse Failure [Failed to parse source [{"post_filter":{"geo_distance_range":{"location":"wx4g0th9p0gk","from":"1km","to":"2000km","include_lower":true,"include_upper":true,"distance_type":"arc","optimize_bbox":"memory"}},"sort":[{"_geo_distance":{"location":[{"lat":39.929986,"lon":116.395645}],"unit":"km","distance_type":"arc"}}]}]]]; nested: ElasticsearchParseException[Numeric value expected]; }{[alee59cPQNuzRP4go6-5vw][testes][1]: SearchParseException[[testes][1]: from[-1],size[-1]: Parse Failure [Failed to parse source [{"post_filter":{"geo_distance_range":{"location":"wx4g0th9p0gk","from":"1km","to":"2000km","include_lower":true,"include_upper":true,"distance_type":"arc","optimize_bbox":"memory"}},"sort":[{"_geo_distance":{"location":[{"lat":39.929986,"lon":116.395645}],"unit":"km","distance_type":"arc"}}]}]]]; nested: ElasticsearchParseException[Numeric value expected]; }{[alee59cPQNuzRP4go6-5vw][testes][2]: SearchParseException[[testes][2]: from[-1],size[-1]: Parse Failure [Failed to parse source [{"post_filter":{"geo_distance_range":{"location":"wx4g0th9p0gk","from":"1km","to":"2000km","include_lower":true,"include_upper":true,"distance_type":"arc","optimize_bbox":"memory"}},"sort":[{"_geo_distance":{"location":[{"lat":39.929986,"lon":116.395645}],"unit":"km","distance_type":"arc"}}]}]]]; nested: ElasticsearchParseException[Numeric value expected]; }{[alee59cPQNuzRP4go6-5vw][testes][3]: SearchParseException[[testes][3]: from[-1],size[-1]: Parse Failure [Failed to parse source [{"post_filter":{"geo_distance_range":{"location":"wx4g0th9p0gk","from":"1km","to":"2000km","include_lower":true,"include_upper":true,"distance_type":"arc","optimize_bbox":"memory"}},"sort":[{"_geo_distance":{"location":[{"lat":39.929986,"lon":116.395645}],"unit":"km","distance_type":"arc"}}]}]]]; nested: ElasticsearchParseException[Numeric value expected]; }

 换成1.5.2结果就好了，还有

.point(lon, lat)

  必须经度在前，纬度在后，不然查询为空，跟一朋友聊说这个可能是个bug

  另外查询速度太慢，应该哪个地方配置的问题，回头下周研究研究，周末愉快。

经过试验，原来创建client消耗了1秒左右，查询80毫秒，非常快

借鉴http://blog.csdn.net/loveisnull/article/details/45914115

转载于:https://my.oschina.net/ydsakyclguozi/blog/515361

weixin_33693070
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
java 使用ElasticSearch完成百万级数据查询附近的人功能
08-28
本篇文章主要介绍了java 使用ElasticSearch完成百万级数据查询附近的人功能，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
Elasticsearch搜索附近的人
wgbaowei的专栏
08-16 1099
String lat = request.getParameter("lat"); String lon = request.getParameter("lon"); if (Strings.isNotEmpty(lat) && Strings.isNotEmpty(lon)) { SearchRequestBuilder srb = elasticSearchClient.prepa
Elasticsearch(十三) ElasticSearch搜索附近的人
weixin_38399962的博客
08-21 2214
需求: 通过指定点搜索附近的人 , 要求可以过滤年龄, 结果按照距离进行排序, 并且展示她/他距离你多远 本文参考: es官网文档:https://www.elastic.co/guide/cn/elasticsearch/guide/current/sorting-by-distance.html Spring官网文档:https://docs.spring.io/spring-data/elasticsearch/docs/4.0.3.RELEASE/reference/html/#new-f..
Elasticsearch笔记（九）：实践篇-查找附近的人
布道
01-12 6940
到这里Elasticsearch的整个系列分享就基本上结束了，当然后续还是会针对某一点进行讲解。为何要在实践篇中讲解"查找附近的人"呢？说实话，想了很久，最终才确定下来，总体希望这个实践对今后的工作过程中有帮助。 1. 需求描述 随着移动设备的普及，很多移动APP都提供了LBS（Location Based Service）。其实LBS并不是什么新东西，但它也带来了不一样的改变，一方面可以提高...
使用elasticsearch1.5.2实现查找附近的人
weixin_34119545的博客
10-12 91
2019独角兽企业重金招聘Python工程师标准>>> ...
ES查询客户端，elasticsearch可视化工具 elasticsearch查询客户端
最新发布
06-20
**Elasticsearch查询客户端与可视化工具** Elasticsearch（简称ES）是一款强大的开源搜索引擎，广泛应用于数据检索、分析和管理。作为分布式、RESTful风格的搜索和数据分析引擎，Elasticsearch能够提供实时、高可用...
基于Elasticsearch的空间索引创建、空间范围查询源码及使用说明
01-18
基于Elasticsearch实现空间索引创建、空间范围查询， 1 创建索引集合接口 filePath：传入待建索引的SHP文件路径，预先将SHP文件拷贝至相应路径下； indexName：待建索引集合名称； indexConfig：待建索引集合的字段...
Java如何使用elasticsearch进行模糊查询
08-25
Java 使用 Elasticsearch 进行模糊查询 Elasticsearch 是一个基于 Lucene 的搜索引擎，提供了强大的搜索功能。Java 可以通过 Elasticsearch 的 API 来使用这些功能。本文将介绍如何使用 Java 语言在 Elasticsearch ...
JAVA使用ElasticSearch查询in和not in的实现方式
08-26
JAVA使用ElasticSearch查询in和not in的实现方式 Elasticsearch是一个基于Lucene的搜索服务器，提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。它是用Java开发的，并作为Apache许可条款下的开放...
Elasticsearch实现搜附近功能
weixin_49185060的博客
11-28 994
ES实现搜附近功能
ElasticSearch API 地理距离过滤器
Merlyj的博客
11-09 763
地理距离过滤器地理距离过滤器（geo_distance）以给定位置为圆心画一个圆，来找出那些位置落在其中的文档： GET /attractions/restaurant/_search { "query": { "filtered": { "filter": { "geo_distance": { "distance": "1km", <1
使用GPS经纬度定位附近地点(某一点范围内查询)
软件研发实战应用技术分享
09-05 2320
数据库中记录了商家在百度标注的经纬度（如：116.412007, 39.947545）最初想法,以圆心点为中心点，对半径做循环，半径每增加一个像素（暂定1米）再对周长做循环，到数据库中查询对应点的商家（真是一个长时间的循环工作），上网百度类似的文章有了点眉目大致想法是已知一个中心点，一个半径，求圆包含于圆抛物线里所有的点，这样的话就需要知道所要求的这个圆的对角线的顶点，问题来了 经纬度是一个点，半径
ES范围查询
Baron_ND的博客
09-07 1782
地理查询编辑 Elasticsearch支持两种类型的地理数据:geo_point纬度/经度对字段的支持,和geo_shape领域,支持点、线、圆、多边形、多等。 这组查询: geo_shape查询 发现文档与几何图型相交,包含,或与指定的geo-shape不相交。 geo_bounding_box查询 发现文档与geo-points落入指定的矩形。 geo_distance查询 发...
ES地理范围查询第一讲：Java操作地理位置信息（geo_point）
z69183787的专栏
04-16 5767
- 简要介绍 我们知道es支持的数据类型是多种多样的，除了我们常见的几种基本数据类型，它也支持记录位置信息的的数据类型。在es中，记录地理位置信息的数据类型有两种，分别为geo_shap和geo_point，下面我针对geo_point类型简要介绍一下 geo_point支持多种数据传入方式: 字符串位置：lat + "," + lon 数组位置: {"lat": ...,"lon": .....
elasticsearch对地理坐标获取附近的城市
春华秋实
01-13 1610
import org.elasticsearch.action.search.SearchRequestBuilder; import org.elasticsearch.action.search.SearchResponse; import org.elasticsearch.client.Client; import org.elasticsearch.common.geo.GeoDista
导入省市区数据到elasticsearch
qzqanzc的博客
01-17 901
1.创建索引 PUT /province/_doc POST /province/_doc/mapping { "province" : { "mappings" : { "_doc" : { "properties" : { "city" : { "type" : "nested", "...
全国各省市县级边界范围及其中心城区查询（调用百度地图）
qq_33359282的博客
07-12 5239
做它的原因 接了老师一个项目，老师要我先去收集各个省市县级的边界坐标以及中心城区范围，然后老师要用R语言去画图调用。然后我就直接百度去下载现成的数据，但是老师说不行，要最新的，以前网上的数据都是以前的。现在好多行政区县都已经更新了。近几年的数据还没有。所以只能自己做了。也能确保数据的准确性。 前期准备 首先我们需要城市信息。哪里来这些城市的信息呢？第一个想到的是百度文科直接
基于Elasticsearch进行地理检索，计算距离值
weixin_34343308的博客
03-31 1472
实现步骤： 1、定义属性 [Serializable] public class Coordinate { public double Lat { get; set; } public double Lon { get; set; } } /// <summary&g...
es时间范围查询距离现在时间5分钟之内的数据
06-13
您好，针对您的问题，可以使用Elasticsearch的时间范围查询（Range Query）和时间过滤器（Time Filter）来实现距离现在时间5分钟之内的数据查询。 具体实现如下： ``` { "query": { "bool": { "filter": { ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值