ElasticSearch6.0.1 拼音搜索，并且高亮显示结果 —6.X版本

最新推荐文章于 2024-01-25 16:56:55 发布
最新推荐文章于 2024-01-25 16:56:55 发布
阅读量4.1k 收藏 15
点赞数 4
分类专栏： 大数据 ElasticSearch 文章标签： ElaticSearch 拼音 高亮显示结果
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_38822045/article/details/89306616
版权

       业务需求：公司项目需要搜索实现拼音搜索，中文搜索，并且需要支持拼音中文混合搜索，同时支持简拼搜索，并且高亮搜索字段的结果

在公司之前的业务需求下，发现的一个拼音和中文混合搜索的时候，实际使用拼音搜索并且返回结果进行高亮查询的时候，发现的一个问题，高亮标签无法使用，参考百度，CSDN，ElasticSerach中文社区，发现提出当前问题的人很多，基本没有一个好的解决方案，至此，我写了这一篇博客。希望能帮到大家

拼音搜索，中文搜索，拼音中文混合搜索，同时支持简拼搜索

详情见博客

中文拼音分词器，安装(简单使用)     详情见博客：https://blog.csdn.net/weixin_38822045/article/details/88970264

______________________________实操开始，华丽分割线_______________________________

第①步：上错误实例，问题实例！

https://blog.csdn.net/weixin_38822045/article/details/89138168

错误的索引settings

PUT http://192.168.1.200:9200/liuwunan

{
	"settings": {
		"index": {
			"max_result_window": 10000000
		},
		"refresh_interval": "5s",
		"number_of_shards": 1,
		"number_of_replicas": 1,
		"analysis": {                                      #分析
			"filter": {
				"edge_ngram_filter": {                     #自动补全
					"type": "edge_ngram",
					"min_gram": 1,
					"max_gram": 50
				},
				"pinyin_full_filter": {                    #拼音全拼
					"type": "pinyin",
					"keep_first_letter": false,
					"keep_separate_first_letter": false,
					"keep_full_pinyin": true,
					"keep_original": false,
					"limit_first_letter_length": 50,
					"lowercase": true
				},
				"pinyin_simple_filter": {                 #拼音简拼
					"type": "pinyin",
					"keep_first_letter": true,
					"keep_separate_first_letter": false,
					"keep_full_pinyin": false,
					"keep_original": false,
					"limit_first_letter_length": 50,
					"lowercase": true
				}
			},
			"analyzer": {                                 #分析器
				"pinyiSimpleIndexAnalyzer": {         
					"type": "custom",
					"tokenizer": "keyword",
					"filter": ["pinyin_simple_filter","edge_ngram_filter","lowercase"]
				},
				"pinyiFullIndexAnalyzer": {
					"type": "custom","tokenizer": "keyword",
					"filter": ["pinyin_full_filter", "lowercase"]
				}
			}
		}
	}
}

 

ElasticSerach的错误Mapping的实例

PUT  http://192.168.1.200:9200/liuwunan/_mapping/doc

{
	"dynamic_templates": [{
			"text": {
				"match_mapping_type": "text",
				"mapping": {
					"analyzer": "ik_max_word",
					"fields": {
						"raw": {
							"ignore_above": 256,
							"type": "keyword"
						}
					},
					"search_analyzer": "ik_max_word",
					"type": "text"
				}
			}
		},
		{
			"integer": {
				"match_mapping_type": "long",
				"mapping": {
					"fields": {
						"raw": {
							"type": "integer"
						}
					},
					"type": "integer"
				}
			}
		}
	],
	"properties": {
		"title": {                                
			"type": "keyword",
			"fields": {
				"fpy": {           #针对Title 全拼
					"type": "text",
					"index": true, 
					"analyzer": "pinyiFullIndexAnalyzer"     
				},
				"spy": {            #针对Title 简拼         
					"type": "text",                
					"index": true,
					"analyzer": "pinyiSimpleIndexAnalyzer"
				}
			}
		}
	}
}

第二步：添加测试数据

{
    "took": 1,
    "timed_out": false,
    "_shards": {
        "total": 1,
        "successful": 1,
        "skipped": 0,
        "failed": 0
    },
    "hits": {
        "total": 3,
        "max_score": 1,
        "hits": [
            {
                "_index": "liuwunan",
                "_type": "doc",
                "_id": "1",
                "_score": 1,
                "_source": {
                    "title": "小明你好"
                }
            },
            {
                "_index": "liuwunan",
                "_type": "doc",
                "_id": "2",
                "_score": 1,
                "_source": {
                    "title": "明天你好"
                }
            },
            {
                "_index": "liuwunan",
                "_type": "doc",
                "_id": "3",
                "_score": 1,
                "_source": {
                    "title": "中华人"
                }
            }
        ]
    }
}

第三步：进行拼音，中文，中文拼音混合搜索测试

①：拼音全拼搜索

POST ： http://192.168.1.200:9200/liuwunan/doc/_search

{
  "query": {
    "match": {
      "title.fpy": "mingtian"       #fpy 意为全拼缩写
    }
  }
}

返回结果如下：
{
    "took": 1,
    "timed_out": false,
    "_shards": {
        "total": 1,
        "successful": 1,
        "skipped": 0,
        "failed": 0
    },
    "hits": {
        "total": 2,
        "max_score": 1.398811,
        "hits": [
            {
                "_index": "liuwunan",
                "_type": "doc",
                "_id": "2",
                "_score": 1.398811,            #分数最高
                "_source": {
                    "title": "明天你好"
                }
            },
            {
                "_index": "liuwunan",
                "_type": "doc",
                "_id": "1",
                "_score": 0.45315093,
                "_source": {
                    "title": "小明你好"
                }
            }
        ]
    }
}

②：中文搜索

http://192.168.1.200:9200/liuwunan/doc/_search

{
  "query": {
    "match": {
      "title.fpy": "明天"
    }
  }
}

返回结果
{
    "took": 2,
    "timed_out": false,
    "_shards": {
        "total": 1,
        "successful": 1,
        "skipped": 0,
        "failed": 0
    },
    "hits": {
        "total": 2,
        "max_score": 1.398811,
        "hits": [
            {
                "_index": "liuwunan",
                "_type": "doc",
                "_id": "2",
                "_score": 1.398811,                   #分数第一
                "_source": {
                    "title": "明天你好" 
                }
            },
            {
                "_index": "liuwunan",
                "_type": "doc",
                "_id": "1",
                "_score": 0.45315093,
                "_source": {
                    "title": "小明你好"
                }
            }
        ]
    }
}

③：中文拼音混合搜索

http://192.168.1.200:9200/liuwunan/doc/_search

{
  "query": {
    "match": {
      "title.fpy": "明tian"
    }
  }
}

返回结果如下：
{
    "took": 2,
    "timed_out": false,
    "_shards": {
        "total": 1,
        "successful": 1,
        "skipped": 0,
        "failed": 0
    },
    "hits": {
        "total": 2,
        "max_score": 1.398811,
        "hits": [
            {
                "_index": "liuwunan",
                "_type": "doc",
                "_id": "2",
                "_score": 1.398811,    #分数第一
                "_source": { 
                    "title": "明天你好"
                }
            },
            {
                "_index": "liuwunan",
                "_type": "doc",
                "_id": "1",
                "_score": 0.45315093,
                "_source": {
                    "title": "小明你好"
                }
            }
        ]
    }
}

④：简拼搜索

http://192.168.1.200:9200/liuwunan/doc/_search
{
  "query": {
    "match": {
      "title.spy": "mt"
    }
  }
}

返回结果如下：
{
    "took": 6,
    "timed_out": false,
    "_shards": {
        "total": 1,
        "successful": 1,
        "skipped": 0,
        "failed": 0
    },
    "hits": {
        "total": 1,
        "max_score": 3.0916727,
        "hits": [
            {
                "_index": "liuwunan",
                "_type": "doc",
                "_id": "2",
                "_score": 3.0916727,          #只有一条
                "_source": {
                    "title": "明天你好"
                }
            }
        ]
    }
}

由上述截图可知，一切需求感觉好像都满足了...........项目需求都解决了，突然，被同事告知，拼音查询，返回的结果，高亮标签打的有问题，一开始以为是同事使用的API语法写的有问题，后来我手动写JSON语法，进行Post请求提交。

http://192.168.1.200:9200/liuwunan/doc/_search
{
  "query": {
    "match": {
      "title.spy": "小明"
    }
  },
  "highlight" : {
    "fields": {
      "title.spy": {
      }
    }
  }
}

返回结果如下:

{
    "took": 112,
    "timed_out": false,
    "_shards": {
        "total": 1,
        "successful": 1,
        "skipped": 0,
        "failed": 0
    },
    "hits": {
        "total": 1,
        "max_score": 1.6954334,
        "hits": [
            {
                "_index": "liuwunan",
                "_type": "doc",
                "_id": "1",
                "_score": 1.6954334,
                "_source": {
                    "title": "小明你好"
                },
                "highlight": {                  
                    "title.spy": [
                        "<em>小明你好</em>"    #高亮标签
                    ]
                }
            }
        ]
    }
}

有上述可知，高亮标签打的是title所有的数据，所以出错了！ 

实际需要效果为 
{
    "took": 112,
    "timed_out": false,
    "_shards": {
        "total": 1,
        "successful": 1,
        "skipped": 0,
        "failed": 0
    },
    "hits": {
        "total": 1,
        "max_score": 1.6954334,
        "hits": [
            {
                "_index": "liuwunan",
                "_type": "doc",
                "_id": "1",
                "_score": 1.6954334,
                "_source": {
                    "title": "小明你好"
                },
                "highlight": {                  
                    "title.spy": [
                        "<em>小明</em>你好"    #高亮标签
                    ]
                }
            }
        ]
    }
}

查询百度，CSDN发现很多同学遇到了此问题，以ElasticSerach中文社区这文章为例，https://elasticsearch.cn/article/6166   相同的问题，解决方案类似，我在CSDN上也找了一篇2.X版本的ElasticSerach，按照他的,Setting和 ,Mapping 进行测试发现，在2.X版本的Es确实 是按照上述博客所述，并不存在这个问题，

但是6.X的ElasticSerach 就完全不行，我按照2.X操作执行了一遍，完美的避开了正确的返回结果！  一个高亮标签都咩有，见到这篇文章，发现确实是高版本，是有存在这个问题的！！！【填坑中】

经过大量的测试，Mapping的修改，Setting的设置，ElaticSerach测试分词器，发现

POST   http://192.168.1.200:9200/liuwunan/_analyze

{
  "field": "title.fpy"
, "text": ["环球"]
}

返回結果：
{
    "tokens": [
        {
            "token": "huan",
            "start_offset": 0,
            "end_offset": 2,
            "type": "word",
            "position": 0
        },
        {
            "token": "qiu",
            "start_offset": 0,
            "end_offset": 2,
            "type": "word",
            "position": 1
        }
    ]
}

分词结果显示 "type": "word"， 发现这完全就是按照英文的分词器的方法！ 非中文的分词方式

正确实例
POST  http://192.168.1.245:9200/b_and_r/_analyze

{
	"field": "title.fpy",
	"text": ["环球"]
}

返回结果 ：
{
    "tokens": [
        {
            "token": "huan",
            "start_offset": 0,
            "end_offset": 2,
            "type": "CN_WORD",
            "position": 0
        },
        {
            "token": "huanqiu",
            "start_offset": 0,
            "end_offset": 2,
            "type": "CN_WORD",
            "position": 0
        },
        {
            "token": "qiu",
            "start_offset": 0,
            "end_offset": 2,
            "type": "CN_WORD",
            "position": 1
        }
    ]
}

正确的结果是  "type": "CN_WORD" 中文分词器!!!   由此可知，setting和Mapping 有问题！

       分析结果如下，在做拼音搜索的时候，如果按照上述的Setting和Mapping发送请求是按照英文分词器来的，并且是单个字母拆分，并且发送中文请求，会先将中文拆分问拼音，将数据进行拼音搜索匹配，返回的是拼音，就是中文 ，拿过去拆成拼音，然后去匹配，然后返回的是匹配拼音上打的标签，但是实际结果，返回的数据是中文，不是拼音，所以标签打不上！

解决方案 ：
       是配混合过滤器，你中文，拿到后台，会分析成，中文和拼音，两种方式，返回的数据，就如果有拼音，就能匹配赛拼音，如果是中文，就能匹配上，中文.打上高亮的标签。

ElasticSerach 的Setting正确的配置方式：

PUT http://192.168.1.200:9200/test
{
	"settings": {
		"index": {
			"max_result_window": 10000000
		},
		"refresh_interval": "5s",
		"number_of_shards": 1,
		"number_of_replicas": 1,
		"analysis": {
			"filter": {
				"pinyin_full_filter": {
					"keep_joined_full_pinyin": "true",
					"lowercase": "true",
					"keep_original": "false",
					"keep_first_letter": "false",
					"keep_separate_first_letter": "false",
					"type": "pinyin",
					"keep_none_chinese": "false",
					"limit_first_letter_length": "50",
					"keep_full_pinyin": "true"
				},
				"pinyin_simple_filter": {
					"keep_joined_full_pinyin": "true",
					"lowercase": "true",
					"none_chinese_pinyin_tokenize": "false",
					"padding_char": " ",
					"keep_original": "true",
					"keep_first_letter": "true",
					"keep_separate_first_letter": "false",
					"type": "pinyin",
					"keep_full_pinyin": "false"
				}
			},
			"analyzer": {
				"pinyinFullIndexAnalyzer": {
					"filter": ["asciifolding", "lowercase", "pinyin_full_filter"],
					"type": "custom",
					"tokenizer": "ik_max_word"
				},
				"ik_pinyin_analyzer": {
					"filter": ["asciifolding", "lowercase", "pinyin_full_filter", "word_delimiter"],
					"type": "custom",
					"tokenizer": "ik_smart"
				},
				"ikIndexAnalyzer": {
					"filter": ["asciifolding", "lowercase"],
					"type": "custom",
					"tokenizer": "ik_max_word"
				},
				"pinyiSimpleIndexAnalyzer": {
					"type": "custom",
					"tokenizer": "ik_max_word",
					"filter": ["pinyin_simple_filter", "lowercase"]
				}
			}
		}
	}
}

ElasticSerach 的Mapping正确的配置方式：

PUT http://192.168.1.200:9200/test/_mapping/doc
{
	"dynamic_templates": [{
			"strings": {
				"match_mapping_type": "string",
				"mapping": {
					"analyzer": "ik_max_word",
					"fields": {
						"raw": {
							"ignore_above": 256,
							"type": "keyword"
						}
					},
					"search_analyzer": "ik_max_word",
					"type": "text"
				}
			}
		},
		{
			"integer": {
				"match_mapping_type": "long",
				"mapping": {
					"fields": {
						"raw": {
							"type": "integer"
						}
					},
					"type": "integer"
				}
			}
		}
	],
	"properties": {
		"title": {
			"type": "text",
			"fields": {
				"fpy": {
					"type": "text",
					"index": true,
					"analyzer": "pinyinFullIndexAnalyzer"
				},
				"spy": {
					"type": "text",
					"index": true,
					"analyzer": "pinyiSimpleIndexAnalyzer"
				}
			},
			"analyzer": "ikIndexAnalyzer"
		}
	}
}


重点为 ,"analyzer":"ik_max_word"

最后进行结果查询

①全拼搜索
POST http://192.168.1.200:9200/liuwunan/doc/_search
{
	"_source": [ "title"],
  "query": {
    "match": {
      "title.spy": "huanqiu"
    }
  },
  "highlight" : {
    "fields": {
      "title.spy": {
      }
    }
  }
}

返回结果：


        "hits": [
            {
                "_index": "b_and_r",
                "_type": "doc",
                "_id": "hubmH2oBGUgj470FD0s1",
                "_score": 5.3819566,
                "_source": {
                    "title": "cast公司与NBC环球公司啊"
                },
                "highlight": {
                    "title.spy": [
                        "cast公司与NBC<em>环球</em>公司啊"
                    ]
                }
            }
        }
   ]

可以实现项目需求。 使用拼音搜索，返回中文数据标签打到了！然后标签没有出问题，现在测试简拼和混合搜索


②简拼搜索
POST http://192.168.1.200:9200/liuwunan/doc/_search

{
	"_source": [ "title"],
	
  "query": {
    "match": {
      "title.spy": "hq"
    }
  },
  "highlight" : {
    "fields": {
      "title.spy": {
      }
    }
  }
}

返回结果：
"hits": [
            {
                "_index": "b_and_r",
                "_type": "doc",
                "_id": "hubmH2oBGUgj470FD0s1",
                "_score": 4.294393,
                "_source": {
                    "title": "cast公司与NBC环球公司啊"
                },
                "highlight": {
                    "title.spy": [
                        "cast公司与NBC<em>环球</em>公司啊"
                    ]
                }
            }
       ]


③：中文搜索
POST http://192.168.1.200:9200/liuwunan/doc/_search

{
	"_source": [ "title"],
  "query": {
    "match": {
      "title.fpy": "环球"
    }
  },
  "highlight" : {
    "fields": {
      "title.fpy": {
      }
    }
  }
}
=======================================================================
{
	"_source": [ "title"],
  "query": {
    "match": {
      "title": "环球"
    }
  },
  "highlight" : {
    "fields": {
      "title": {
      }
    }
  }
}
两种方式皆可
==========================================================================

返回結果
"hits": [
        {
                "_index": "b_and_r",
                "_type": "doc",
                "_id": "hubmH2oBGUgj470FD0s1",
                "_score": 3.652075,
                "_source": {
                    "title": "cast公司与NBC环球公司啊"
                },
                "highlight": {
                    "title": [
                        "cast公司与NBC<em>环球</em>公司啊"
                    ]
                }
            }
        ]
綜上所展示，所有需求都满足了！

至此，ElasticSerach 6.0.1版本的拼音搜索，和高亮查询，已经彻底解决了！   有需要的同学，直接复制我的配置文件即可。

详细配置请见博客                                                                https://blog.csdn.net/weixin_38822045/article/details/89138168

wunanliu
关注
  • 4
    点赞
  • 踩
  • 15
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
专栏目录
基于elasticsearch 6.x的新闻搜索项目代码
07-17
基于elasticsearch 6.x的新闻搜索项目代码，SpringBoot2.x项目形式，使用Java High Level REST Client。包含了WebMagic爬虫程序
docker 安装ElasticSearch 6.x的教程详解
09-29
主要介绍了docker 安装ElasticSearch 6.x的教程，非常不错，具有一定的参考借鉴价值 ,需要的朋友可以参考下
elasticsearch 支持拼音检索
weixin_42934205的博客
08-14 1605
elasticsearch 支持拼音检索 1.下载安装对应es版本的拼音分词器 下载地址：https://github.com/medcl/elasticsearch-analysis-pinyin/releases?after=v6.8.0 因为我用的是6.8.0版本的es,所以下载的是6.8.0版本的插件。 2.安装 在es的plugins目录下，创建pinyin文件夹，将拼音分词器解压到pinyin文件夹目录下，然后重启es 3.测试插件效果 get http://ip:port/_analyze
ElasticSearch 学习9 spring-boot ，elasticsearch7.16.1实现中文拼音分词搜索
zhaofuqiangmycomm的博客
01-12 578
elasticsearch.version>7.6.2修改为对应的elasticsearch版本。上下载源码到本地，idea打开项目，修改对应项目中的pom.xml将。然后启动elasticsearch.bat，二、拼音、ik、繁简体转换插件安装。三. mvn配置sisisifff。这样对应插件就算安装成功了。
ElasticSearch6.5.4三中文以及拼音的搜索
qq_25012687的博客
09-15 415
ElasticSearch6.5.4<一>单机部署以及简单尝试 ElasticSearch6.5.4<二>几个重要概念以及常用搜索 ElasticSearch6.5.4<三>中文以及拼音的操作 ElasticSearch6.5.4<四>java使用ES并实战搜索 ElasticSearch6.5.4<五>集群操作 Elasti...
ElasticSearch 6.x 学习笔记：19.搜索高亮
程裕强的专栏
01-19 8833
19.1 高亮概述 参照官方文档 https://www.elastic.co/guide/en/elasticsearch/reference/6.1/search-request-highlighting.html Highlighters enable you to get highlighted snippets from one or more fields in your sea
elasticsearch实现搜索拼音然后高亮内容
xiao_jun_0820的专栏
03-28 9679
es拼音插件https://github.com/medcl/elasticsearch-analysis-pinyin/tree/v1.6.0，具体用法此处不介绍，看readme 现在要实现一个搜场馆的功能，需要按场馆名称首字母缩写也能搜索出场馆，还必须要高亮显示首拼对应的汉字部分。 analysis可定义如下： "analysis": { "tokenizer
ElasticSearch实战系列02：中文+拼音混合检索，并高亮显示
From Zero To Hero
10-14 2205
点击上方“方才编程”，即可关注我！本文导读本文仿照QQ的用户搜索，搭建一个中文+拼音的混合检索系统，并高亮显示检索字段。全文共分为以下几部分：1、项目简介，包括需求描述与分析等；2、项...
Elasticsearch1.x 拼音分词实现全拼首字母中文混合搜索
weixin_33726313的博客
08-27 460
一、插件简介 elasticsearch-analysis-lc-pinyin是一款elasticsearch拼音分词插件，可以支持按照全拼、首字母，中文混合搜索。 首先举个栗子说明下，我们在淘宝搜索框中输入“jianpan” 可以搜索到关键字包含“键盘”的商品。不仅仅输入全拼，有时候我们输入首字母、拼音和首字母、中文和首字母的混合输入，比如：“键pan”、“j盘”、“jianp”...
ES6.8.6 创建索引配置分词器、映射字段指定分词器、查询数据高亮显示分词结果（内置分词器、icu、ik、pinyin分词器）
最新发布
扶摇的博客
01-25 1379
通过拼音同样能查询到es中的中文记录，但是，pinyin分词对高亮结果的返回可能不太支持，全部都是空标签。（略）数据内容同上，除索引名称、分词器不一样外，其他一样。（略）数据内容同上，除索引名称、分词器不一样外，其他一样。观察高亮标签，对比icu分词器查询的结果更多了。的数据，和原本应该查的关系关联度是非常低的。参考对输入的分词，以同样的步骤，对。以下postman截图中{{domain}}等于。通过icu分词器的分词查询，也进行了高亮，说明通过天才作家匹配到了记录。对词的拆分粒度更大。
elasticsearch-7.17.6及对应版本IK分词
02-19
elasticsearch-7.17.6及对应版本IK分词 适合人群：elasticsearch初学者 Elasticsearch 是位于 Elastic Stack 核心的分布式搜索和分析引擎。Logstash 和 Beats 有助于收集、聚合和丰富您的数据并将其存储在 Elastic...
java连接elasticsearch将搜索结果高亮显示并分页。
04-29
java连接elasticsearch实现全文检索，并且高亮显示结果，实现分页。项目基于elasticsearch5.6.1可根据自己实际情况调整版本。最近项目需要所以学习了一下，项目很简单可以根据你的实际情况更改接口。我本地的搜索是...
linux 6.x 安装elasticsearch 5.x指引
02-07
本文档涉及 Linux6.x 安装elasticsearch 5.x指引，以及安装启动过程中的各种问题
Hive的数据去重Group by Having count()等方法
wunanliu的采坑日记
01-31 7932
查询出当前表中，电话号码出现数次数为两次的数据！并且删除掉重复多余的数据，只留下一条数据！having count and group by select mobile,count(1)cnt from rbc_audience_users group by mobile having count(mobile) >1 查询出rbc_audience_users表中 mobile大于一条...
Hive多表连接异常，java.lang.ArrayIndexOutOfBounds ：140，官方Bug，在3.0.0版本已经被解决了
wunanliu的采坑日记
03-01 5089
后续官方解决方案：https://issues.apache.org/jira/browse/HIVE-14564 异常详细情况 2019-02-28 16:33:44,429 INFO [RMCommunicator Allocator] org.apache.hadoop.mapreduce.v2.app.rm.RMContainerAllocator: Got allocated ...
Hadoop运行离线任务，Hive跑MR任务时候，出现Caused by: java.lang.OutOfMemoryError: GC overhead limit exceeded
wunanliu的采坑日记
03-29 5012
一、首先抛出异常问题 二、引发问题原因： 表连接，左表数据100W，右表数据 300W，进行左右表进行表关联，进行Count进行数据统计，等待运行结果！！！ 分析问题，查看上述运行流程，即可了解上述异常，查看详细日志信息，URL：即可见到首页出现的问题 三、查看页面可见，有如下图片 四、由上图和图一可知，此MR程序为 Map端出错，出错程序问题问 内存不足，初步怀疑为 Ma...
Apache开源顶级项目Ambari搭建HDP大数据平台
wunanliu的采坑日记
07-16 5013
搭建Hortonworks Data Platform大数据平台 Ambari 跟 Hadoop 等开源软件一样，也是 Apache Software Foundation 中的一个项目，并且是顶级项目。目前最新的发布版本是 2.5.1。就 Ambari 的作用来说，就是创建、管理、监视Hadoop 的集群，但是这里的 Hadoop 是广义，包括的是 Hadoop 整个生态圈（例如 Hive，H...
CDH大数据平台内存交换，警告问题
wunanliu的采坑日记
07-30 3793
前言 博主在使用CDH大数据平台时发现，CDH长时间运行，Cloudera Manager管理页面在运行Spark任务时候经常会出现内存交换警告，前期博主直接忽略，毕竟不是什么大问题，后期发现如果长时间黄色警告不处理，会误导页面查看集群状态，并且交换空间所占用磁盘空间越来越大，并且警告越来越多，后续还会有从黄色变为红色异常等情况，后进入管理界面发现，CDH在安装时，Linux操作系统，有选择交换空间地址交给CDH内存不足情况下使用，测试发现手动释放会解决，管理界面警告问题（黄色警告，看着也不...
elasticsearch7.x跟8.x
07-28
Elasticsearch 7.x和8.x是Elasticsearch的不同版本。它们之间有一些重要的区别和改进。以下是一些主要的区别： 1. 性能改进：Elasticsearch 8.x引入了一些性能优化，包括更快的搜索和聚合操作，以及更高效的索引和...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值