Elasticsearch简单介绍
Elasticsearch(ES)是一个基于Lucene构建的开源、分布式、RESTful 接口全文搜索引擎。Elasticsearch还是一个分布式文档数据库,其中一个分布式文档数据库,其中每个字段均是被索引的数据且可被搜索,它能够扩展至数以百计的服务器存储以及处理PB级的数据。它可以在很短的时间内存储、搜索和分析大量的数据库。它通常作为具有复杂搜索场景情况下的核心发动机。
Elasticsearch就是为高可用和可扩展而生的。可以通过购置性能更强的服务器来完成。
Elasticsearch 优势
- 横向可扩展性: 只需要增加台服务器,做一点儿配置,启动一下Elasticsearch就可以并入集群。
- 分片机制提供更好的分布性: 同一个索引分成多个分片(sharding),这点类似于HDFS的块机制;分而治之的方式可提升处理效率。
- 高可用: 提供复制(replica)机制,一个分片可以设置多个复制,使得某台服务器再宕机的情况下,集群仍然照常运行,并会把服务器宕机丢失的数据信息复制恢复到其他可用节点上。
- 使用简单: 工需一条命令就可以下载文件,然后很快就能搭建一个站内搜索引擎。
Elasticsearch 应用场景
大型分布式日志分析系统ELK Elasticsearch(存储日志)+logstash(收集日志)+kibana(展示数据)
大型电商商品搜索系统、网盘搜索引擎等
Elasticsearch存储结构
Elasticsearch是文件存储,Elasticsearch是面向文档型数据库,一条数据在这里就是一个文档,用JSON作为文档序列化得格式,
{
"name" : "csdn",
"sex" : 0,
"age" : 25
}
关系数据库 ⇒ 数据库 ⇒ 表 ⇒ 行 ⇒ 列(Columns)
Elasticsearch ⇒ 索引(Index) ⇒ 类型(type) ⇒ 文档(Docments) ⇒ 字段(Fields)
Linux环境安装Elasticsearch
- 下载Elasticsearch安装包 官方文档https://www.elastic.co/cn/downloads/elasticsearch (注意:linux安装内存建议1g内存以上)
- 上传——解压 tar -zxvf elasticsearch-6.4.3.tar.gz
- 修改elasticsearch.yml
network.host: 192.168.212.151
http.port: 9200 - 启动elasticsearch报错
can not run elasticsearch as root 解决方案: 因为安全问题elasticsearch 不让用root用户直接运行,所以要创建新用户 第一步:liunx创建新用户 adduser XXX 然后给创建的用户加密码 passwd XXX 输入两次密码。 第二步:切换刚才创建的用户 su XXX 然后执行elasticsearch 会显示Permission denied 权限不足。 第三步:给新建的XXX赋权限,chmod 777 * 这个不行,因为这个用户本身就没有权限,肯定自己不能给自己付权限。所以要用root用户登录付权限。 第四步:root给XXX赋权限,chown -R XXX /你的elasticsearch安装目录。 然后执行成功。 创建一个分组 groupadd esmayikt useradd esyushengjun -g esmayikt -p 123456 chown -R esyushengjun:esmayikt elasticsearch-6.4.3 su esyushengjun 切换用户 继续报错 bootstrap checks failed max virtual memory areas vm.max_map_count [65530] is vi /etc/sysctl.conf vm.max_map_count=655360 sysctl -p max file descriptors [4096] for elasticsearch process is too low, increase to at least [65536] vi /etc/security/limits.conf * soft nofile 65536 * hard nofile 131072 * soft nproc 2048 * hard nproc 4096 重启服务器即可
- 访问elasticsearch 关闭防火墙 systemctl stop firewalld.service http://192.168.212.151:9200
9300与9200区别
9300端口: ES节点之间通讯使用
9200端口: ES节点 和 外部 通讯使用
Kibana 环境安装
安装Kibana 实现可视化Elasticsearch。
Tar -zxvf kibana-6.4.3-linux-x86_64.tar.gz
将默认配置改成如下:
vim config/kibana.yml
server.port: 5601
server.host: "localhost"
elasticsearch.url: "http://localhost:9200"
启动Kibana
./bin/kibana
打开地址就行
http://localhost:5601/app/kibana
Windows安装Elasticsearch和Kibana
Windows安装非常简单 官方文档 https://www.elastic.co/downloads/elasticsearch 我下载这两个版本的 需要的留言给你发。
双击打开bin文件的elasticsearch.bat,和kibana.bat。打开运行即可。
SpringBoot整合Elasticsearch
这里的SpringBoot要使用2.0版本。
集成pom文件
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-data-elasticsearch</artifactId>
</dependency>
实体类
/**
* 实体类
* @author lcc
* @data :2019年8月19日 上午10:41:39
*/
@Document(indexName = "mymayikt", type = "user")
public class UserEntity {
@Id
private String id;
private String name;
private int sex;
private int age;
/**
* @return id
*/
public String getId() {
return id;
}
/**
* @param id 要设置的 id
*/
public void setId(String id) {
this.id = id;
}
/**
* @return name
*/
public String getName() {
return name;
}
/**
* @param name 要设置的 name
*/
public void setName(String name) {
this.name = name;
}
/**
* @return sex
*/
public int getSex() {
return sex;
}
/**
* @param sex 要设置的 sex
*/
public void setSex(int sex) {
this.sex = sex;
}
/**
* @return age
*/
public int getAge() {
return age;
}
/**
* @param age 要设置的 age
*/
public void setAge(int age) {
this.age = age;
}
@Override
public String toString() {
return "UserEntity [id=" + id + ", name=" + name + ", sex=" + sex + ", age=" + age + "]";
}
}
这个相当于dao层
/**
*
* @author lcc
* @data :2019年8月19日 下午1:32:02
*/
@Mapper
public interface UserReposiory extends CrudRepository<UserEntity, String> {
}
controller层
/**
*
* @author lcc
* @data :2019年8月19日 下午1:42:51
*/
@RestController
public class EsController {
@Autowired
private UserReposiory userReposiory;
/**
* 新增
*/
@RequestMapping("addUser")
public UserEntity addUser(){
UserEntity entity = new UserEntity();
entity.setAge(1);
entity.setId("1");
entity.setName("小明");
entity.setSex(1);
return userReposiory.save(entity);
}
@RequestMapping("findUser")
public Optional<UserEntity> findUser(String id) {
return userReposiory.findById(id);
}
}
先调取adduser 再调取findUser