以下安装是ex 5.4.3版本
http://www.elastic.co/guide/en/elasticsearch/reference/current/setup-configuration.html
https://github.com/elastic/elasticsearch
【在多台机器上执行下面的命令】
es启动时需要使用非root用户,所有创建一个xiaoniu用户:
useradd xiaoniu
为hadoop用户添加密码:
echo 123456 | passwd –stdin xiaoniu
将bigdata添加到sudoers
echo “xiaoniu ALL = (root) NOPASSWD:ALL” | tee /etc/sudoers.d/xiaoniu
chmod 0440 /etc/sudoers.d/xiaoniu
解决sudo: sorry, you must have a tty to run sudo问题,在/etc/sudoer注释掉 Default requiretty 一行
sudo sed -i ‘s/Defaults requiretty/Defaults:xiaoniu !requiretty/’ /etc/sudoers
创建一个bigdata目录
mkdir /{bigdata,data}
给相应的目录添加权限
chown -R xiaoniu:xiaoniu /{bigdata,data}
1.安装jdk(jdk要求1.8.20以上)
2.上传es安装包
3.解压es
tar -zxvf elasticsearch-5.4.3.tar.gz -C /bigdata/
4.修改配置
vi /bigdata/elasticsearch-5.4.3/config/elasticsearch.yml
集群名称,通过组播的方式通信,通过名称判断属于哪个集群
cluster.name: bigdata
节点名称,要唯一
node.name: es-1
数据存放位置
path.data: /data/es/data
日志存放位置(可选)
path.logs: /data/es/logs
es绑定的ip地址
network.host: 192.168.80.20
初始化时可进行选举的节点
discovery.zen.ping.unicast.hosts: [“node-4”, “node-5”, “node-6”]
/bigdata/elasticsearch-5.4.3/bin/elasticsearch -d
出现错误
[1]: max file descriptors [4096] for elasticsearch process is too low, increase to at least [65536]
[2]: max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]
用户最大可创建文件数太小
sudo vi /etc/security/limits.conf
* soft nofile 65536
* hard nofile 65536
查看可打开文件数量
ulimit -Hn
最大虚拟内存太小
sudo vi /etc/sysctl.conf
vm.max_map_count=262144
查看虚拟内存的大小
sudo sysctl -p
重启
sudo shutdown -r now
5.使用scp拷贝到其他节点
scp -r elasticsearch-5.4.3/ node-5:
PWDscp−relasticsearch−5.4.3/node−6:
PWD
6.在其他节点上修改es配置,需要修改的有node.name和network.host
7.启动es(/bigdata/elasticsearch-5.4.3/bin/elasticsearch -h查看帮助文档)
/bigdata/elasticsearch-5.4.3/bin/elasticsearch -d
8.用浏览器访问es所在机器的9200端口
http://192.168.80.20:9200/
{
“name” : “node-2”,
“cluster_name” : “bigdata”,
“cluster_uuid” : “v4AHbENYQ8-M3Aq8J5OZ5g”,
“version” : {
“number” : “5.4.3”,
“build_hash” : “eed30a8”,
“build_date” : “2017-06-22T00:34:03.743Z”,
“build_snapshot” : false,
“lucene_version” : “6.5.1”
},
“tagline” : “You Know, for Search”
}
// 停掉elasticsearch
kill ps -ef | grep Elasticsearch | grep -v grep | awk '{print $2}'
查看集群状态
curl -XGET ‘http://192.168.80.20:9200/_cluster/health?pretty’
http://192.168.80.20:9200/_cluster/health?pretty
RESTful接口URL的格式:
http://192.168.80.20:9200///[]
其中index、type是必须提供的。
id是可选的,不提供es会自动生成。
index、type将信息进行分层,利于管理。
index可以理解为数据库;type理解为数据表;id相当于数据库表中记录的主键,是唯一的。
向store索引中添加一些书籍
curl -XPUT ‘http://192.168.80.20:9200/store/books/1’ -d ‘{
“title”: “Elasticsearch: The Definitive Guide”,
“name” : {
“first” : “Zachary”,
“last” : “Tong”
},
“publish_date”:”2015-02-06”,
“price”:”49.99”
}’
通过浏览器查询
http://192.168.80.20:9200/store/books/1
在linux中通过curl的方式查询
curl -XGET ‘http://192.168.80.20:9200/store/books/1’
在添加一个书的信息
curl -XPUT ‘http://192.168.80.20:9200/store/books/2’ -d ‘{
“title”: “Elasticsearch Blueprints”,
“name” : {
“first” : “Vineeth”,
“last” : “Mohan”
},
“publish_date”:”2015-06-06”,
“price”:”35.99”
}’
通过ID获得文档信息
curl -XGET ‘http://192.168.80.20:9200/bookstore/books/1’
在浏览器中查看
http://192.168.80.20:9200/store/books/1
通过_source获取指定的字段
curl -XGET ‘http://192.168.80.20:9200/store/books/1?_source=title’
curl -XGET ‘http://192.168.80.20:9200/store/books/1?_source=title,price’
curl -XGET ‘http://192.168.80.20:9200/store/books/1?_source’
可以通过覆盖的方式更新
curl -XPUT ‘http://192.168.80.20:9200/store/books/1’ -d ‘{
“title”: “Elasticsearch: The Definitive Guide”,
“name” : {
“first” : “Zachary”,
“last” : “Tong”
},
“publish_date”:”2016-02-06”,
“price”:”99.99”
}’
或者通过 _update API的方式单独更新你想要更新的
curl -XPOST ‘http://192.168.80.20:9200/store/books/1/_update’ -d ‘{
“doc”: {
“price” : 88.88
}
}’
curl -XGET ‘http://192.168.80.20:9200/store/books/1’
删除一个文档
curl -XDELETE ‘http://192.168.80.20:9200/store/books/1’
最简单filter查询
SELECT * FROM books WHERE price = 35.99
filtered 查询价格是35.99的
curl -XGET ‘http://192.168.80.20:9200/store/books/_search’ -d ‘{
“query” : {
“filtered” : {
“query” : {
“match_all” : {}
},
“filter” : {
“term” : {
“price” : 35.99
}
}
}
}
}’
指定多个值
curl -XGET ‘http://192.168.80.20:9200/store/books/_search’ -d ‘{
“query” : {
“filtered” : {
“filter” : {
“terms” : {
“price” : [35.99, 88.88]
}
}
}
}
}’
SELECT * FROM books WHERE publish_date = “2015-02-06”
curl -XGET ‘http://192.168.80.20:9200/bookstore/books/_search’ -d ‘{
“query” : {
“filtered” : {
“filter” : {
“term” : {
“publish_date” : “2015-02-06”
}
}
}
}
}’
bool过滤查询,可以做组合过滤查询
SELECT * FROM books WHERE (price = 35.99 OR price = 99.99) AND (publish_date != “2016-02-06”)
类似的,Elasticsearch也有 and, or, not这样的组合条件的查询方式
格式如下:
{
“bool” : {
“must” : [],
“should” : [],
“must_not” : [],
}
}
#
must: 条件必须满足,相当于 and
should: 条件可以满足也可以不满足,相当于 or
must_not: 条件不需要满足,相当于 not
curl -XGET ‘http://192.168.80.20:9200/store/books/_search’ -d ‘{
“query” : {
“filtered” : {
“filter” : {
“bool” : {
“should” : [
{ “term” : {“price” : 35.99}},
{ “term” : {“price” : 99.99}}
],
“must_not” : {
“term” : {“publish_date” : “2016-02-06”}
}
}
}
}
}
}’
嵌套查询
SELECT * FROM books WHERE price = 35.99 OR ( publish_date = “2016-02-06” AND price = 99.99 )
curl -XGET ‘http://192.168.80.20:9200/bookstore/books/_search’ -d ‘{
“query” : {
“filtered” : {
“filter” : {
“bool” : {
“should” : [
{ “term” : {“price” : 35.99}},
{ “bool” : {
“must” : [
{“term” : {“publish_date” : “2016-02-06”}},
{“term” : {“price” : 99.99}}
]
}}
]
}
}
}
}
}’
range范围过滤
SELECT * FROM books WHERE price >= 20 AND price < 100
gt : > 大于
lt : < 小于
gte : >= 大于等于
lte : <= 小于等于
curl -XGET ‘http://192.168.80.20:9200/store/books/_search’ -d ‘{
“query” : {
“filtered” : {
“filter” : {
“range” : {
“price” : {
“gt” : 20.0,
“lt” : 100
}
}
}
}
}
}’
另外一种 and, or, not查询
没有bool, 直接使用and , or , not
注意: 不带bool的这种查询不能利用缓存
查询价格既是35.99,publish_date又为”2015-02-06”的结果
curl -XGET ‘http://192.168.80.20:9200/bookstore/books/_search’ -d ‘{
“query”: {
“filtered”: {
“filter”: {
“and”: [
{
“term”: {
“price”:59.99
}
},
{
“term”: {
“publish_date”:”2015-02-06”
}
}
]
},
“query”: {
“match_all”: {}
}
}
}
}’
http://192.168.80.20:9200/bookstore/books/_search
——ES Head的安装 —————————–
sudo yum update -y
sudo rpm -ivh http://dl.fedoraproject.org/pub/epel/epel-release-latest-7.noarch.rpm
sudo rpm -ivh https://kojipkgs.fedoraproject.org//packages/http-parser/2.7.1/3.el7/x86_64/http-parser-2.7.1-3.el7.x86_64.rpm
sudo yum install npm
sudo yum install -y git
sudo yum install -y bzip2
git clone git://github.com/mobz/elasticsearch-head.git
将源码包下载后剪切到/bigdata目录,并改所属用户和组
sudo chown -R xiaoniu:xiaoniu /bigdata/elasticsearch-head
进入到elasticsearch-head中
cd elasticsearch-head
编译安装
npm install
运行服务
npm run start
打开elasticsearch-head-master/Gruntfile.js,找到下面connect属性,新增hostname: ‘0.0.0.0’,
connect: {
server: {
options: {
hostname: ‘0.0.0.0’,
port: 9100,
base: ‘.’,
keepalive: true
}
}
}
编辑elasticsearch-5.4.3/config/elasticsearch.yml,加入以下内容:
http.cors.enabled: true
http.cors.allow-origin: “*”
—————–ik分词器的安装—————————
安装IK分词器
下载对应版本的插件
https://github.com/medcl/elasticsearch-analysis-ik/releases
在es的plugins目录中创建一个ik目录,然后将ik分词器zip包解压到该目录
将ik目录拷贝到其他的es目录
———————-sql 插件的安装 ,先安装插件,在安装Server—————–
es安装SQL插件
插件安装会自动在plugin下面创建一个sql 文件夹
./bin/elasticsearch-plugin install https://github.com/NLPchina/elasticsearch-sql/releases/download/5.4.3.0/elasticsearch-sql-5.4.3.0.zip
下载SQL的Server
wget https://github.com/NLPchina/elasticsearch-sql/releases/download/5.4.1.0/es-sql-site-standalone.zip
用npm编译安装
unzip es-sql-site-standalone.zip
cd site-server/
npm install express –save
修改SQL的Server的端口
vi site_configuration.json
启动服务
node node-server.js &