ELK(ES LogStash KiBana)
啊策策
通吃java, 大数据.
展开
-
ElasticSearch入门之Java API操作es, Java API完成对es的增删改查以及高亮分页, Java API批量插入文档到es集群 16
1. 先导入pom依赖 <dependencies> <dependency> <groupId>org.elasticsearch.client</groupId> <artifactId>transport</artifactId> ...原创 2019-08-18 17:11:50 · 1021 阅读 · 0 评论 -
ElasticSearch入门之es的分片交互过程, es添加文档分片流程, es删除文档分片流程, es删除文档分片流程 13
1. es添加文档分片交互流程客户端发送一个索引的请求给node1node1接收到请求后,会根据请求中携带的参数"文档id"判断出该文档应该存储在具体哪一个shard中.shard = hash(rounting) % number_of_primary_shards比如, 计算出的结果是该条数据存在在shard0分片上.node1通过元数据信息可以知道shard0存在于哪一个节点上...原创 2019-08-18 14:53:34 · 1239 阅读 · 2 评论 -
ElasticSearch入门之ES配置IK分词器, IK分词器热词更新 12
1. 先安装IK分词器每台机器都要配置。配置完成之后,需要重启ES服务wget https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v5.5.2/elasticsearch-analysis-ik-6.0.0.zip # 将ik分词器的插件,上传到/export/servers/es # cd...原创 2019-08-18 14:25:44 · 3329 阅读 · 3 评论 -
ElasticSearch入门之es分页, size+from浅分页, scroll深分页 11
1. 先导入一部分数据DELETE usPOST /_bulk{ "create": { "_index": "us", "_type": "tweet", "_id": "1" }}{ "email" : "john@smith.com", "name" : "John Smith", "username" : "@john" }{ "create": { "_index": "us"...原创 2019-08-18 11:49:20 · 5150 阅读 · 7 评论 -
ElasticSearch入门之索引库配置管理(settings), 零停机复制索引库(修改分片数) 10
1. 索引库配置所谓的settings就是用来修改索引分片和副本数的;比如有的重要索引, 副本数很少甚至没有副本, 那么我们通过setting来添加副本数.新建一个索引库 documentDELETE documentPUT document{ "mappings": { "article" : { "properties": { ...原创 2019-08-16 14:23:27 · 546 阅读 · 0 评论 -
ElasticSearch入门之索引映射mapping管理, es如何查看索引字段类型, es复制索引库 09
1. 为什么要映射?es中的文档等价于java中的对象,那么在java中有字段(比如string, int, long等类型), 同理在es索引中的具体字段也是有类型的.PUT /document/article/1{ "title" : "elasticsearchshi是是什么", "author" : "zhangsan", "titleScore" : 60}如上这...原创 2019-08-16 09:54:12 · 19484 阅读 · 0 评论 -
ElasticSearch入门之kibana对Elasticsearch做增删改查操作,以及一些聚合查询之作业实战 10
作业实战1. 在kibana提供的界面上进行操作。POST /school/student/_bulk{ "index": { "_id": 1 }}{ "name" : "liubei", "age" : 20 , "sex": "boy", "birth": "1996-01-02" , "about": "i like diaocan he girl" }{ "index": { ...原创 2019-08-13 18:07:04 · 376 阅读 · 0 评论 -
ElasticSearch入门之kibana对Elasticsearch做增删改查操作,以及一些聚合查询 09
全查询 GET /school/student/_search{ "query": { //todo query }}TermQuery词元使用GET /school/student/_search{ "query": { "term": { "about": { "value": "travel" } }...原创 2019-08-13 17:09:45 · 160 阅读 · 0 评论 -
ElasticSearch入门之es使用shell命令操作索引,curl操作索引 08
前言curl是利用URL语法在命令行方式下工作的开源文件传输工具,使用curl可以简单实现常见的get/post请求。简单的认为是可以在命令行下面访问url的一个工具。在centos的默认库里面是有curl工具的,如果没有请yum安装即可。curl-X 指定http的请求方法 有HEAD GET POST PUT DELETE-d 指定要传输的数据-H 指定http请求头信息1. 使...原创 2019-08-13 15:49:11 · 4195 阅读 · 0 评论 -
ElasticSearch入门之es高级可视化界面安装, Kibana部署 07
1. 安装前的准备# 使用root进行操作# 使用root进行操作# 使用root进行操作# 使用root进行操作mkdir -p /export/servers/kibanamkdir -p /export/data/kibanamkdir -p /export/logs/kibana# 赋权给es# 赋权给es# 赋权给es# 赋权给eschown -R es:es /...原创 2019-08-13 11:48:33 · 231 阅读 · 0 评论 -
ElasticSearch入门之es简易版可视化界面, elasticsearch-head安装 06
1. 安装nodejsNode.js是一个基于 Chrome V8 引擎的 JavaScript 运行环境。Node.js是一个Javascript运行环境(runtime environment),发布于2009年5月,由Ryan Dahl开发,实质是对Chrome V8引擎进行了封装。Node.js 不是一个 JavaScript 框架,不同于CakePHP、Django、Rails。...原创 2019-08-13 11:15:50 · 4304 阅读 · 0 评论 -
ElasticSearch入门之es的安装, es首次启动报错及解决方案 05
1. 安装前的准备工作及下载1.1 创建用户创建一个es专门的用户(必须), 因为es软件不能用root用户启动.注意: 在企业中,每个业务系统或者集群都需要申请独立的账号.#使用root用户的操作#添加一个用户,叫做esuseradd es # 使用root用户创建目录mkdir -p /export/servers/esmkdir -p /export/data/esmkd...原创 2019-08-12 19:39:24 · 1639 阅读 · 2 评论 -
ElasticSearch入门之es集群数据存储分片副本模式, es专业术语 04
1. 概述es是面向文档(document oriented)的, 这意味着它可以存储整个对象或文档(document). 然而它不仅仅是存储, 还会索引(index)每个文档的内容使之可以被搜索. 在es中,你可以对文档(而非成行成列的数据)进行索引, 搜索, 排序, 过滤.es类比传统关系型数据库2. es数据分片副本模式存储到es集群的数据, 默认是分为5个分片, 每个分片是共2...原创 2019-08-12 17:09:18 · 2240 阅读 · 1 评论 -
ElasticSearch入门之什么是ElasticSearch, ES使用案例, ES对比solr 03
1. 什么是ElasticSearchElasticSearch简称es, es是一个开源的高扩展的分布式全文检索引擎.可以近乎实时的存储, 检索数据;本身扩展性很好, 可以扩展到上百台服务器, 处理PB级别的数据es也是用Java开发并使用Luence作为其核心来实现所有索引和搜索的功能.但是它的目的是通过简单的restful api来隐藏luence的复杂性,从而让全文搜索变得简单(...原创 2019-08-12 11:46:21 · 286 阅读 · 0 评论 -
ElasticSearch入门之ELK简介 02
前言日志,对于任何系统来说都是及其重要的组成部分。在计算机系统里面,更是如此。但是由于现在的计算机系统大多比较复杂,很多系统都不是在一个地方,甚至都是跨国界的;即使是在一个地方的系统,也有不同的来源,比如,操作系统,应用服务,业务逻辑等等。他们都在不停产生各种各样的日志数据。根据不完全统计,我们全球每天大约要产生 2EB的数据。面对如此海量的数据,又是分布在各个不同地方,如果我们需要去查找一些...原创 2019-08-12 11:12:01 · 158 阅读 · 0 评论 -
ElasticSearch入门之ES产生的背景, restful通俗解释 01
1. 搜索的核心及目前主流搜索网站做法搜索的核心: 创建索引和查询索引首先我们谈几个公司,如雷贯耳的:百度、谷歌、维基百科;这些公司都有一个相似性就是门户网站,可以提供我们通过关键字搜索,然后快速的检索出我们想要的信息;网页百度展示比如我们检索啊策策,百度后台就会按照这个关键字进行查找(里面有搜索库,以及爬虫库),然后按照权重来进行从上打下的排序,给我们高亮的展示出现京东或者淘宝展示...原创 2019-08-09 17:57:31 · 836 阅读 · 0 评论 -
Luence入门
学习目标掌握倒排索引原理了解Lucene的作用了解Field字段的选择掌握Lucene创建索引基本API掌握Lucene查询基本API1. 了解搜索技术1.1 搜索引擎什么是搜索引擎?搜索引擎的原理可以看到搜索引擎的功能主要是三部分:爬行和抓取数据(爬虫多用Python来编写、但是Java也能实现)对数据做预处理(提取文字、中文分词、建立倒排索引)提供搜...原创 2019-08-08 16:09:03 · 1145 阅读 · 2 评论