王知无(import_bigdata)
微信搜:import_bigdata
GitHub搜:https://github.com/wangzhiwubigdata/God-Of-BigData
展开
-
ES高级(17) 使用基础(5)安装(5) Linux 集群
本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的ES部分补充。1 软件下载软件下载地址:https://www.elastic.co/cn/downloads/past-releases/elasticsearch-7-8-02 软件安装1) 解压软件将下载的软件解压缩# 解压缩tar -zxvf elasticsearch-7.8.0-linux-x86_64.tar.gz -C /opt/module# 改名mv elasticse原创 2021-10-13 21:54:05 · 304 阅读 · 1 评论 -
【硬刚ES】ES高级(16) 使用基础(4)安装(4) Linux 单机
本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的ES部分补充。1 软件下载软件下载地址:https://www.elastic.co/cn/downloads/past-releases/elasticsearch-7-8-02 软件安装1) 解压软件将下载的软件解压缩# 解压缩tar -zxvf elasticsearch-7.8.0-linux-x86_64.tar.gz -C /opt/module# 改名mv elasticse原创 2021-10-13 21:50:39 · 259 阅读 · 0 评论 -
【硬刚ES】ES高级(15) 使用基础(3)安装(3) Windows 集群
本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的ES部分补充。1 部署集群1)创建 elasticsearch-cluster 文件夹,在内部复制三个 elasticsearch 服务2)修改集群文件目录中每个节点的 config/elasticsearch.yml 配置文件node-1001 节点node-1002 节点node-1003 节点2 启动集群1)启动前先删除每个节点中的 data 目录中所有内容(...原创 2021-10-13 21:46:52 · 246 阅读 · 0 评论 -
【硬刚ES】ES高级(14) 使用基础(2)安装(2) 概念
本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的ES部分补充。1 单机 & 集群 单台 Elasticsearch 服务器提供服务,往往都有最大的负载能力,超过这个阈值,服务器性能就会大大降低甚至不可用,所以生产环境中,一般都是运行在指定服务器集群中。除了负载能力,单点服务器也存在其他问题:单台机器存储容量有限 单服务器容易出现单点故障,无法实现高可用 单服务的并发处理能力有限配置服务器集群时,集群中节点数量没有限制,大于等于 2 个节点就可以原创 2021-10-13 21:44:57 · 313 阅读 · 0 评论 -
【硬刚ES】ES入门 (13)Java API 操作(4)DQL(1) 请求体查询/term 查询,查询条件为关键字/分页查询/数据排序/过滤字段/Bool 查询/范围查询/模糊查询/高亮查询/聚合查
本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的ES部分补充。1 请求体查询2 高亮查询3 聚合查询package com.atguigu.es.test;import org.apache.http.HttpHost;import org.apache.lucene.search.TotalHits;import org.elasticsearch.action.get.GetRequest;import org.elasticsearch.原创 2021-10-13 21:43:37 · 326 阅读 · 0 评论 -
【硬刚ES】ES入门 (12)Java API 操作(3)DML 新增文档/修改文档/查询文档/删除文档/批量操作
本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的ES部分补充。1 新增文档创建数据模型package com.atguigu.es.test;public class User { private String name; private String sex; private Integer age; public String getName() { return name; } p原创 2021-10-13 21:41:16 · 468 阅读 · 0 评论 -
【硬刚ES】ES入门 (11)Java API 操作(2)DDL 索引操作
本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的ES部分补充。ES 服务器正常启动后,可以通过 Java API 客户端对象对 ES 索引进行操作1 创建索引package com.atguigu.es.test;import org.apache.http.HttpHost;import org.elasticsearch.client.RequestOptions;import org.elasticsearch.client.RestClien原创 2021-10-13 21:36:50 · 368 阅读 · 0 评论 -
【硬刚ES】ES入门 (10)Java API 操作(1)准备
本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的ES部分补充。1 创建 Maven 项目我们在 IDEA 开发工具中创建 Maven 项目(模块也可)ES修改 pom 文件,增加 Maven 依赖关系<dependencies> <dependency> <groupId>org.elasticsearch</groupId> <artifactId>elasticsearch</a原创 2021-10-13 21:34:24 · 292 阅读 · 0 评论 -
【硬刚ES】ES入门 (9) 语法(7)DQL(4)多字段排序/高亮查询/分页查询/聚合查询/桶聚合查询
本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的ES部分补充。13 多字段排序假定我们想要结合使用 age 和 _score 进行查询,并且匹配的结果首先按照年龄排序,然后按照相关性得分排序在 Postman 中,向 ES 服务器发GET请求 :http://127.0.0.1:9200/student/_search服务器响应结果:14 高亮查询在进行关键字搜索时,搜索出的内容中的关键字会显示不同的颜色,称之为高亮。...原创 2021-10-13 21:32:29 · 504 阅读 · 0 评论 -
【硬刚ES】ES入门 (8) 语法(6)DQL(3)组合查询/范围查询/模糊查询/单字段排序
本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的ES部分补充。9 组合查询`bool`把各种其它查询通过`must`(必须 )、`must_not`(必须不)、`should`(应该)的方式进行组合在 Postman 中,向 ES 服务器发GET请求 :http://127.0.0.1:9200/student/_search服务器响应结果:10 范围查询在 Postman 中,向 ES 服务器发GET请求 :ht...原创 2021-10-13 21:30:02 · 374 阅读 · 0 评论 -
【硬刚ES】ES入门 (7) 语法(5)DQL(2)关键字精确查询/多关键字精确查询/指定查询字段/过滤字段
本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的ES部分补充。5 关键字精确查询term 查询,精确的关键词匹配查询,不对查询条件进行分词。在 Postman 中,向 ES 服务器发 GET 请求 :http://127.0.0.1:9200/student/_search服务器响应结果:6 多关键字精确查询terms 查询和 term 查询一样,但它允许你指定多值进行匹配。如果这个字段包含了指定值中的任何一个值,那么这个文档.原创 2021-10-13 21:28:27 · 645 阅读 · 0 评论 -
【硬刚ES】ES入门 (6) 语法(4)DQL(1)查看文档/查询所有文档/匹配查询/字段匹配查询
本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的ES部分补充。0 简介Elasticsearch 提供了基于 JSON 提供完整的查询 DSL 来定义查询定义数据 :1 查看文档查看文档时,需要指明文档的唯一性标识,类似于 MySQL 中数据的主键查询在 Postman 中,向 ES 服务器发GET请求 :http://127.0.0.1:9200/shopping/_doc/1查询成功后,服务器响应结果:...原创 2021-10-13 21:26:43 · 609 阅读 · 0 评论 -
【硬刚ES】ES入门 (5) 语法(3)DML(2)映射操作 创建映射/查看映射/索引映射关联/
本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的ES部分补充。有了索引库,等于有了数据库中的 database。接下来就需要建索引库(index)中的映射了,类似于数据库(database)中的表结构(table)。创建数据库表需要设置字段名称,类型,长度,约束等;索引库也一样,需要知道这个类型下有哪些字段,每个字段有哪些约束信息,这就叫做映射(mapping)。1 创建映射在 Postman 中,向 ES 服务器发PUT请求 :http://127...原创 2021-10-13 21:24:31 · 1007 阅读 · 0 评论 -
【硬刚ES】ES入门 (4) 语法(2)DML(1)文档操作(1)创建文档/修改文档/删除文档/条件删除文档/修改字段
本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的ES部分补充。1 创建文档 索引已经创建好了,接下来我们来创建文档,并添加数据。这里的文档可以类比为关系型数据库中的表数据,添加的数据格式为 JSON 格式 在 Postman 中,向 ES 服务器发 POST 请求 :http://127.0.0.1:9200/shopping/_doc请求体内容为:此处发送请求的方式必须为POST,不能是PUT,否则会发生错误上面的数据...原创 2021-10-13 21:13:36 · 450 阅读 · 0 评论 -
【硬刚ES】ES入门 (3) 语法(1)DDL(1) 索引操作
本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的ES部分补充。1 RESTful REST 指的是一组架构约束条件和原则。满足这些约束条件和原则的应用程序或设计就是 RESTful。Web 应用程序最重要的 REST 原则是,客户端和服务器之间的交互在请求之间是无状态的。从客户端到服务器的每个请求都必须包含理解请求所必需的信息。如果服务器在请求之间的任何时间点重启,客户端不会得到通知。此外,无状态请求可以由任何可用服务器回答,这十分适合云计算之类的环境。客户端可原创 2021-10-13 21:10:42 · 484 阅读 · 0 评论 -
【硬刚ES】ES入门 (2) 数据格式/类型
本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的ES部分补充。Elasticsearch 是面向文档型数据库,一条数据在这里就是一个文档。为了方便大家理解,我们将 Elasticsearch 里存储文档数据和关系型数据库 MySQL 存储数据的概念进行一个类比ES 里的 Index 可以看做一个库,而 Types 相当于表,Documents 则相当于表的行。这里 Types 的概念已经被逐渐弱化,Elasticsearch 6.X 中,一个 index 下已原创 2021-10-13 20:35:08 · 775 阅读 · 0 评论 -
【硬刚ES】ES入门 (1) 使用基础(1)安装(1) WIN 单机
本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的ES部分补充。1 下载软件Elasticsearch 的官方地址:https://www.elastic.co/cn/Elasticsearch 最新的版本是 7.11.2(截止 2021.3.10),我们选择 7.8.0 版本(最新版本半年前的版本)下载地址:https://www.elastic.co/cn/downloads/past-releases#elasticsearchElasti原创 2021-10-13 20:33:50 · 276 阅读 · 0 评论 -
【硬刚ES】ES基础(一)基本概念1索引文档和RESTAPI
本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的ES部分补充。需要通过Kibana导入Sample Data的电商数据。具体参考“2.2节-Kibana的安装与界面快速浏览”Index 相关 API#查看索引相关信息GET kibana_sample_data_ecommerce#查看索引的文档总数GET kibana_sample_data_ecommerce/_cou...原创 2021-10-12 01:32:53 · 299 阅读 · 0 评论 -
【硬刚ES】ES基础(二)基本概念(2):节点,集群,分片及副本
本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的ES部分补充。需要通过Kibana导入Sample Data的电商数据。具体参考“2.2节-Kibana的安装与界面快速浏览”get _cat/nodes?vGET /_nodes/es7_01,es7_02GET /_cat/nodes?vGET /_cat/nodes?v&h=id,ip,port,v..原创 2021-10-12 18:02:41 · 273 阅读 · 0 评论 -
【硬刚ES】ES基础(三)文档的基本 CRUD 与批量操作
本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的ES部分补充。注意:es 6.5.1 为:POST users/type名/1/_update{“doc”:{ "albums":["Album1","Alumb2"]}}############Create Document#############create document. 自动生成 _idPOST users/_d...原创 2021-10-12 18:23:06 · 249 阅读 · 0 评论 -
【硬刚ES】ES基础(五)使用分析器进行分词
本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的ES部分补充。课程Demo#Simple Analyzer – 按照非字母切分(符号被过滤),小写处理#Stop Analyzer – 小写处理,停用词过滤(the,a,is)#Whitespace Analyzer – 按照空格切分,不转小写#Keyword Analy..原创 2021-10-12 18:46:51 · 344 阅读 · 0 评论 -
【硬刚ES】ES基础(四)倒排索引入门
本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的ES部分补充。POST _analyze{ "analyzer": "standard", "text": "Mastering Elasticsearch"}POST _analyze{ "analyzer": "standard", "text": "Elasticsearch Server"}...原创 2021-10-12 18:26:00 · 260 阅读 · 0 评论 -
【硬刚ES】ES基础(六十七)索引全生命周期管理及工具介绍
本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的ES部分补充。原创 2021-10-13 19:55:49 · 291 阅读 · 0 评论 -
【硬刚ES】ES基础(六十六)使用 shrink与rolloverAPI有效的管理索引
本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的ES部分补充。课程demo# 打开关闭索引DELETE test#查看索引是否存在HEAD testPUT test/_doc/1{ "key":"value"}#关闭索引POST /test/_close#索引存在HEAD test# 无法查询POST test/_count#打开索引POST /test/_openPOST test/_s.原创 2021-10-13 19:54:33 · 594 阅读 · 0 评论 -
【硬刚ES】ES基础(六十五)一些运维相关的建议
本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的ES部分补充。课程demo# 移动一个分片从一个节点到另外一个节点POST _cluster/reroute{ "commands": [ { "move": { "index": "index_name", ...原创 2021-10-13 19:52:38 · 333 阅读 · 0 评论 -
【硬刚ES】ES基础(六十四)监控 Elasticsearch 集群
本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的ES部分补充。课程demo# Node Stats:GET _nodes/stats#Cluster Stats:GET _cluster/stats#Index Stats:GET kibana_sample_data_ecommerce/_stats#Pending Cluster Tasks API:GET _cluster/pending_tasks..原创 2021-10-13 19:49:58 · 309 阅读 · 0 评论 -
【硬刚ES】ES基础(六十三)缓存及使用Circuit Breaker限制内存使用
本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的ES部分补充。课程demoGET _cat/nodes?vGET _nodes/stats/indices?prettyGET _cat/nodes?v&h=name,queryCacheMemory,queryCacheEvictions,requestCacheMemory,requestCach..原创 2021-10-13 19:45:03 · 662 阅读 · 0 评论 -
【硬刚ES】ES基础(六十二)段合并优化及注意事项
本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的ES部分补充。原创 2021-10-13 19:41:55 · 496 阅读 · 0 评论 -
【硬刚ES】ES基础(六十一)集群压力测试
本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的ES部分补充。课程demopip3 install esrallyesrally configure# 只测试 1000条数据esrally --distribution-version=7.1.0 --test-mode# 测试完整数据esrally --distribution-versi..原创 2021-10-13 19:15:31 · 670 阅读 · 0 评论 -
【硬刚ES】ES基础(六十)解决集群Yellow与Red的问题
本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的ES部分补充。原创 2021-10-13 19:13:32 · 294 阅读 · 0 评论 -
【硬刚ES】ES基础(五十九)诊断集群的潜在问题
本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的ES部分补充。原创 2021-10-13 19:12:03 · 293 阅读 · 0 评论 -
【硬刚ES】ES基础(五十八)集群读性能优化
本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的ES部分补充。原创 2021-10-13 19:10:19 · 258 阅读 · 0 评论 -
【硬刚ES】ES基础(五十七)集群写性能优化
本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的ES部分补充。课程demo{"template": "logs-*","settings": {"index.indexing.slowlog.threshold.index.debug": "2s","index.indexing.slowlog.threshold.index.info": "5s","index.原创 2021-10-13 19:08:57 · 357 阅读 · 0 评论 -
【硬刚ES】ES基础(五十六)生产环境查用配置与线上清单
本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的ES部分补充。原创 2021-10-13 19:06:53 · 318 阅读 · 0 评论 -
【硬刚ES】ES基础(五十五)在私有云与公有云上管理与部署 Elasticsearch 集群
本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的ES部分补充。转载 2021-10-13 18:51:56 · 322 阅读 · 0 评论 -
【硬刚ES】ES基础(五十四)如何对集群进行容量规划
本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的ES部分补充。代码DemoPUT logs_2019-06-27PUT logs_2019-06-26POST _aliases{ "actions": [ { "add": { "index": "logs_2019-06-27", "ali..原创 2021-10-13 18:47:08 · 401 阅读 · 0 评论 -
【硬刚ES】ES基础(五十三)分片设计及管理
本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的ES部分补充。原创 2021-10-13 18:45:00 · 275 阅读 · 0 评论 -
【硬刚ES】ES基础(五十二)Hot & Warm 架构与 Shard Filtering
本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的ES部分补充。课程代码# 标记一个 Hot 节点bin/elasticsearch -E node.name=hotnode -E cluster.name=geektime -E path.data=hot_data -E node.attr.my_node_type=hot# 标记一个 w..原创 2021-10-13 18:42:57 · 402 阅读 · 0 评论 -
【硬刚ES】ES基础(五十一)常见的集群部署方式
本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的ES部分补充。原创 2021-10-13 18:39:50 · 351 阅读 · 0 评论 -
【硬刚ES】ES基础(五十)集群与外部间的安全通信
本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的ES部分补充。原创 2021-10-13 18:38:02 · 308 阅读 · 0 评论