es6迁移到es7

最新推荐文章于 2023-06-03 08:21:16 发布
最新推荐文章于 2023-06-03 08:21:16 发布
阅读量1.6k 收藏 3
点赞数
原文链接：https://blog.51cto.com/u_7794482/2884298
版权

目录

1 软件部署

1.1 概述

1.2 环境准备

1.3 软件介绍

1.4 安装部署

1.4.1 部署Elasticsearch

1.4.2 部署Kibana

1.4.3 部署Logstash

1.4.4 部署Filebeat

1.5 配置说明

1.5.1 全国通用

1.5.2 地区特殊说明

1.6 添加新服务

1.6.1 部署说明

1.6.2 修改配置

1.6.3 日志示例

 

 

 

 

 

 

 

 

1 软件部署

1.1 概述

本次安装使用安装程序完成，总体思路为：

  • 环境准备；
  • 执行安装程序；
  • 配置、优化；

本套件包含的版本如下：

软  件

源版本

目的版本

Elasticsearch

6.5.4

7.6.2

 

1.2 环境准备

说明：此处为推荐配置，可根据实际情况进行配置。

服务器端配置要求：

  • 处 理 器：CentOS Linux release 7.2.1511
  • 内    存：4Cpu 16G
  • 硬    盘：SSD 500G

 

1.3 软件介绍

Elasticsearch

Elasticsearch 是一个分布式、RESTful 风格的搜索和数据分析引擎，能够解决不断涌现出的各种用例。 作为 Elastic Stack 的核心，它主要是集中存储数据。

快照仓库

ES是通过快照的方式来实现数据备份，并且是以增量的方式。为了做快照，那么就需要注册一个快照仓库，告诉ES我们的快照应该如何保存以及将快照保存到哪里。

快照的方式中仓库类型type有如下几种类型：

fs: 共享文件系统，将快照文件存放于文件系统中

url: 指定文件系统的URL路径，支持协议：http,https,ftp,file,jar

s3: AWS的S3对象存储,快照存放于S3中，以插件形式支持

hdfs: 快照存放于hdfs中，以插件形式支持

cos: 快照存放于腾讯云COS对象存储中，以插件形式支持

微软 Azure的存储

Google Cloud 的存储

 

索引快照备份恢复流程

  1. 在源端和目的端服务器中安装NFS服务，使用NFS服务将服务器中的备份目录共享；
  2. 使用mount命令将服务器的备份路径共享；

3.修改Elasticsearch的配置文件指定备份的输出路径并重启Elasticsearch服务；

  1. 分别在源端和目的端的Elasticsearch服务器上创建索引快照仓库；
  2. 在Elasticsearch源端生成索引快照；
  3. 在目的Elasticsearch端恢复索引快照；

流程图

 

1.4 安装部署

1.4.1 部署Elasticsearch

上个文章有部署

 

1）修改es配置文件

 

vim elasticsearch.yml

添加如下信息

path.repo: ["/usr/local/elasticsearch/es6data"]

其中es6是源，es7是目的，两边设置的一样也可以省略很多麻烦，为了区分我将目的端的路径设置为path.repo: ["/usr/local/elasticsearch/es7data"]

 

配置完后重启elasticsearch服务。

注意网上有部分用的是data.repo但是我用的时候发现并不识别，所以用了path.repo

path.repo: ["/usr/local/elasticsearch/es7data"]

#data.repo: ["/usr/local/elasticsearch/es7data"]

 

1.4.2 部署NFS

1) YUM仓库直接安装

yum  install nfs-utils -y

 

2）修改配置文件

vim /etc/exports

添加以下配置，其中的目录是自己设置的没有要求，空间够用即可

/usr/local/elasticsearch/es6data 192.168.8.*(rw,sync,no_root_squash)

 

3）使exports的修改即时生效

exportfs -r

4）启动程序

systemctl start nfs-utils

systemctl start nfs

systemctl enable nfs-utils

systemctl enable nfs

5）查看共享目录

showmount -e

/usr/local/elasticsearch/es6data 192.168.8.*

 

在目标端使用mount挂载该目录

mount 192.168.8.115:/usr/local/elasticsearch/es6data /usr/local/elasticsearch/es7data

 

 

 

1.4.3 创建快照仓库

1) 创建快照仓库

其中es6_bak20210607是快照仓库的名称，可以自己取名

PUT _snapshot/es6_bak20210607

{

"type": "fs",

"settings": {

"location": "/usr/local/elasticsearch/es6data",

"compress": true,

"max_restore_bytes_per_sec": "50mb",

"max_snapshot_bytes_per_sec": "50mb"

}

}

两种方法一种是在控制台，一种是在后台

curl -XPUT http://192.168.8.115:9200/_snapshot/back -H 'Content-Type: application/json' -d '{"type": "fs","settings": {"location": "/usr/local/elasticsearch/es6data"}}'

修改目标仓库的配置，主要是更改快照恢复、生成的速度和压缩

curl -XPOST http://192.168.8.115:9200/_snapshot/back -d '{"type":"fs","settings":{"location":"/usr/local/elasticsearch/es6data","max_snapshot_bytes_per_sec":"50mb","max_restore_bytes_per_sec":"50mb","compress":true}}'

 

目的端同样创建快照仓库

PUT _snapshot/es7_bak20210607

{

"type": "fs",

"settings": {

"location": "/usr/local/elasticsearch/es7data",

"compress": true,

"max_restore_bytes_per_sec": "50mb",

"max_snapshot_bytes_per_sec": "50mb"

}

}

 

1.4.4 Elasticsearch源端生成索引快照

1) 生成快照

PUT _snapshot/es6_bak20210607/es6_bakgpbl-parb

{

"indices": "gpbl-parb*",

"ignore_unavailable": true,

"include_global_state": true

}

以gpbl-parb数据为例

// 针对具体的index创建快照备份

es6_bak20210607是快照仓库的名称

es6_bakgpbl-parb是代表快照的名称

gpbl-parb是代表要创建的index的名称

indices ：指定了需要备份的索引，而不用整个集群备份。值中可以加逗号隔开多个索引

ignore_unavailable ：设置是否忽略不存在的索引，为true的话，即使指定的索引不存在也不报错。

include_global_state ：是否备份cluster global state。阻止cluster的全局state也作为snapshot的一部分被备份#防止集群的全局状态被作为快照的一部分存储起来

partial：默认情况下，如果索引的部分primary分片不可用，会导致整个备份失败。设置为true，可只备份可用的primary shard。

 

已经创建过了，创建另外一个

 

1) 查看日志

[2021-06-07T15:27:19,832][INFO ][o.e.s.SnapshotsService   ] [4_uxj7I] snapshot [es6_bak20210607:bid_info/CmPOrEZNTq2I2IYZy4gZ_Q] started

[2021-06-07T16:03:23,439][INFO ][o.e.s.SnapshotsService   ] [4_uxj7I] snapshot [es6_bak20210607:bid_info/CmPOrEZNTq2I2IYZy4gZ_Q] completed with state [SUCCESS]

在创建时，可以使用tail -f 参数实时查看es的日志

创建备份之后，在共享目录里是这样的，包含了id和数据

 

2) 查看备份状态

查看快照仓库中的所有快照

GET _snapshot/es6_bak20210607/_all?pretty

 

 

查看备份存放的仓库状态

GET _snapshot/es6_bak20210607?pretty

 

查看备份的快照状态

GET _snapshot/es6_bak20210607/es6_bakgpbl-parb?pretty

 

 

 

3) 备份数据迁移

（将源集群的备份内容（/usr/local/elasticsearch/es6data里的所有文件），复制到迁移目标的集群仓库目录里/usr/local/elasticsearch/es7data）

做了nfs的共享存储后这步骤直接省略，两个目录中的数据相同

 

1.5 目的Elasticsearch端恢复索引快照

1.5.1 恢复快照说明

恢复一个快照 指定恢复哪些索引，默认恢复所有索引 跨集群恢复需要先创建仓库,将快照放进去，且不同大版本的快照不兼容。

有的部分恢复快照前需要关闭索引。

1.5.2 修改配置

1）目的端新安装的es

  • 检查yml的配置文件快照仓库目录是否指定
  • 检查分词器是否同版本
  • 检查快照仓库目录是否挂载并同步

 

1.5.3 目的端创建快照仓库

 

查看快照仓库中同步的快照

get _snapshot/es7_bak20210607/_all

 

 

1.5.4 恢复快照

恢复快照的目标es中不能有重名的index

POST _snapshot/es7_bak20210607/es6_bakgpbl-parb/_restore

在恢复快照时，可以使用tail -f 参数实时查看es的日志

[2021-06-07T16:14:00,262][INFO ][o.e.c.m.MetaDataDeleteIndexService] [es7] [bid_info_supplier/MltM8uBnSWO2G2bdru7tuQ] deleting index

[2021-06-07T16:14:24,916][INFO ][o.e.c.r.a.DiskThresholdMonitor] [es7] releasing read-only-allow-delete block on indices: [[bid_info_supplier, bid_info]]

[2021-06-07T16:40:09,523][INFO ][o.e.c.r.a.AllocationService] [es7] Cluster health status changed from [YELLOW] to [GREEN] (reason: [shards started [[bid_info][4]]]).

 

1.6 F&Q

具体问题：

 

{

  "error" : {

    "root_cause" : [

      {

        "type" : "mapper_parsing_exception",

        "reason" : "analyzer [ik_max_word] not found for field [lawDetail]"

      }www.meimeitu8.com

    ],

    "type" : "mapper_parsing_exception",

    "reason" : "Failed to parse mapping [bl_law]: analyzer [ik_max_word] not found for field [lawDetail]",

    "caused_by" : {

      "type" : "mapper_parsing_exception",

      "reason" : "analyzer [ik_max_word] not found for field [lawDetail]"

    }

  },

  "status" : 400

}

产生原因：

分词器没有安装

解决办法：

安装匹配版本的分词器即可

 

 

注意：

在控制台删除直接使用delete bid_info

DELETE _snapshot/back/es-2021060814 //删除快照

单个删除索引：

curl -XDELETE -u elastic:密码 http://localhost:9200/es-message-2021.08.14

删除多个索引，中间有逗号隔开：

curl -XDELETE -u elastic:密码 http://localhost:9200/abis-info-2021.08.09,abis-error-2021.08.10

模糊匹配删除：

curl -XDELETE -u elastic:密码 http://localhost:9200/abis-*

删除所有索引：

curl -XDELETE http://localhost:9200/_all

或 curl -XDELETE http://localhost:9200/*

_all ,* www.rsxedu.com通配所有的索引

通常不建议使用通配符，误删了后果就很严重了，所有的index都被删除了

禁止通配符为了安全起见，可以在elasticsearch.yml配置文件中设置禁用_all和*通配符

action.destructive_requires_name = true

这样就不能使用_all和*了

KJAZY
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
coffeescript-to-esnext:从 CoffeeScript 迁移到 ES6 ES7 ES2015 的指南
06-16
CoffeeScript 到 ES6 从 CoffeeScript 迁移到 ES6 / ES7 / ES2015 的指南 为什么 通过拉取请求添加您的推理！ 班级 class A # Static method that uses rest parameters @ create : ( args ... ) -> new this (args ... ) # Constructor that applies first argument to this.name constructor : ( @name ) -> # Default value for name for class A name : ' Default name for A ' class B extends A # Default value for name for class B
express-api-es6-starter：立即使用ES6ES7ES使用Express.js构建API
01-29
用于使用Express.js构建API的入门应用程序 查看工作演示 :backhand_index_pointing_right: 。 附带： 功能/模块 ES7 / ORM和迁移 PostgreSQL（默认），支持MySQL和SQLite 使用和API文档 对开发和生产的支持 进行代码 使用请求验证 使用代码格式化 使用配置管理 使用记录 使用报告错误 使用 ， 和测试 VS Code内置支持 先决条件 / / 建立 克隆存储库，安装依赖项并立即开始。 $ git clone --depth=1 git@github.com:mesaugat/express-api-es6-starter.git <application> $ cd <application> $ rm -rf .git $ yarn # or npm install 复制.env.example作为.env并更新您的应用程序详细信息和数据库凭据。 现在，运行迁移并为数据库设置种子。 $ yarn migrate $ yarn seed 最后，启动应用程序。 $ ya
unimapperjs:UniMapperJS-适用于所有类型的数据库（SQL，NoSQL）的通用node.js（native ES6ES7）类似于LINQ的对象映射器（ORMODM）
05-18
UniMapperJS UniMapperJS是通用的Node.js（本机ES6 / ES7）类似LINQ的对象映射器（ORM / ODM），可以映射您为其创建适配器的任何对象。 !! 正在开发中 ！！ 参见 主要特点 适配器-如果不支持您的数据库，则可以编写自己的适配器， 迁移-迁移脚本-您可以在应用之前检查迁移脚本， 播种-将默认数据播种到存储中， 跨适配器的更多连接（例如，从MongoDB或两个MongoDB中获取数据并将其插入MySQL）， 工作单元-跟踪交易的变化， 更新刚刚更改的属性-节省资源， 像C＃LINQ一样查询实体（带有JS函数名称） 去做 实现Entity.addUnique（），它允许UNIQUE键覆盖更多字段 实现Entity.addPrimary（），允许在更多字段上使用PRIMARY键 实施批量操作 实施联接 实施嵌套操作（例如，保存企业应将
Async-and-Await:使用async和await替换promise就像从es6迁移到es7一样，猜您已经知道了，这更多地说明了如何将其用于自定义http请求
03-18
Async-and-Await:使用async和await替换promise就像从es6迁移到es7一样，猜您已经知道了，这更多地说明了如何将其用于自定义http请求
typeorm：用于TypeScript和JavaScript（ES7，ES6，ES5）的ORM。 支持MySQL，PostgreSQL，MariaDB，SQLite，MS SQL Server，Oracle，SAP Hana，WebSQL数据库。 适用于NodeJS，浏览器，Ionic，Cordova和Electron平台
02-03
TypeORM是一个 ，可以在NodeJS，浏览器，Cordova，PhoneGap，Ionic，React Native，NativeScript，Expo和Electron平台上运行，并且可以与TypeScript和JavaScript（ES5，ES6，ES7，ES8）一起使用。 其目标是始终支持最新JavaScript功能，并提供其他功能来帮助您开发使用数据库的任何类型的应用程序-从具有少量表的小型应用程序到具有多个数据库的大型企业应用程序。 TypeORM支持和模式，这与当前存在的所有其他JavaScript ORM不同，这意味着您可以以最有效的方式编写高质量，松散耦合，可伸缩，可维护的应用程序。 TypeORM受其他ORM（例如 ， 和影响很大。 产品特点 同时支持和 （您的选择） 实体和列 数据库特定的列类型 实体经理 储存库和自定义储存库 干净对象关系模型 关联（关系） 渴望和懒惰的关系 单向，双向和自引用关系 支持多种继承模式 级联 指标 交易 迁移和自动迁移生成 连接池 复制 使用多个数据库连接 使用多种数据库类型 跨数据库和跨模式查询 优雅的语法，灵活而强大
elasticsearch-6.7.0
03-29
ElasticSearch（ES）2019最新版下载。Elasticsearch是个开源分布式搜索引擎，提供搜集、分析、存储数据三大功能。它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。Elasticsearch是一个高度可扩展的开源全文搜索和分析引擎。它允许您快速，近实时地存储，搜索和分析大量数据。它通常用作支持具有复杂搜索功能和需求的应用程序的底层引擎/技术。
ES6升级ES7数据迁移，数据快照
一个到老才知道分享的人的博客
01-15 2665
目录一、使用NFS作为存储仓库1、安装nfs2、添加es的repo存放地址3、对nfs进行配置4、添加NFS挂载5、重启2个es服务二、创建快照仓库三、生成快照数据四、在目标es中生成数据五、验证数据查询1、ES6中验证2、ES7验证数据3、结论六、与ES6的不同 一、使用NFS作为存储仓库 这边测试使用一台机器 源ES：一个ES6存储 目标ES：一个ES7作为读取 1、安装nfs yum install nfs-utils -y systemctl start nfs-utils systemct
es6升级到es7
qq_23176155的博客
04-28 2421
我们首先查看一下spring data官网,查看spring boot-elasticSearch版本对应关系: Spring Data Elasticsearch - Reference Documentationhttps://docs.spring.io/spring-data/elasticsearch/docs/4.2.0/reference/html/#preface.requirements本次es升级是从6.2升到7.6;Springboot项目,修改spring-boot-starter
ElasticSearch 6.x数据迁移ElasticSearch7.4
goodsirlee的博客
11-19 4718
之前已经搭建好一个集群了。需要测试一下新版本的ES对现有的相关ES查询接口是否可重用。 那测试就需要相关数据。为了模拟一下真实的环境，那就把6.x版本的ES数据导进7.4里。 通过了解，有这个玩意可以帮助到：https://github.com/taskrabbit/elasticsearch-dump 1.首先到6.x集群里的一个节点执行以下命令： npm install elasticdump...
大数据量Elastic数据迁移方法及注意事项
kuluzs
10-21 8486
大数据量Elastic数据迁移方法及注意事项 总结的方法： 1）查询并导出数据 2）拷贝ES物理目录/文件 3）ES快照数据备份和恢复
node-sqlite：Node.js应用程序SQLite客户端，具有以Typescript编写的基于SQL的迁移API
01-30
使用Typescript编写的具有零依赖关系的包装器库，该库将ES6 Promise和基于SQL的迁移API添加到 （ ）。 请注意，v3的sqlite与v3相比具有重大变化！ 请参阅CHANGELOG.md了解更多详细信息。 安装 安装sqlite3 使用此...
optional-chaining-codemod：Codemod从Lodash的get和逻辑表达式转换为可选链
02-05
这是一个代码模型，用于迁移不同类型的lodash get调用和a && ab类型的表达式，以使用和。 需要以下babel插件来转换可选链和无效合并： 它能做什么？ a && ab变成a?.b _.get(foo, 'a.b')和_.get(foo, ['a', 'b'...
Node.js-用于Node.js应用程序的SQLite客户端库和基于SQL的迁移API
08-10
用于Node.js应用程序的SQLite客户端库（SQlite3，ES6 Promise，ES7 async / await，Babel）和基于SQL的迁移API
db:Vue插件，用于React式，可脱机的数据库
05-18
我们决定从Vue迁移到 。 请参阅我们的新Web UI框架 。 @ wearegenki / db Vue插件，用于可响应的，具有脱机功能的数据库— 。 注意：该软件包使用了各种ES6 / ES7功能，需要进行转换以适合您的浏览器兼容性策略。...
javascript-boilerplate：Node.js + Koa.js + PostgreSQL + React.js + Webpack + Mocha + Makefile，新应用程序的入门套件
02-03
到处都是ES6（带有ES7的一些位，例如对象上的扩展运算符） React.js，React Router和Redux（用于前端） 休息管理员（对于管理员） Node.js，Koa.js和PostgreSQL（用于API服务器） Makefile，Webpack和Mocha...
边学边实战系列（十一）：ElasticSearch 数据备份与迁移
民工哥的博客
06-03 6261
点关注公众号，回复“1024”获取2TB学习资源！前面介绍了索引文档与读取文档流程、集群部署与故障转移、集群规划与运维、分片/副本与数据操作流程等相关的知识点。今天我将详细的为大家介绍 ElasticSearch 数据备份和迁移相关知识，希望大家能够从中收获多多！如有帮助，请点在看、转发支持一波！！！Elasticsearch 默认配置是数据持久化的，就是 ES 会定时地把缓存数据刷新到硬盘，从而...
elasticsearch&kibana从6.0升级到7.9完整过程记录
microGP的专栏
10-30 2765
需求来源 公司当前使用的elasticsearch&kibana是6.0.0版本，这已经是快三年前的古老版本了，最新的7.9.X，出于性能上的提升以及漏洞的修复（客户爸爸对于漏洞扫描的结果表示了深切的担忧-_-！），所以近期将elasticsearch&kibana升级提上日程，由于我们公司是elasticsearch&kibana的重度用户，而且绝大多数有价值的数据都存在elasticsearch中，所以就先在一个单机版本的elasticsearch上进行试验填坑...
Elasticsearch升级到7.15.1版本的步骤和注意事项
热门推荐
yonggeit的博客
10-27 21万+
Elasticsearch升级版本的步骤和注意事项滚动升级支持的滚动升级：准备升级升级集群1. 禁用主分片分配2. 停止不必要的索引并执行同步刷新。（可选）3. 暂停与活动的机器学习作业和数据馈送相关的任务。（可选）4. 关闭单个节点。5. 升级关闭的节点6. 启动新升级的节点7. 重新启用分片分配8. 等待节点恢复9.其他每个节点重复４～８步骤逐个重复操作即可10.全部节点升级完成后，重新启动机器学习作业如果不支持滚动升级的版本只能通过reindex的方式重建索引到目标集群 不是所有版本的Elastics
Elasticsearch数据迁移（不需要安装其他软件）
qq_42449963的博客
02-25 2358
是需要备份的索引名称。
es6 es7新特性
最新发布
08-25
ES6和ES7是JavaScript的两个版本，它们引入了许多新的语言特性和功能。下面是一些ES6和ES7中的新特性： ES6新特性： 1. 箭头函数：使用简洁的语法定义函数，并且绑定了词法作用域。 2. 块级作用域：使用let和const关键字来声明块级作用域的变量，解决了var关键字的一些问题。 3. 模板字符串：使用反引号(`)包裹字符串，可以在字符串中插入变量或表达式。 4. 解构赋值：可以从数组或对象中提取值并赋给变量。 5. 默认参数值：在函数参数中可以设置默认值，简化了函数的使用。 6. 扩展运算符：使用三个点(...)表示，可以将一个数组展开为多个参数或将多个参数收集为一个数组。 7. 类和模块：引入了类和模块的概念，使用class关键字定义类，使用import和export关键字导入导出模块。 ES7新特性： 1. includes方法：用于检查数组或字符串是否包含指定的元素或子串。 2. 指数运算符：使用两个星号(**)表示，可以进行指数运算。 3. async/await：用于简化异步操作的语法，使代码更加清晰和易读。 4. Object.entries/Object.values：分别返回对象的键值对数组和值数组。 这只是ES6和ES7中一些较为常用的新特性，还有其他一些特性可以探索和学习。希望对你有所帮助！

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值