Cloud_Tech-CSDN博客

原创通过Uptime实时监控云Elasticsearch服务

Heartbeat支持通过HTTP/HTTPS、TCP和ICMP服务，定期检测网络端点状态，并将采集的检测数据，输出到Kibana的Uptime应用中，实时监控应用程序及服务的可用性和响应时间，在业务受到影响前检测出问题。本文介绍如何通过Uptime实时监控云Elasticsearch服务。阿里云Elasticsearch兼容开源Elasticsearch的功能，以及Security、Machine Learning、Graph、APM等商业功能，致力于数据分析、数据搜索等场景服务。支持5.5.3、6.3

2021-01-11 11:22:57 399

原创通过ES-Hadoop实现Spark读写Elasticsearch数据

ES-Hadoop是Elasticsearch推出的专门用于对接Hadoop生态的工具，可以让数据在Elasticsearch和Hadoop之间双向移动，无缝衔接Elasticsearch与Hadoop服务，充分使用Elasticsearch的快速搜索及Hadoop批处理能力，实现交互式数据处理。本文介绍如何通过ES-Hadoop实现Hadoop的Hive服务读写Elasticsearch数据。Spark是一种通用的大数据计算框架，拥有Hadoop MapReduce所具有的计算优点，能够通过内存缓存数据

2021-01-11 10:57:53 1560 1

原创【必入】云虚拟主机怎么屏蔽指定的IP地址

概述本文主要介绍云虚拟主机，屏蔽指定IP地址的方法。详细信息云虚拟主机屏蔽指定IP地址请参考以下两种方法。通过.htaccess文件屏蔽使用ASP屏蔽IP地址具体操作步骤请点击此链接：https://help.aliyun.com/knowledge_detail/36226.html...

2020-12-01 10:35:48 391

原创访问云虚拟主机上的网站提示Internal Server Error报错的解决方法

问题描述访问云虚拟主机上的网站提示“Internal Server Error”报错，具体信息如下。Internal Server ErrorThe server encountered an internal error or misconfiguration and was unable to complete your request.Please contact the server administrator, *** and inform them of the time the

2020-12-01 10:33:36 1139

原创【干货】如何使用FTP将网站上传到云虚拟主机的方法

解决方法云虚拟主机默认通过FTP将网站程序上传到主机内，如何使用FTP将网站上传到云虚拟主机的方法，请单击此链接：https://help.aliyun.com/knowledge_detail/85221.html有什么问题可以给我留言，看见了都会回复~...

2020-12-01 10:30:54 203

原创【精品】怎么使用FTP将网站程序上传到云虚拟主机

概述云虚拟主机默认通过FTP将网站程序上传到主机内，在使用FTP的过程中可能会遇到一些网站程序上传或者连接相关的问题。解决方法可根据下列问题分类匹配问题场景和解决方案。网站程序上传相关连接FTP相关操作具体操作请查看此链接：https://help.aliyun.com/knowledge_detail/85221.html...

2020-12-01 10:27:02 137

原创【绝对干货】远程连接阿里云liunx实例失败的解决方法

问题描述通过SSH远程登录Linux系统的ECS实例时，连接失败，无法正常登录Linux实例。问题原因下图为SSH远程登录的关联因素示意图，由此可见，SSH远程登录失败的可能原因较多。解决方案无法远程连接Linux实例的原因较多，请单击相应的解决方法，排查并解决无法远程连接Linux实例的问题。 SSH登录失败时存在明确的报错信息 SSH登录失败时没有明确的报错信息情况紧急，需要快速登录Linux实例 ...

2020-12-01 10:15:33 459

原创【干货】MTR工具的使用说明与介绍

MTR基本信息当客户端访问目标服务器或负载均衡，使用ping命令测试出现丢包或不通时，可以通过MTR等工具进行链路测试来判断问题来源。本文先介绍了MTR工具的基本原理，然后对测试结果进行分析，以及对测试步骤进行了说明。MTR（My traceroute）是几乎所有Linux发行版本预装的网络测试工具，此工具也有对应的Windows版本，名称为WinMTR。 MTR工具将ping和traceroute命令的功能并入了同一个工具中，实现更强大的功能。 Linux版本的mtr命令默认发送I

2020-12-01 10:09:46 2309

原创【精品】远程连接阿里云Windows实例时出现身份验证错误的解决方法

问题描述通过微软的RDP协议客户端，远程连接Windows实例时，系统提示“出现身份验证错误，要求的函数不受支持（The function requested is not supported）”错误。问题原因微软官方2018年5月，更新了凭据安全支持提供程序协议（CredSSP）相关补丁和身份验证请求方式。当遇到如下一种情景时，就会出现该连接错误。情景一：客户端未更新该补丁，服务器端已更新该补丁且加密Oracle修正的策略为强制更新的客户端。情景二：客户端已更新该补丁且加密Orac

2020-12-01 10:04:09 488

原创【干货】ECS感染木马病毒之后的解决方法

概述当ECS实例感染木马病毒后，可能会导致数据丢失，存在业务风险。解决方法具体步骤请打开此链接：https://help.aliyun.com/knowledge_detail/40994.html

2020-12-01 10:01:24 278

原创 3分钟解决ECS服务器安装宝塔面板之后无法访问的问题

问题描述ECS实例无法登录宝塔面板控制台，访问失败。问题原因可能是以下原因所导致：宝塔面板服务没有正常启动。 ECS实例的安全组中没有添加8888端口的访问规则。解决方案在ECS中安装宝塔面板之后，需要开放8080端口的安全组，具体操作请查看以下文档：https://help.aliyun.com/knowledge_detail/163918.html...

2020-12-01 09:52:13 1531

原创 3分钟解决阿里云ECS设置的安全组没有生效的问题

问题描述在ECS管理控制中设置对应端口的安全组规则，但是没有生效。问题原因安全组配置错误，导致规则未生效。解决方案具体的解决方法请查看：https://help.aliyun.com/knowledge_detail/163521.html...

2020-12-01 09:48:42 5803

原创通过ES-Hadoop将HDFS中的数据写入Elasticsearch

ES-Hadoop是Elasticsearch推出的专门用于对接Hadoop生态的工具，可以让数据在Elasticsearch和Hadoop之间双向移动，无缝衔接Elasticsearch与Hadoop服务，充分使用Elasticsearch的快速搜索及Hadoop批处理能力，实现交互式数据处理。对于一些较复杂的分析任务，需要通过MapReduce任务读取HDFS上的JSON文件，写入Elasticsearch集群。本文介绍如何通过ES-Hadoop，借助MapReduce任务向Elasticsearch写

2020-11-02 15:10:01 1364

原创通过ES-Hadoop实现Hive读写Elasticsearch数据

ES-Hadoop是Elasticsearch推出的专门用于对接Hadoop生态的工具，可以让数据在Elasticsearch和Hadoop之间双向移动，无缝衔接Elasticsearch与Hadoop服务，充分使用Elasticsearch的快速搜索及Hadoop批处理能力，实现交互式数据处理。本文介绍如何通过ES-Hadoop实现Hadoop的Hive服务读写Elasticsearch数据。Hadoop生态的优势是处理大规模数据集，但是其缺点也很明显，就是当用于交互式分析时，查询时延会比较长。而Ela

2020-09-30 14:19:56 2189 4

原创云栖大会Elasticsearch专场，大咖云集，超5000人围观的技术专场

话题一：【阿里云 Elasticsearch 产品发布暨智能化运维之路】当Elasticsearch 集群规模越来越多，自动化已经无法满足运维人员的需求，如果Elasticsearch能提供智能诊断及数据分析能力，将会是一件“早下班的事”。播放时段：13:00 – 13:10:39点击播放：阿里云Elasticsearch产品发布暨智能化运维之路嘉宾讲师：吴迪——阿里巴巴集团高级技术专家话题二：【阿里云Elasticsearch内核优化实践】贴合企业业务需求，并做到稳定、可用、安全特性是.

2020-09-21 16:10:36 337

原创 Elasticsearch日志分析与监控---RabbitMQ篇

RabbitMQ是一个开源的消息代理服务器，能够为您的应用提供一个通用的消息发送和接收平台，并且保证消息在传输过程中的安全性。Elasticsearch是一个基于Lucene的实时分布式的搜索与分析引擎，是遵从Apache开源条款的一款开源产品，是当前主流的企业级搜索引擎。它提供了一个分布式服务，可以使您快速的近乎于准实时的存储、查询和分析超大数据集，通常被用来作为构建复杂查询特性和需求强大应用的基础引擎或技术。阿里云Elasticsearch兼容开源Elasticsearch的功能，以及Secur

2020-09-21 11:40:56 1863

原创 Elasticsearch冷热分离与索引生命周期管理

本文介绍在Elasticsearch集群上，通过生命周期管理ILM（Index Lifecycle Management）功能，实现冷热数据分离的实践流程。通过本实践，您既可以实现在保证集群读写性能的基础上，自动维护集群上的冷热数据，又能通过优化集群架构，降低企业生产成本。背景信息当今大数据时代，数据时刻在更新变化。尤其是随着时间的积累，存储在Elasticsearch中的数据会越来越多，当数据达到一定量时，必然会造成服务的内存、CPU、IO等指标上涨，影响Elasticsearch的全文检索能力。为此

2020-09-14 11:43:41 1993

原创通过Monstache实时同步MongoDB数据到Elasticsearch

当您的业务数据存储在MongoDB中，并且需要进行语义分析和大图展示时，可借助Elasticsearch实现全文搜索、语义分析、可视化展示等。本文介绍如何通过Monstache将MongoDB数据实时同步至Elasticsearch，并对数据进行分析及展示。本文以解析及统计热门电影数据为例，提供的解决方案可以帮助您完成以下需求：通过Monstache快速同步及订阅全量或增量数据。将MongoDB数据实时同步至高版本Elasticsearch。解读Monstache常用配置参数，应用于更多的业务场景

2020-09-07 10:38:56 2746 1

原创通过canal将MySQL数据同步到Elasticsearch

Canal是阿里巴巴集团提供的一个开源产品，能够通过解析数据库的增量日志，提供增量数据的订阅和消费功能，是Github中开源的ETL（Extract Transform Load）软件。当您需要将MySQL中的增量数据同步至Elasticsearch时，可通过Canal来实现。本文以阿里云Elasticsearch和RDS MySQL为例，为您介绍数据同步的方法。阿里云Elasticsearch兼容开源Elasticsearch的功能，以及Security、Machine Learning、Graph、A

2020-09-01 11:10:35 2229 1

原创如何使用Metricbeat收集系统数据及Nginx服务数据

Elastic Beats（其中包含Metricbeat）是一组轻量型的数据采集器，可以方便地将数据发送给Elasticsearch服务。由于是轻量型的，Beats不会产生太多的运行开销，因此，可以在硬件资源有限的设备（如 IoT 设备、边缘设备或嵌入式设备）上运行和收集数据。如果您需要收集数据，但没有资源来运行资源密集型数据收集器，那么Beats会是您最佳的选择。这种无处不在（涵盖所有联网设备）的数据收集方式，能够让您快速检测到异常情况并做出反应，例如系统范围内的问题和安全事件等。Metricbeat可

2020-08-24 12:06:35 2478

原创大数据时代，通过OSS快照迁移Elasticsearch数据

当您需要在Elasticsearch集群间迁移数据，或者需要恢复Elasticsearch中的数据时，可通过OSS快照的方式来实现。OSS快照方式的数据迁移，适用于数据量比较大的场景，简单流程如下。本文以将自建Elasticsearch迁移至阿里云Elasticsearch中为例，为您介绍通过OSS快照迁移数据的具体方法。阿里云Elasticsearch兼容开源Elasticsearch的功能，以及Security、Machine Learning、Graph、APM等商业功能，致力于数据分析、数据搜

2020-08-17 11:16:48 1481

原创通过Elasticsearch和rsbeat实时分析Redis slowlog

Redis是目前流行的高性能key-value数据库，但如果使用不当，很容易出现慢查询。慢查询过多或者一个时间较长（例如20s）的慢查询会导致操作队列（Redis是单进程）堵塞，可能会导致服务不可用。因此您需要实时收集并分析Redis slowlog，在出现问题时快速定位解决。本文介绍如何通过Elasticsearch和rsbeat实时分析Redis slowlog。{#shortdesc-pji-v5c-mkw}背景信息通过Elasticsearch和rsbeat实时分析Redis slowlog的原

2020-08-10 12:09:04 1042 6

原创 Elasticsearch Java Rest Client快速上手（附完整示例代码包）

本文介绍Elasticsearch的Java Client的原理、版本兼容性以及使用示例，帮助您快速使用Java客户端与Elasticsearch集群进行交互，完成检索、分析等相关业务。Transport Client迁移至REST ClientTransport Client随着Elasticsearch的第一个版本诞生，是一个特别的客户端。特别之处在于，它使用TCP协议与Elasticsearch通信，这也造成了当客户端与不同版本的Elasticsearch通信时，会存在兼容性问题。详情请参见Mot

2020-08-03 10:49:52 1673

原创 3分钟学会使用Elasticsearch跨集群复制功能（CCR）

当您需要将本地Elasticsearch集群中的索引数据迁移到一个远程集群中，或者将一个远程集群中的索引数据迁移到本地集群，可通过跨集群复制CCR（Cross Cluster Replication）功能实现。本文介绍具体的实现方法。背景信息CCR是开源Elasticsearch在platinum版本中发布的一个商业特性。购买阿里云Elasticsearch实例后，您无需额外付费，只需要简单配置，即可使用CCR功能（目前仅支持单可用区6.7.0及以上版本的阿里云Elasticsearch实例）。CCR

2020-07-30 19:28:53 3072 1

原创数据结构复杂建表难，查询慢？MySQL数据同步至Elasticsearch全套解决方案帮您解决

目前，很多业务中的对象都拥有复杂的数据结构，例如包含日期、气象信息、地理地图信息、对象或数组等。假设您的数据结构如下：{ "took" : 21, "timed_out" : false, "_shards" : { "total" : 5, "successful" : 5, "skipped" : 0, "failed" : 0 }, "hits" : { "total" : 6, "max_score" : 1.3968885,

2020-07-23 20:37:38 580

原创 Solr集群数据迁移至Elasticsearch

Elasticsearch是一款非常强大的搜索引擎，可以让你在海量的数据中快速找到想要的内容。例如，代码搜索：可以帮助您找到相应的代码仓库，还可以实现代码级的搜索及高亮显示；网上shopping：可以帮助您推荐商品。除了大数据搜索，Elasticsearch结合Logstash和Beats，还被广泛应用在大数据实时分析领域，例如日志分析、指标监控、信息安全等。帮助您探索海量的结构化和非结构化的数据，按需创建可视化报表、对监控数据设置报警阈值，甚至使用机器学习技术，自动识别异常状况、及时发出警报。在DBR

2020-07-19 13:02:20 2985 2

原创日志数据多，遇到问题无法高效定位分析？Kafka+Logstash+Elasticsearch帮您解决

随着时间的积累，日志数据会越来越多。在实际应用场景中，为了满足大数据实时检索的需求，您可以使用Filebeat采集日志数据，将Kafka作为Filebeat的输出端。Kafka实时接收到Filebeat采集的数据后，以Logstash作为输出端输出。输出到Logstash中的数据在格式或内容上可能不能满足您的需求，此时可以通过Logstash的filter插件过滤数据。最后将满足需求的数据输出到ES中进行分布式检索，并通过Kibana进行数据分析与展示。简单流程如下。Kafka是一种分布式、高吞吐、

2020-07-12 10:35:41 1968

原创 Elasticsearch查询慢、效率低、磁盘不够用？索引生命周期管理帮您解决

对于时间序列数据，会随着时间的积累越来越大，您可以通过索引生命周期管理ILM（Index Lifecycle Management）定期将数据滚动到新索引，防止因数据过大影响查询效率和成本。随着索引的老化和查询频率的降低，您可以将其转移到价格较低的磁盘上，并减少分片和副本的数量。本文以管理Heartbeat数据为例，介绍通过ILM管理索引的方法。索引生命周期管理ILM是指ES对索引进行设置、创建、打开、关闭、删除的全生命周期管理的过程。ES（6.6.0及以上版本）提供了ILM功能，将索引生命周期分为4个阶

2020-07-05 10:30:33 1424 1

原创手把手教您完成Elasticsearch数据迁移

您可以通过Logstash、reindex和OSS等多种方式在Elasticsearch之间迁移数据。本文以阿里云Elasticsearch（简称ES）为例，介绍阿里云Elasticsearch间数据迁移、自建ES数据迁移至阿里云ES和第三方ES迁移至阿里云ES的方案，帮助您根据业务选择合适的场景进行迁移。单击此处免费试用阿里云Elasticsearch。阿里云ES实例间数据迁移OSS快照适用场景源端数据量较大（GB、TB、PB级别）的场景。同账号下，同区域或跨区域快照数据迁移的场景。

2020-06-30 20:32:27 2708

原创通过Cerebro访问Elasticsearch

本文以阿里云Elasticsearch为例，介绍通过Cerebro访问Elasticsearch的方法。阿里云Elasticsearch兼容开源Elasticsearch的功能，以及Security、Machine Learning、Graph、APM等商业功能，致力于数据分析、数据搜索等场景服务。支持5.5.3、6.3.2、6.7.0、6.8.0和7.4.0等多个版本，并提供了商业插件X-Pack服务。在开源Elasticsearch的基础上提供企业级权限管控、安全监控告警、自动报表生成等功能。单击此处

2020-06-25 20:36:16 1497 1

原创如何通过reindex将Elasticsearch低版本数据迁移至高版本

迁移数据需要准备Elasticsearch和Logstash集群，具体原理可参见下文的操作流程。本文使用阿里云Elasticsearch和Logstash，无需手动部署，一键即可创建集群，即买即用。提供白屏化的操作界面，简单易用上手快，后期有专业人员维护，能够省去较大的时间和人力成本，现在还可免费试用。单击此处免费试用阿里云Elasticsearch，单击此处免费试用阿里云Logstash。阿里云Elasticsearch兼容开源Elasticsearch的功能，以及Security、Machine L

2020-06-25 12:28:39 1604

原创如何采集与分析RocketMQ客户端日志

文章目录背景信息操作流程准备工作步骤一：创建并配置Filebeat采集器步骤二：创建并运行Logstash管道步骤三：模拟RocketMQ客户端日志步骤四：通过Kibana查看日志步骤五：通过Kibana分析日志本文所使用的是阿里云Elasticsearch和Logstash，单击此处免费试用阿里云Elasticsearch单击此处免费试用阿里云Logstash。阿里云Elasticsearch兼容开源Elasticsearch的功能，以及Security、Machine Learning、Graph

2020-06-21 14:46:37 2154

Cloud Tech的博客