Observability：如何为 Java 应用进行 APM

于 2021-07-01 15:04:53 发布
阅读量1.6k 收藏 4
点赞数 2
分类专栏： Elastic Observability 文章标签： elasticsearch 大数据
本文为博主原创文章，未经博主允许不得转载。
本文链接：https://blog.csdn.net/UbuntuTouch/article/details/118382739
版权

在我之前的文章 “Solutions：应用程序性能监控/管理(APM)实践”，我已经详细介绍了 APM 以及如何针对 Java 应用进行 APM。在那篇文章中的  Baidu 天气服务由于一些原因现在不能正常工作。在今天的文章中，我将使用 Elastic 官方发布的 Java 例子来做详细的描述。我将一步一步地介绍如何进行设置。

安装

在今天的练习中，我们将使用 docker 来部署 Elastic Stack。首先，我们到如下的地址来下载 docker-compose.yml 文件：

curl -sLO https://raw.githubusercontent.com/elastic/apm-contrib/master/stack/docker-compose.yml

为方便大家阅读，我将该文件贴于下面：

docker-compose.yml

{
  "networks": {
    "default": {
      "name": "apm-integration-testing"
    }
  },
  "services": {
    "apm-server": {
      "cap_add": [
        "CHOWN",
        "DAC_OVERRIDE",
        "SETGID",
        "SETUID"
      ],
      "cap_drop": [
        "ALL"
      ],
      "command": [
        "apm-server",
        "-e",
        "--httpprof",
        ":6060",
        "-E",
        "apm-server.rum.enabled=true",
        "-E",
        "apm-server.rum.event_rate.limit=1000",
        "-E",
        "apm-server.host=0.0.0.0:8200",
        "-E",
        "apm-server.read_timeout=1m",
        "-E",
        "apm-server.shutdown_timeout=2m",
        "-E",
        "apm-server.write_timeout=1m",
        "-E",
        "logging.json=true",
        "-E",
        "logging.metrics.enabled=false",
        "-E",
        "setup.kibana.host=kibana:5601",
        "-E",
        "setup.template.settings.index.number_of_replicas=0",
        "-E",
        "setup.template.settings.index.number_of_shards=1",
        "-E",
        "setup.template.settings.index.refresh_interval=1ms",
        "-E",
        "monitoring.elasticsearch=true",
        "-E",
        "monitoring.enabled=true",
        "-E",
        "apm-server.instrumentation.enabled=true",
        "-E",
        "apm-server.kibana.enabled=true",
        "-E",
        "apm-server.kibana.host=kibana:5601",
        "-E",
        "apm-server.agent.config.cache.expiration=30s",
        "-E",
        "output.elasticsearch.hosts=[\"elasticsearch:9200\"]",
        "-E",
        "output.elasticsearch.enabled=true",
        "-E",
        "output.elasticsearch.pipelines=[{pipeline: 'apm'}]",
        "-E",
        "apm-server.register.ingest.pipeline.enabled=true"
      ],
      "container_name": "localtesting_${STACK_VERSION:-7.5.1}_apm-server",
      "depends_on": {
        "elasticsearch": {
          "condition": "service_healthy"
        },
        "kibana": {
          "condition": "service_healthy"
        }
      },
      "healthcheck": {
        "interval": "10s",
        "retries": 12,
        "test": [
          "CMD",
          "curl",
          "--write-out",
          "'HTTP %{http_code}'",
          "--fail",
          "--silent",
          "--output",
          "/dev/null",
          "http://localhost:8200/"
        ]
      },
      "image": "docker.elastic.co/apm/apm-server:${STACK_VERSION:-7.5.1}",
      "labels": [
        "co.elastic.apm.stack-version=${STACK_VERSION:-7.5.1}"
      ],
      "logging": {
        "driver": "json-file",
        "options": {
          "max-file": "5",
          "max-size": "2m"
        }
      },
      "ports": [
        "127.0.0.1:8200:8200",
        "127.0.0.1:6060:6060"
      ]
    },
    "elasticsearch": {
      "container_name": "localtesting_${STACK_VERSION:-7.5.1}_elasticsearch",
      "environment": [
        "bootstrap.memory_lock=true",
        "cluster.name=docker-cluster",
        "cluster.routing.allocation.disk.threshold_enabled=false",
        "discovery.type=single-node",
        "path.repo=/usr/share/elasticsearch/data/backups",
        "ES_JAVA_OPTS=-XX:UseAVX=2 -Xms1g -Xmx1g",
        "path.data=/usr/share/elasticsearch/data/${STACK_VERSION:-7.5.1}",
        "xpack.security.enabled=false",
        "xpack.license.self_generated.type=trial",
        "xpack.monitoring.collection.enabled=true"
      ],
      "healthcheck": {
        "interval": "20",
        "retries": 10,
        "test": [
          "CMD-SHELL",
          "curl -s http://localhost:9200/_cluster/health | grep -vq '\"status\":\"red\"'"
        ]
      },
      "image": "docker.elastic.co/elasticsearch/elasticsearch:${STACK_VERSION:-7.5.1}",
      "labels": [
        "co.elastic.apm.stack-version=${STACK_VERSION:-7.5.1}"
      ],
      "logging": {
        "driver": "json-file",
        "options": {
          "max-file": "5",
          "max-size": "2m"
        }
      },
      "ports": [
        "127.0.0.1:9200:9200"
      ],
      "ulimits": {
        "memlock": {
          "hard": -1,
          "soft": -1
        }
      },
      "volumes": [
        "esdata:/usr/share/elasticsearch/data"
      ]
    },
    "kibana": {
      "container_name": "localtesting_${STACK_VERSION:-7.5.1}_kibana",
      "depends_on": {
        "elasticsearch": {
          "condition": "service_healthy"
        }
      },
      "environment": {
        "ELASTICSEARCH_URL": "elasticsearch:9200",
        "SERVER_NAME": "kibana.example.org",
        "XPACK_MONITORING_ENABLED": "true",
        "XPACK_XPACK_MAIN_TELEMETRY_ENABLED": "false"
      },
      "healthcheck": {
        "interval": "10s",
        "retries": 20,
        "test": [
          "CMD",
          "curl",
          "--write-out",
          "'HTTP %{http_code}'",
          "--fail",
          "--silent",
          "--output",
          "/dev/null",
          "http://kibana:5601/api/status"
        ]
      },
      "image": "docker.elastic.co/kibana/kibana:${STACK_VERSION:-7.5.1}",
      "labels": [
        "co.elastic.apm.stack-version=${STACK_VERSION:-7.5.1}"
      ],
      "logging": {
        "driver": "json-file",
        "options": {
          "max-file": "5",
          "max-size": "2m"
        }
      },
      "ports": [
        "127.0.0.1:5601:5601"
      ]
    }
  },
  "version": "2.1",
  "volumes": {
    "esdata": {
      "driver": "local"
    },
    "pgdata": {
      "driver": "local"
    }
  }
}

在 docker-compose.yml 所处的同一个目录下，我们创建一个如下的文件 .env：

$ pwd
/Users/liuxg/data/apm-docker
$ ls -al
total 24
drwxr-xr-x    4 liuxg  staff   128 Jul  1 11:25 .
drwxr-xr-x  136 liuxg  staff  4352 Jul  1 11:16 ..
-rw-r--r--    1 liuxg  staff    21 Jul  1 11:25 .env
-rw-r--r--    1 liuxg  staff  5391 Jul  1 11:16 docker-compose.yml
$ cat .env
STACK_VERSION=7.13.2

在上面的 .env 文件中，我们修改变量 STACK_VERSION 为我们所喜欢的 Elastic Stack 版本。

接下来，我们使用如下的命令来启动 Elastic Stack：

docker-compose up

这样我们就完成了 Elasticsearch，Kibana 及 APM Server 的安装：

Java Demo 应用

在这一节，我们来下载 Elastic 官方推荐的 Java Demo 应用来进行展示。我们首先来创建一个目录 demos，并在该目录下打入如下的命令：

git clone https://github.com/elastic/opbeans-java

这是一个 Java 编写的 Spring boot 应用。你需要安装 Java 的编译环境以及 Maven 来对它进行编译。等代码下载完毕后，我们进行 opbeans-java 目录，并打入如下的命令来进行编译：

cd opbeans-java/opbeans
mvn package

在上面，我们可以看到一个叫做 opbeans-0.0.1-SNAPSHOT.jar 的 jar 文件以及被成功生成，并在 target 目录下：

$ ls target/opbeans-0.0.1-SNAPSHOT.jar
target/opbeans-0.0.1-SNAPSHOT.jar

这样我们就完成了对 Java 应用的编译工作。

将 APM 数据流式传送到 Elastic Stack

接下来，我将描述如何把 APM 的数据传送至 Elastic Stack。首先，我们打开 Kibana：

选择上面的 APM：

由于我们已经安装好 Elastic Stack 了，所以我们直接跳过前面的部分来直接配置 Java APM agent。我们首先点击上面的 Maven Central 链接来下载 agent jar，并把相应的文件保存于 opbean-java/opbean 目录下：

我们也可以直接使用如下的命令来获得：

wget -O elastic-apm-agent-1.24.0.jar https://search.maven.org/remotecontent\?filepath\=co/elastic/apm/elastic-apm-agent/1.24.0/elastic-apm-agent-1.24.0.jar

上面的命令适合于在云上的部署。这样在我们的目录中会发现一个新下载的 elastic-apm-agent-1.24.0.jar 文件：

$ pwd
/Users/liuxg/demos/apm/opbeans-java/opbeans
$ ls
elastic-apm-agent-1.24.0.jar pom.xml
mvnw                         src
mvnw.cmd                     target

我们接下来按照 Kibana 中所提示的那样：

我们在 terminal 中输入如下的命令：

java -javaagent:./elastic-apm-agent-1.24.0.jar \
     -Delastic.apm.service_name=opbeans-java \
     -Delastic.apm.server_urls=http://localhost:8200 \
     -Delastic.apm.secret_token= \
     -Delastic.apm.environment=production \
     -Delastic.apm.application_packages=co.elastic.apm.opbeans \
     -jar ./target/opbeans-0.0.1-SNAPSHOT.jar

一旦我们成功运行，我们可以看到如下的画面：

从上面的过程中，我们可以看出来，我们并没有对我们的 Java 应用做任何的修改。我们只是通过在命令行中添加一下参数从而使得 Java agents 能够收集 APM 信息。这种操作我们称之为 instrument，也即插庄。

上面启动 Java 应用的方式，我们称之为手动配置。我们其实可以通过一种叫做自动配置的方式来对 Java 应用进行监控。详细描述可以参阅文章 “设置 Elastic APM Java 代理 - 自动设置”。

在上面，我们成功地启动了 Java Spring Boot 应用。我们带自己的浏览器，并输入地址：http://localhost:8080/

我们在上面的界面中进行一些操作从能够生产一些请求。我们将在后面的 APM 应用中来分析这些请求的性能。

我们再回到 Kibana 的界面：

点击上面的  Check APM Server status 按钮。我们可以看到我们已经成功地收到数据了。

点击上面的 Launch APM 或者 直接启动 APM 应用我们就可以查看到这个 Spring Boot 的应用性能。

为了能够在下面的分析中看到一些错误的信息，我们故意在 Spring Boot 的应用中访问不存在的地址：http://localhost:8080/is-it-coffee-time

可视化 APM 数据

我们重新回到上面的 APM 应用中：

在上面，我们可以看到有两个 Services。上面显示了一些粗略的信息。我们点击上面的 opbeans-java 链接。我们可以看到这个应用的 APM overview 情况。

从上面，我们可以看到各种指标信息。比如针对 Transanctions 来说，我们看到对我们影响最大的一个 API 接口是 APIRestController#orders，而且它还有一些错误：

点击上面的链接：

从上面，我们可以看出来有一个 transactoin 所花的时间较长。其中的原因是因为有一个错误。我们点击上面的 span:

我们可以看到更为详细的信息：

我们点击上面的 Transactions 链接：

我们点击上面的 Erros：

点击上面的 Broken pipe:

我们可以看到更为详细的错误信息。

我们点击 JVM：

点击上面的 liuxg 链接：

我们可以看到 JVM 的运行状况。

我们点击 Service Map:

我们可以看到 opbeans-java 访问 h2 数据库。点击上面的 Service Details。它会带我们回到 Service overview 页面：

博客
Elastic 线下 Meetup 将于 2025 年 6 月 28 号下午在南京举行
05-19 1568
​2025 Elastic Meetup 南京站活动，由 Elastic、TechTalk 社区、新智锦绣联合举办，现诚邀广大技术爱好者及开发者参加。2025年6月28日 13:30-18:00江苏省南京市秦淮区汉中路189号平安金融中心三楼2025 Elastic Meetup 南京站_发现精彩城市生活-活动发布及直播平台！！请报名成功后，扫码加入本次活动群，接收活动相关信息讲师：Elastic 社区首席布道师 —— 刘晓国现为 Elastic 社区首席布道师。新加坡国立大学硕士，西北工业大学本硕。曾就职
博客
Elastic：如何成为一名 Elastic 认证工程师，Elastic 认证分析师及 Elastic 认证可观测性工程师
10-28 2万+
Elasticsearch 无疑是是目前世界上最为流行的大数据搜索引擎。根据 DB - Engines 的统计，Elasticsearch 雄踞排行榜第一名，并且市场还在不断地扩大：能够成为一名 Elastic 认证工程师也是很多开发者的梦想。这个代表了 Elastic 的最高认证，在业界也得到了很高的认知度。得到认证的工程师，必须除了具有丰富的 Elastic Stack 知识，而且必须有丰富的操作及有效的解决问题的能力。拥有这个认证证书，也代表了个人及公司的荣誉。针对个人的好处是，你可以..
博客
Elastic：开发者上手指南
02-25 16万+
你们好，我是Elastic的刘晓国。如果大家想开始学习Elastic的话，那么这里将是你理想的学习园地。在我的博客几乎涵盖了你想学习的许多方面。在这里，我来讲述一下作为一个菜鸟该如何阅读我的这些博客文章。我们可以按照如下的步骤来学习：1)Elasticsearch简介：对Elasticsearch做了一个简单的介绍2)Elasticsearch中的一些重要概念:cluster,n..........................................................
博客
Elastic：培训视频 - ​在生产环境中配置 Fleet Server 和 Elastic Agent 之间的安全
01-06 1万+
在这篇文章中，我将会把我写的有些内容录制成视频，供大家参考。希望对大家有所帮助。优酷的视频频道地址在这里。Elastic 简介及Elastic Stack 安装：优酷，腾讯 Elastic Stack docker 部署：优酷，腾讯 Elasticsearch中的一些重要概念（Cluster/Shards/Replica/Document/Type/Index）：优酷，腾讯 开始使用El...............
博客
Elasticsearch 简介
08-08 17万+
Elasticsearch是一个非常强大的搜索引擎。它目前被广泛地使用于各个IT公司。Elasticsearch是由Elastic公司创建并开源维护的。它的开源代码位于https://github.com/elastic/elasticsearch。同时，Elastic公司也拥有Logstash及Kibana开源项目。这个三个开源项目组合在一起，就形成了 ELK软件栈。他们三个共同形成了一个强大的...
博客
Elastic：什么是 DevOps？
05-23 327
DevOps是一种结合并自动化软件开发（Dev）和IT运维（Ops）的现代方法，旨在通过团队协作和自动化提升软件开发生命周期的效率。它强调从规划、编码到测试、部署和监控的持续反馈循环，促进快速、高质量的软件交付。DevOps实践包括持续集成（CI）、持续交付（CD）、基础设施即代码（IaC）和微服务架构等，通过自动化减少错误并加快发布速度。尽管DevOps带来诸多好处，如提高生产力、缩短上市时间和增强团队协作，其实施也面临文化转变、遗留系统整合和自动化复杂性等挑战。未来，DevOps将融入AI、机器学习、低
博客
Observability：什么是可观察性？
05-23 387
可观测性是指通过分析系统的外部输出数据来理解其内部状态的能力，在现代应用开发中尤为重要。它涉及从日志、指标和追踪等多源数据中收集信息，以深入洞察应用程序的行为。可观测性对于动态架构和多云环境至关重要，帮助软件工程师、IT、DevOps和SRE团队解读遥测数据，并通过可视化工具和AIOps等方法实现。其三大支柱是日志、指标和追踪，全栈可观测性能够实时追踪多云生态系统的性能，综合硬件、软件、云基础设施等数据。可观测性不仅提升应用性能、加快问题解决，还能改善终端用户体验和应用程序安全性，对企业的IT运维和业务成果
博客
Elastic：如何实现业务可观测性
05-23 434
随着数字架构的复杂性增加，传统的监控方法已无法满足现代企业的需求。业务可观测性作为一种全面的监控与分析手段，能够提供深层次的洞察和主动的问题解决能力。它通过持续监控业务流程、数据流和系统性能，帮助企业优化运营、理解业务影响，并做出数据驱动的决策。业务可观测性不仅关注技术问题，还整合客户和业务数据，提供组织生态系统的全景视图。其实施涉及数据收集、监控、分析和可视化四个关键流程，并面临数据过载、集成复杂性和资源限制等挑战。通过明确目标、建立数据管道、集成监控工具和持续改进，企业可以有效实施业务可观测性，提升运营
博客
金融服务中的 Agentic AI：自主智能的崛起
05-23 389
在金融服务领域，Agentic AI正成为新的技术前沿，它能够自主执行复杂的多步骤任务，如反欺诈、合规监控和客户服务等。Elastic通过其Search AI平台，为Agentic AI提供了必要的数据基础和工具，包括实时数据检索、工作流自动化和风险管理。Elastic的解决方案如Elasticsearch和LangChain集成，支持智能数据检索和自动化工作流，而Attack Discovery功能则展示了Agentic AI在网络安全中的实际应用。尽管Agentic AI带来了自主性的风险，Elasti
博客
使用 Elasticsearch 和 Red Hat OpenShift AI 提升工作流程效率
05-23 303
Elastic与RedHat合作，通过集成Elasticsearch的生成式AI和向量搜索能力与RedHat OpenShift AI，推出了一个经过验证的模式，旨在提升金融分析师的工作流程。这一模式支持检索增强生成（RAG）解决方案，可以在本地或IBM Cloud上的加速硬件上运行。Elasticsearch作为核心向量数据库，结合词汇和语义技术，确保传递给大语言模型的文档具有高度相关性和上下文，从而提高生成式AI应用的响应质量、准确性和效率。RedHat OpenShift AI提供企业级的容器编排和D
博客
准备好，开始构建：由 Elasticsearch 向量数据库驱动的 Red Hat OpenShift AI 应用程序
05-22 631
Elasticsearch向量数据库现已支持基于LLM和RAG的AI生成验证模式，开发者可利用Elastic的向量数据库在RedHat OpenShift上快速启动RAG应用开发。本文详细介绍了如何设置和使用Elasticsearch作为向量数据库，包括安装配置、部署步骤和验证方法。通过结合RedHat容器平台和Elastic的向量搜索能力，开发者可以构建高效的生产级应用程序。未来，Elastic计划进一步优化语义理解、数据处理和混合搜索功能，以提升RAG应用的性能和精准度。欢迎开发者参与反馈和贡献，共同推
博客
率先实现混合搜索：使用 Elasticsearch 和 Semantic Kernel
05-22 650
Elasticsearch与Microsoft Semantic Kernel合作，在.NET Elasticsearch Semantic Kernel连接器中引入了混合搜索功能，这是首个实现该功能的向量数据库。混合搜索结合了词法搜索和语义搜索，通过并行运行这两种策略，提升搜索结果的相关性和质量。Elasticsearch从8.8.0版本起支持混合搜索，并默认使用RRF（Reciprocal Rank Fusion）算法来合并搜索结果。最新版本的Elasticsearch Semantic Kernel连
博客
日志根因分析：Elastic Observability 的 AIOps 实验室
05-21 474
Elastic Observability 提供全面的日志聚合、指标分析、APM 和分布式追踪功能，并结合基于机器学习的 AIOps 能力，帮助用户快速定位问题根源。其内置的异常检测和日志分类功能，能够自动识别日志中的异常模式，简化根本原因分析。此外，Elastic 还提供了日志峰值检测器和日志模式分析工具，帮助用户在海量日志数据中快速发现异常和潜在问题。通过这些功能，用户可以显著减少日志分析时间，提高问题排查效率，无需依赖复杂的数据科学团队或第三方框架。Elastic Observability 的 AI
博客
日志根因分析：Elastic Observability 的异常检测与日志分类功能
05-20 990
Elastic Observability 提供日志聚合、指标分析、APM 和分布式追踪等功能，其机器学习能力可帮助分析问题根因，提升应用性能、运营效率和业务 KPI。面对海量遥测数据，传统告警和简单模式匹配方法已无法满足需求。Elastic 的 AIOps 和机器学习功能通过异常检测、时间序列分析和日志异常值检测等，精准定位根本原因，缩短分析时间。Elastic 平台内置适用于可观测性和安全场景的机器学习模型，无需数据科学团队或复杂架构，通过向导可配置自定义异常检测和训练模型。内置功能如异常检测、日志分类
博客
在 Azure OpenAI 上使用 Elastic 优化支出和内容审核
05-20 1154
Elastic团队为Azure OpenAI集成新增了内容过滤监控和计费见解功能，旨在提升AI安全性和成本管理效率。内容过滤功能通过识别和阻止有害或不适当内容，如仇恨言论和暴力图像，帮助组织维护品牌声誉和用户安全。同时，计费仪表盘提供了对Azure OpenAI使用成本的详细监控，帮助组织优化资源分配和预算管理。用户只需升级现有集成即可自动获得这些新功能，并通过预配置的仪表盘进行实时监控和分析。这些增强功能为基于LLM的应用提供了更全面的可观测性和管理工具。
博客
在 JavaScript 中正确使用 Elasticsearch，第二部分
05-20 1141
本文是Elasticsearch in JavaScript系列的第二部分，重点介绍了在生产环境中运行Elasticsearch Node.js客户端的最佳实践，特别是在无服务器环境中的应用。文章首先回顾了生产环境中的关键实践，包括错误处理和测试。通过Elasticsearch的Node.js客户端，开发者可以有效地捕捉和处理各种错误，如ResponseError和TimeoutError，确保应用的稳定性。此外，文章还介绍了如何使用elasticsearch-js-mock库进行测试，确保代码的可靠性。接
博客
JavaScript 中使用 Elasticsearch 的正确方式，第一部分
05-19 885
本文是系列文章的第一篇，介绍了如何在JavaScript环境中使用Elasticsearch构建生产级后端应用。文章详细讲解了环境设置、客户端连接、文档索引以及数据搜索的基础知识。通过使用Elasticsearch的Node.js客户端，开发者可以简化HTTP REST调用的处理，并利用批量助手等功能高效索引文档。文章还展示了如何通过Express服务器创建搜索端点，支持词法、语义和混合查询。最后，文章提供了示例代码，帮助读者快速上手，并预告了后续内容将涵盖生产环境最佳实践和无服务器架构的应用。
博客
如何优化 Elasticsearch 磁盘空间和使用情况
05-19 1043
文章由Elastic的Kofi Bartlett撰写，主要讨论了如何有效管理和优化Elasticsearch中的磁盘空间使用。文章首先强调了磁盘管理的重要性，指出磁盘空间不足会导致数据写入停止，而过度分配则会造成资源浪费。接着，文章介绍了Elasticsearch中的水位线阈值，包括低磁盘水位线、高磁盘水位线阈值和磁盘洪水阶段，这些阈值帮助监控磁盘使用情况。文章还提供了处理磁盘过满的几种方法，如删除旧数据、增加存储容量、使用快照与还原技术、减少分片副本数以及设置磁盘使用告警。此外，文章还探讨了如何减少未被充
博客
将嵌入映射到 Elasticsearch 字段类型：semantic_text、dense_vector、sparse_vector
05-16 1071
多年来，使用嵌入来提升信息检索的相关性和准确性已经显著增长。像 Elasticsearch 这样的工具已经发展出支持这种类型数据的专用字段类型，比如密集向量、稀疏向量和语义文本。然而，为了获得良好的效果，关键在于理解如何正确地将嵌入映射到 Elasticsearch 可用的字段类型：semantic_text、dense_vector 和 sparse_vector。本文将讨论这些字段类型、各自的适用时机，以及它们在索引和查询过程中与嵌入生成和使用策略之间的关系。
博客
Elasticsearch 索引副本数
05-16 982
本文由Elastic的Kofi Bartlett撰写，详细解释了如何配置Elasticsearch中的number_of_replicas参数，其影响及最佳实践。number_of_replicas控制每个主分片的副本数量，默认值为1。增加副本数可以提高数据冗余和搜索性能，但会降低写入性能并增加存储需求。最佳实践建议：单节点集群应设置为0，多节点集群至少为1，且需根据集群节点数量和数据需求进行权衡。文章还提供了配置和更新该参数的具体方法，并强调了在性能和存储之间找到平衡的重要性。
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值