hive on spark 执行sql报错

已于 2022-09-21 10:06:51 修改
阅读量3.1k 收藏 11
点赞数 5
分类专栏： hive 文章标签： sql hive spark
于 2022-09-20 16:41:45 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/cclovezbf/article/details/126950236
版权

 sql差不多就是这个样子 疯狂join，然后别人说这个sql跑不动了。报错

INFO] 2022-09-20 11:26:58.500  - [taskAppId=TASK-1850-1276992-1359844]:[127] -  -> INFO  : 2022-09-20 11:26:52,814    Stage-3_0: 11(+1,-2)/12    
    INFO  : 2022-09-20 11:26:55,823    Stage-3_0: 11(+1,-2)/12    
[INFO] 2022-09-20 11:27:03.504  - [taskAppId=TASK-1850-1276992-1359844]:[127] -  -> INFO  : 2022-09-20 11:26:58,832    Stage-3_0: 11(+1,-2)/12    
[INFO] 2022-09-20 11:27:08.507  - [taskAppId=TASK-1850-1276992-1359844]:[127] -  -> INFO  : 2022-09-20 11:27:01,841    Stage-3_0: 11(+1,-2)/12    
    INFO  : 2022-09-20 11:27:04,850    Stage-3_0: 11(+1,-2)/12    
[INFO] 2022-09-20 11:27:13.512  - [taskAppId=TASK-1850-1276992-1359844]:[127] -  -> INFO  : 2022-09-20 11:27:07,860    Stage-3_0: 11(+1,-2)/12    
    INFO  : 2022-09-20 11:27:10,869    Stage-3_0: 11(+1,-2)/12    
[INFO] 2022-09-20 11:27:18.518  - [taskAppId=TASK-1850-1276992-1359844]:[127] -  -> INFO  : 2022-09-20 11:27:13,878    Stage-3_0: 11(+1,-2)/12    
[INFO] 2022-09-20 11:27:23.524  - [taskAppId=TASK-1850-1276992-1359844]:[127] -  -> INFO  : 2022-09-20 11:27:16,887    Stage-3_0: 11(+1,-2)/12    
    INFO  : 2022-09-20 11:27:19,896    Stage-3_0: 11(+1,-2)/12    
[INFO] 2022-09-20 11:27:28.527  - [taskAppId=TASK-1850-1276992-1359844]:[127] -  -> INFO  : 2022-09-20 11:27:22,905    Stage-3_0: 11(+1,-2)/12    
    INFO  : 2022-09-20 11:27:25,914    Stage-3_0: 11(+1,-2)/12    
[INFO] 2022-09-20 11:27:33.534  - [taskAppId=TASK-1850-1276992-1359844]:[127] -  -> INFO  : 2022-09-20 11:27:28,924    Stage-3_0: 11(+1,-2)/12    
[INFO] 2022-09-20 11:27:38.538  - [taskAppId=TASK-1850-1276992-1359844]:[127] -  -> INFO  : 2022-09-20 11:27:31,933    Stage-3_0: 11(+1,-2)/12    
    INFO  : 2022-09-20 11:27:34,942    Stage-3_0: 11(+1,-2)/12    
[INFO] 2022-09-20 11:27:39.058  - [taskAppId=TASK-1850-1276992-1359844]:[127] -  -> INFO  : 2022-09-20 11:27:37,951    Stage-3_0: 11(+1,-2)/12    
    ERROR : Spark job[3] failed
    java.util.concurrent.ExecutionException: Exception thrown by job
        at org.apache.spark.JavaFutureActionWrapper.getImpl(FutureAction.scala:337) ~[spark-core_2.11-2.4.0-cdh6.3.2.jar:2.4.0-cdh6.3.2]
        at org.apache.spark.JavaFutureActionWrapper.get(FutureAction.scala:342) ~[spark-core_2.11-2.4.0-cdh6.3.2.jar:2.4.0-cdh6.3.2]
        at org.apache.hive.spark.client.RemoteDriver$JobWrapper.call(RemoteDriver.java:404) ~[hive-exec-2.1.1-cdh6.3.2.jar:2.1.1-cdh6.3.2]
        at org.apache.hive.spark.client.RemoteDriver$JobWrapper.call(RemoteDriver.java:365) ~[hive-exec-2.1.1-cdh6.3.2.jar:2.1.1-cdh6.3.2]
        at java.util.concurrent.FutureTask.run(FutureTask.java:266) [?:1.8.0_181]
        at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149) [?:1.8.0_181]
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624) [?:1.8.0_181]
        at java.lang.Thread.run(Thread.java:748) [?:1.8.0_181]
    Caused by: org.apache.spark.SparkException: Job 3 cancelled 
        at org.apache.spark.scheduler.DAGScheduler.org$apache$spark$scheduler$DAGScheduler$$failJobAndIndependentStages(DAGScheduler.scala:1890) ~[spark-core_2.11-2.4.0-cdh6.3.2.jar:2.4.0-cdh6.3.2]
        at org.apache.spark.scheduler.DAGScheduler.handleJobCancellation(DAGScheduler.scala:1825) ~[spark-core_2.11-2.4.0-cdh6.3.2.jar:2.4.0-cdh6.3.2]
        at org.apache.spark.scheduler.DAGSchedulerEventProcessLoop.doOnReceive(DAGScheduler.scala:2077) ~[spark-core_2.11-2.4.0-cdh6.3.2.jar:2.4.0-cdh6.3.2]
        at org.apache.spark.scheduler.DAGSchedulerEventProcessLoop.onReceive(DAGScheduler.scala:2060) ~[spark-core_2.11-2.4.0-cdh6.3.2.jar:2.4.0-cdh6.3.2]
        at org.apache.spark.scheduler.DAGSchedulerEventProcessLoop.onReceive(DAGScheduler.scala:2049) ~[spark-core_2.11-2.4.0-cdh6.3.2.jar:2.4.0-cdh6.3.2]
        at org.apache.spark.util.EventLoop$$anon$1.run(EventLoop.scala:49) ~[spark-core_2.11-2.4.0-cdh6.3.2.jar:2.4.0-cdh6.3.2]
    ERROR : FAILED: Execution Error, return code 3 from org.apache.hadoop.hive.ql.exec.spark.SparkTask. Spark job failed due to: Job 3 cancelled 
    INFO  : Completed executing command(queryId=hive_20220920112336_c6ae7869-4649-4e2b-92d8-de2de872623b); Time taken: 240.664 seconds

提取有用信息

Stage-3_0: 11(+1,-2)/12    一直这个

很明显stage3有12个task有一个或者2个一直报错，然后最后有一个跑不动了

报错信息ERROR : FAILED: Execution Error, return code 3 from org.apache.hadoop.hive.ql.exec.spark.SparkTask. Spark job failed due to: Job 3 cancelled 

这个就看不出啥。

去spark看日志

 好像也没啥，点进stage看日志。

继续点stderr

22/09/20 10:44:41 INFO spark.SparkRecordHandler: processing 8000000 rows: used memory = 4763256512
22/09/20 10:44:41 INFO exec.MapOperator: MAP[0]: records read - 8000001
2022-09-20 10:44:41	Processing rows:	1900000	Hashtable size:	1899999	Memory usage:	5115896488	percentage:	0.893
22/09/20 10:44:41 INFO exec.HashTableSinkOperator: 2022-09-20 10:44:41	Processing rows:	1900000	Hashtable size:	1899999	Memory usage:	5115896488	percentage:	0.893
2022-09-20 10:44:44	Processing rows:	2800000	Hashtable size:	2799999	Memory usage:	4183913512	percentage:	0.731
22/09/20 10:44:44 INFO exec.HashTableSinkOperator: 2022-09-20 10:44:44	Processing rows:	2800000	Hashtable size:	2799999	Memory usage:	4183913512	percentage:	0.731
2022-09-20 10:44:44	Processing rows:	2700000	Hashtable size:	2699999	Memory usage:	4286480568	percentage:	0.748
22/09/20 10:44:44 INFO exec.HashTableSinkOperator: 2022-09-20 10:44:44	Processing rows:	2700000	Hashtable size:	2699999	Memory usage:	4286480568	percentage:	0.748
2022-09-20 10:44:45	Processing rows:	2000000	Hashtable size:	1999999	Memory usage:	5207901112	percentage:	0.909
22/09/20 10:44:45 INFO exec.HashTableSinkOperator: 2022-09-20 10:44:45	Processing rows:	2000000	Hashtable size:	1999999	Memory usage:	5207901112	percentage:	0.909
22/09/20 10:44:45 ERROR spark.SparkMapRecordHandler: Error processing row: org.apache.hadoop.hive.ql.metadata.HiveException: Hive Runtime Error while processing row {"ap_invoice_distribution_id":"93445098","ap_invoice_id":"6642260","invoice_line_number":"1","ou_key":null,"product_key":null,"region_key":null,"account_key":null,"erp_channel_key":null,"org_key":null,"po_header_id":null,"po_release_id":null,"po_line_id":null,"currency_code":null,"base_currency_code":null,"distribution_type":null,"set_of_book_id":null,"gl_flag":null,"gl_date":null,"unit_price":null,"distribution_amount":null,"base_amount":null,"account_desc":null,"creation_date":null,"creator_id":null,"creator_name":null,"last_update_date":null,"last_updater_id":null,"last_updater_name":null,"etl_create_batch_id":null,"etl_last_update_batch_id":null,"etl_create_job_id":null,"etl_last_update_job_id":null,"etl_create_date":null,"etl_last_update_by":null,"etl_last_update_date":null,"etl_source_system_id":null,"etl_delete_flag":"N","prepay_distribution_id":null}
org.apache.hadoop.hive.ql.metadata.HiveException: Hive Runtime Error while processing row {"ap_invoice_distribution_id":"93445098","ap_invoice_id":"6642260","invoice_line_number":"1","ou_key":null,"product_key":null,"region_key":null,"account_key":null,"erp_channel_key":null,"org_key":null,"po_header_id":null,"po_release_id":null,"po_line_id":null,"currency_code":null,"base_currency_code":null,"distribution_type":null,"set_of_book_id":null,"gl_flag":null,"gl_date":null,"unit_price":null,"distribution_amount":null,"base_amount":null,"account_desc":null,"creation_date":null,"creator_id":null,"creator_name":null,"last_update_date":null,"last_updater_id":null,"last_updater_name":null,"etl_create_batch_id":null,"etl_last_update_batch_id":null,"etl_create_job_id":null,"etl_last_update_job_id":null,"etl_create_date":null,"etl_last_update_by":null,"etl_last_update_date":null,"etl_source_system_id":null,"etl_delete_flag":"N","prepay_distribution_id":null}
	at org.apache.hadoop.hive.ql.exec.MapOperator.process(MapOperator.java:494)
	at org.apache.hadoop.hive.ql.exec.spark.SparkMapRecordHandler.processRow(SparkMapRecordHandler.java:133)
	at org.apache.hadoop.hive.ql.exec.spark.HiveMapFunctionResultList.processNextRecord(HiveMapFunctionResultList.java:48)
	at org.apache.hadoop.hive.ql.exec.spark.HiveMapFunctionResultList.processNextRecord(HiveMapFunctionResultList.java:27)
	at org.apache.hadoop.hive.ql.exec.spark.HiveBaseFunctionResultList.hasNext(HiveBaseFunctionResultList.java:85)
	at scala.collection.convert.Wrappers$JIteratorWrapper.hasNext(Wrappers.scala:42)
	at scala.collection.Iterator$class.foreach(Iterator.scala:891)
	at scala.collection.AbstractIterator.foreach(Iterator.scala:1334)
	at org.apache.spark.rdd.AsyncRDDActions$$anonfun$foreachAsync$1$$anonfun$apply$12.apply(AsyncRDDActions.scala:127)
	at org.apache.spark.rdd.AsyncRDDActions$$anonfun$foreachAsync$1$$anonfun$apply$12.apply(AsyncRDDActions.scala:127)
	at org.apache.spark.SparkContext$$anonfun$38.apply(SparkContext.scala:2232)
	at org.apache.spark.SparkContext$$anonfun$38.apply(SparkContext.scala:2232)
	at org.apache.spark.scheduler.ResultTask.runTask(ResultTask.scala:90)
	at org.apache.spark.scheduler.Task.run(Task.scala:121)
	at org.apache.spark.executor.Executor$TaskRunner$$anonfun$11.apply(Executor.scala:407)
	at org.apache.spark.util.Utils$.tryWithSafeFinally(Utils.scala:1408)
	at org.apache.spark.executor.Executor$TaskRunner.run(Executor.scala:413)
	at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
	at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
	at java.lang.Thread.run(Thread.java:748)
Caused by: org.apache.hadoop.hive.ql.exec.mapjoin.MapJoinMemoryExhaustionException: 2022-09-20 10:44:45	Processing rows:	2000000	Hashtable size:	1999999	Memory usage:	5207901112	percentage:	0.909
	at org.apache.hadoop.hive.ql.exec.mapjoin.MapJoinMemoryExhaustionHandler.checkMemoryStatus(MapJoinMemoryExhaustionHandler.java:99)
	at org.apache.hadoop.hive.ql.exec.HashTableSinkOperator.process(HashTableSinkOperator.java:259)
	at org.apache.hadoop.hive.ql.exec.SparkHashTableSinkOperator.process(SparkHashTableSinkOperator.java:85)
	at org.apache.hadoop.hive.ql.exec.Operator.forward(Operator.java:882)
	at org.apache.hadoop.hive.ql.exec.FilterOperator.process(FilterOperator.java:126)
	at org.apache.hadoop.hive.ql.exec.Operator.forward(Operator.java:882)
	at org.apache.hadoop.hive.ql.exec.TableScanOperator.process(TableScanOperator.java:130)
	at org.apache.hadoop.hive.ql.exec.MapOperator$MapOpCtx.forward(MapOperator.java:146)
	at org.apache.hadoop.hive.ql.exec.MapOperator.process(MapOperator.java:484)
	... 19 more

这里好像比较清楚了。首先

Memory usage: 5207901112 percentage: 0.909

好像是内存到一个阈值了，然后就报错了。个人感觉是0.9

然后保错的具体原因是 org.apache.hadoop.hive.ql.exec.mapjoin.MapJoinMemoryExhaustionException

注意这个异常 一个mapjoin 一个memory 超过

这个时候有两个选择

1.直接百度   2.去查源码

肯定先选1

https://www.jianshu.com/p/962fa4b4ca13

得到解决答案  set hive.auto.convert.join=false

那么开始假装研究2

下载hive源码 找到 SparkMapRecordHandler类 ，搜索Error processing row

@Override
  public void processRow(Object key, Object value) throws IOException {
    if (!anyRow) {
      OperatorUtils.setChildrenCollector(mo.getChildOperators(), oc);
      anyRow = true;
    }
    // reset the execContext for each new row
    execContext.resetRow();

    try {
      // Since there is no concept of a group, we don't invoke
      // startGroup/endGroup for a mapper
      mo.process((Writable) value);
      if (LOG.isInfoEnabled()) {
        logMemoryInfo();
      }
    } catch (Throwable e) {
      abort = true;
      Utilities.setMapWork(jc, null);
      if (e instanceof OutOfMemoryError) {
        // Don't create a new object if we are already out of memory
        throw (OutOfMemoryError) e;
      } else {
        String msg = "Error processing row: " + e;
        LOG.error(msg, e);
        throw new RuntimeException(msg, e);
      }
    }

 注意这个代码 我们肯定是mo.process处理value的时候报错

那这个mo是啥呢？继续看

      if (mrwork.getVectorMode()) {
        mo = new VectorMapOperator(runtimeCtx);
      } else {
        mo = new MapOperator(runtimeCtx);
      }

这个是啥，看过我其他文章的我都会提到这个，这个vector叫矢量化，也就是看你开启矢量化

set hive.vectorized.execution.enabled=false;
set hive.vectorized.execution.reduce.enabled=false;

我们再看这两个mapOperator的process的区别 说实话源码有点难看。先不看了，根据日志是普通mapOperator()

日志里有

spark.SparkRecordHandler: maximum memory = 5726797824=5.33G

这个是因为我们之前设置的excutor.memory=6G，其中有一些reseverd啥的。

然后跑着跑着就快跑到了 5251681352。

这里就很奇怪 数据库里总数据才6000多w 我这个task直接处理了2400w都ok，

下面的处理了1000w怎么就开始叫唤了？没法继续看日志 

注意这个ui图 

node13 处理了 task 2 和task6  其中task2是因为node31的task2失败了重试的。

为什么node13 处理task2和6没失败呢？ 

task 6有24780000， task2有12314310

注意task2是在6都快干了一半的时候才开始的 。

再接着看node13的日志

task6 process  

Processing rows: 1700000 Hashtable size: 1699999 Memory usage: 2057941392 percentage: 0.359

task2 process 这里也勉强能够看到 0.49->0.544->0.448 这里变少了 肯定有GC

Processing rows: 5600000 Hashtable size: 5599999 Memory usage: 3490224928 percentage: 0.609

接着 我们看node23的日志

不看了，写的太累了。 还要各种截图。

简单的来说吧，为什么报错

executor node23就6G 两个任务同时运行GC 来不及，所以oom了。

怎么解决？

1.加大executor.memory 最简单的办法，所有任务都可以用这个。

2.注意这里是mapjoin，需要加载数据到内存里，所以别人的文章都是关闭convert.join

  我也试了确实ok

3.增加task的数量。如下图 这个文件格式如下 是真的垃圾。大的打 小的小

 看这个图很容易看出node13 和node23处理的数据差不多，只是数据分布不均而已。 

4.增加内存使用率 默认0.9 改为0.99  感觉就一点卵用

HIVEHASHTABLEMAXMEMORYUSAGE("hive.mapjoin.localtask.max.memory.usage", (float) 0.90,
    "This number means how much memory the local task can take to hold the key/value into an in-memory hash table. \n" +
    "If the local task's memory usage is more than this number, the local task will abort by itself. \n" +
    "It means the data of the small table is too large to be held in memory."),

5.看网上的文章也说过 好像是把大表的kv放到内存里了，那么可以尝试使用hint 指定mapjoin

6.gc太垃圾，换个好点的GC，这块研究不多只知道parallel GC cms

cclovezbf
关注
  • 5
    点赞
  • 踩
  • 11
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
惊!-hive on spark(hive任务)任务慢---竟然有这些原因！
weixin_45912745的博客
08-06 1483
hive性能慢的排查过程，hive on spark 任务慢
return code 3 from org.apache.hadoop.hive.ql.exec.spark.SparkTask.
ouzili的博客
01-29 1750
在hive on spark下跑任务报错
return code 3 from org.apache.hadoop.hive.ql.exec.spark.SparkTask. Spark job failed during runtime.
半岛铁盒的博客
12-02 957
spark配置
一百三十、海豚调度器——用DolphinScheduler定时调度HiveSQL任务
tiantang2renjian的博客
07-17 4524
用海豚调度器定时调度HiveSQL任务
一百八十一、Hive——海豚调度HiveSQL任务时当Hive的计算引擎是mr或spark时脚本的区别（踩坑，附截图）
tiantang2renjian的博客
09-21 509
海豚调度HiveSQL任务时当Hive的计算引擎是mr或spark时脚本的区别（踩坑，附截图）
Spark 内存运用
记录点点滴滴
03-02 1025
当同一个 RDD 被引用多次时，就可以考虑进行 Cache，从而提升作业的执行效率。
Hive on Spark源码分析DOC
12-18
Hive on Spark 源码分析是指将 Hive 默认的执行引擎 MapReduce 换成 Spark 或者 Tez，以满足实际场景中的需求。本文将对 Hive on Spark 的源码进行深入分析，涵盖其基本原理、运行模式、Hive 解析 HQL、Spark 上下文...
基于CDH 6.3.0 搭建 Hive on Spark 及相关配置和调优
05-25
CDH6针对hive on spark的调优文档，这个是生产的实战经验
hive on tez 常见报错问题收集
01-26
这里我们将深入探讨五个在Hive on Tez中常见的报错问题及其解决方案。 1. 错误一：Failing because I am unlikely to write too。 这个问题是由于Hive中的一个已知bug，具体问题可以在Apache JIRA的HIVE-16398中...
Hive on Spark实施笔记1
08-08
在测试阶段，可以执行一个触发聚合计算的Hive SQL查询，例如`SELECT COUNT(*) FROM table`。如果集成正常，日志输出应该符合预期。 参考文档包括Apache官方的Hive on Spark指南、Spark运行在YARN上的文档，以及相关...
Hive on Spark EXPLAIN statement
03-27
Hive on Spark EXPLAIN statement : 讲述了 Common Join / Map join / Bucket Map Join / Sorted Merge Bucket Map Join / skew join 在explain 中的 树结构 。In Hive, command EXPLAIN can be used to show the ...
hive on spark 线上问题排查案例分享
数据一哥，公众号：数据社
11-08 5834
来源：明哥的IT笔记 编辑：数据社全文共2320个字，建议阅读10分钟大家好，今天看到明哥分享一个某业务系统的线上 hive on spark 作业在高并发下频现作业失败问题的原因分析和解决方法，希望对大家有所帮助。01 问题现象某业务系统中，HIVE SQL 以 hive on spark 模式运行在 yarn上指定的资源队列下，在业务高峰期发现部分 SQL 会报错，但重试有时又能够成功...
SparkSql执行到sql语句就会报错
qq_41626645的博客
10-30 1498
18/10/30 11:52:17 INFO yarn.Client:       client token: Token { kind: YARN_CLIENT_TOKEN, service:  }      diagnostics: N/A      ApplicationMaster host: 10.16.208.172      ApplicationMaster RPC port: 0...
hive的left join 陷阱
libing101007的博客
12-19 1039
hive中，左连接操作不能在on的右边加不等式条件。比如在hive中不能进行如下操作： select * from tabel_1 a left join table_2 b on a.id=b.id and a.salary>b.salary 会出现报错。有人给出的答案是把上面语句改成： select * from tabel_1 a left join table_2 b on a.id...
spark-sql异常整理
记录
08-18 364
执行 sparkSession.sql("select * from test").show(1)时报以下错误 第一反应是包冲突，但是在idea里找了下，发现janino包只有一个 后面搜了下，是版本兼容问题，到https://mvnrepository.com/artifact/org.codehaus.janino/janino搜了一圈，换了最新版本还是不行，有点懵逼不知道到底该用哪个版本，后面忽然想到/spark-3.0.0/jars目录下有这些包。 改成如下，问题完美解决 ...
spark sql on hive报错FAILED: Execution Error, return code 3 from org.apache.hadoop.hive.ql.exec.spark.
AiBigData的博客
05-08 6988
Spark sql on hive报如下的错误 ob failed with org.apache.spark.SparkException: File ./hiveforudf-0.0.5-SNAPSHOT-jar-with-dependencies.jar exists and does not match contents of .../hiveforudf-0.0.5-SNAPSHOT-jar-with-dependencies.jar FAILED: Execution Error, return
hive计算，报错FAILED: return code 3 fromorg.apache.hadoop.hive.ql.exec.mr.MapredLocalTask
qq_40202995的博客
03-07 1243
hive计算，报错FAILED: return code 3 fromorg.apache.hadoop.hive.ql.exec.mr.MapredLocalTask
spark报错解决
最新发布
weixin_47685215的博客
11-09 689
"JCE cannot authenticate the provider BC" 这个错误通常意味着Java环境在尝试使用Bouncy Castle提供的加密算法时，无法验证该提供者的身份。Java Cryptography Extension (JCE)和Bouncy Castle (BC)提供者认证相关的问题。
线上 hive on spark 作业执行超时问题排查案例分享
明哥的IT随笔
11-08 2902
m分享一个某业务系统的线上 hive on spark 作业在高并发下频现作业失败问题的原因分析和解决方法
hive on spark 报错GC overhead limit exceeded
08-18
- *1* *2* *3* [spark程序运行异常：java.lang.OutOfMemoryError: GC overhead limit exceeded](https://blog.csdn.net/sigurwang/article/details/107362066)[target="_blank" data-report-click={"spm":"1018.2226...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值