spark命令行解析与找不到类scopt.OptionParser

最新推荐文章于 2020-08-09 18:19:28 发布
最新推荐文章于 2020-08-09 18:19:28 发布
阅读量1.8k 收藏
点赞数
分类专栏： spark 文章标签： 大数据 scala java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dashabiooo/article/details/84821110
版权

问题一:解析spark-submit命令行参数的时候用到了第三方包scopt，该包需要引入

<dependency>
  <groupId>com.github.scopt</groupId>
  <artifactId>scopt_2.10</artifactId>
  <version>3.2.0</version>
</dependency>

，引入之后直接使用idea打包(build-build artifacts-rebuild)报错：找不到类scopt.OptionParser

然后

最低0.47元/天 解锁文章
dashabiooo
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
spark 与hadoop分开部署_Spark项目案例实战和分布式部署
weixin_39623805的博客
11-26 516
前面讲到Hbase的时候可以通过Java API的方式操作Hbase数据库，由于Java和Scala可以互相调用，本节使用Scala语言通过Spark平台来实现分布式操作Hbase数据库，并且打包部署到Spark集群上面。这样我们对Spark+Scala项目开发有一个完整的认识和实际工作场景的一个体会。我们创建一个Spark的工程，然后创建一个HbaseJob的object类文件，项目的功能是从H...
Spark 应用程序参数解析
chen8766250的博客
06-23 1722
Spark 应用程序参数解析 在编写Spark 应用程序时，往往我们需要传递很多参数给main函数，比如如下所示： 我们定义的main函数  -->  def main(args: Array[String])  比如我们需要传递如下几个参数： rank ，numIterations ，lambda 为了方便，我们先定义传入参数的顺序，直接把值写在调用程序的后面，但是存在一个问题，如果参数
Scala_scopt 解析命令行参数
hyj
08-09 2106
一、说明 1、在做spark项目时，在命令行提交任务时，可以利用 --参数名：参数进行动态传参； 2、操作步骤 (1)首先写个表示配置的case class类，里面为每一个参数指定默认值； (2)onfig 配置对象作为参数传递给action回调； (3)解析命令行参数； 二、操作演示 1、代码 package com.cn import org.apache.spark.{SparkConf, SparkContext} import scopt.OptionParser obj..
使用scopt解析命令行参数
xiaozhaoshigedasb的博客
01-25 1597
val parser = new scopt.OptionParser [Config]（“scopt”）{ head（“scopt”，“3.x”） opt [Int] （'f'，“foo”）动作{（x，c）=&amp;gt; c.copy（foo = x）} text（“foo是一个整数属性”） opt [File]（'o'，“out” &amp;lt; file&amp;gt;“）action {（...
scopt解析参数实例
bitcarmanlee的博客
07-15 1936
1.简介 scopt是github上有人开发的一个用来解析参数的轻量级小工具，对于日常解析参数的场景基本够用，项目中使用也比较多，现在稍微记录一下用法。 2.依赖 在pom.xml文件中加入以下依赖 <dependency> <groupId>com.github.scopt</groupId> <artifactId>scopt_2.10</artifactId>
python命令行参数解析OptionParser类用法实例
12-23
本文实例讲述了python命令行参数解析OptionParser类的用法，分享给大家供大家参考。 具体代码如下： from optparse import OptionParser parser = OptionParser(usage="usage:%prog [optinos] filepath") parser....
Java 命令行解析器 JOpt Simple.7z
07-06
此外，您可以利用`OptionParser`类来定义更复杂的命令行结构。 通过深入理解并充分利用JOpt Simple的功能，开发者可以构建出功能强大且易于使用的命令行接口，提高Java应用程序的用户体验。无论是在开发简单的工具...
基于Java的实例源码-命令行解析器 JOpt Simple.zip
最新发布
06-30
然后，创建一个`OptionSet`实例，通过`Parser`类解析命令行参数： ```java OptionParser parser = new OptionParser(); OptionSet options = parser.parse(args); ``` ### 4. 解析命令行参数 解析完成后，可以...
Python命令行参数解析模块optparse使用实例
09-22
主要介绍了Python命令行参数解析模块optparse使用实例,本文讲解了增加选项(add_option())、行为(action)、设置默认值(default)、生成帮助提示(help)、设置boolean值、错误处理、选项组(Grouping Options)等内容,需要...
spark升级后无logging类
08-11
在使用spark读取kafka数据时，当spark升级到2.0之后，出现如上问题：之前遇到了，当时在工程里面添加了org.apache.spark.Logging类，能够运行。
Java 命令行解析器 JOpt Simple
06-02
4. 使用OptionParser解析命令行参数，将结果存入OptionSet。 5. 从OptionSet中获取选项和参数值，进行业务逻辑处理。 在提供的压缩包`pholser-jopt-simple-df866e0`中，可能包含了JOpt Simple的源码、文档、示例...
使用Intellij IDEA过程中遇到的问题
qq_36244623的博客
10-28 365
万能的Intellij IDEA利器 概述 现如今编码工具琳琅满目从最初的notapad++、MyEclipse和eclipse到现在更便捷化的Intellij IDEA工具，尽管idea是如此的的便捷，但在使用idea的过程中会遇到这样那样的问题，今天提到着重描述一个问题，以及解决方案。 问题（一）描述 使用Intellij IDEA创建maven工程后，启动tomcat，提示找不到配置文件：c...
【error】intellij idea报错处理
热门推荐
xn_28的专栏
03-06 1万+
报错： intellij idea一运行就报错，找不到类解决方法： 打开project structures(alt+ctrl+shift+s)，查看project–out和module–path–out设置的目录是否存在。 一般module–path–out设置的是target目录下的，但是首次运行时没有target目录的，必须先用maven build一下才会生成，所以要么改out路径，要
利用OptionParser在命令中加入参数
python|大数据爱好者Alvin
07-04 1694
手动导入一天的数据# -*- coding:utf-8 -*- #__author__ = 'ecaoyng' # date : 20170627 from optparse import OptionParser import commandsclass pmImport: def __init__(self, nwid, dateTime, prio, dir): sel
Spark读取配置
xiao_jun_0820的专栏
12-02 5483
转自：https://github.com/keepsimplefocus/spark-sourcecodes-analysis/blob/master/markdowns/Spark%E8%AF%BB%E5%8F%96%E9%85%8D%E7%BD%AE.md Spark读取配置 我们知道，有一些配置可以在多个地方配置。以配置executor的memory为例，有以下三种方式： 1. s
day03--传参统一管理之OptionParser
mapeng765441650的博客
01-10 501
在应用中，启动任务经常需要使用Array[String] 传参的方式，本文将重点介绍OptionParser方式 1.pom添加依赖 <dependency> <groupId>net.sf.jopt-simple</groupId> <artifactId>jopt-simple</art...
Spark中组件Mllib的学习4之examples中的MovieLensALS修改本地运行
Keep Learning
05-16 2579
环境： spark-1.5.2在idea中自己定义的project中local模式运行，需要注意几个地方：1.文件导入： MovieLensALS.scala 和AbstractParams.scala 其中继承了MovieLensALSAbstractParams，如果不导入AbstractParams会报错2.maven 的pom导入包<?xml version="1.0" encodi
scala中scopt编写可以扩展解析参数的方法
06-01
在 Scala 中，可以使用 Scopt 库来解析命令行参数。Scopt 提供了一些默认的参数解析方法，但是有时候我们需要自定义一些参数的解析方法。下面是一个扩展解析参数的示例： ```scala import scopt.OptionParser case class Config(input: String = "", output: String = "", verbose: Boolean = false) object MyApp { def main(args: Array[String]): Unit = { val parser = new OptionParser[Config]("my-app") { opt[String]("input") .required() .action((value, config) => config.copy(input = value)) .text("input file path") opt[String]("output") .required() .action((value, config) => config.copy(output = value)) .text("output file path") opt[Unit]("verbose") .action((_, config) => config.copy(verbose = true)) .text("enable verbose output") } parser.parse(args, Config()) match { case Some(config) => // 执行你的代码，使用 config.input、config.output、config.verbose 等参数 case None => // 解析失败，输出错误信息 } } } ``` 在上面的示例中，我们定义了一个 Config 类来存储命令行参数的值。然后，我们使用 Scopt 的 OptionParser 来解析命令行参数。我们定义了三个参数：input、output 和 verbose。其中，input 和 output 是必须的参数，而 verbose 是可选的参数。我们使用 `opt` 方法来定义参数，使用 `action` 方法来指定参数的处理方法。在 `action` 方法中，我们可以使用 `config.copy` 方法来创建一个新的 Config 对象，并更新相应的参数值。最后，我们在 `parser.parse` 方法中解析命令行参数，并根据解析结果执行相应的代码。 需要注意的是，Scopt 提供了很多默认的参数解析方法，例如解析字符串、数字、布尔值等。如果你需要自定义一些特殊类型的参数解析方法，可以使用 `opt[类型]` 方法来定义参数，并使用 `action` 方法来指定参数的处理方法。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值