discover使用手册

本文档介绍了如何在Rstudio中使用discoverR包进行大数据处理。首先,通过discover.init()函数初始化本地或YARN模式的多任务进程,并详细阐述了函数参数的用法。特别是keytabPath和inceptor_mode参数,以及如何通过指定sparkConfig来配置Spark相关设置。此外,还提到了查看函数帮助文档的方法,以帮助用户深入理解和使用discoverR包。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

    1. discoverR入门

以Rstudio为例,在下图的登陆界面上我们输入账户密码(Discover产品默认创建discover用户,密码:123456),进入Rstudio的web开发界面。

在命令行输入下面的命令后,就可以使用discoverR包的相关分布式算法函数了。

library(discoverR)

      1. discover入口函数及获取函数帮助

通常来说,用户使用的第一个discoverR函数是discover.init(),这个函数用于初始化一个local模式或yarn 模式的多任务进程。作为discoverR包的门户函数,我们在discover.init()函数的help说明中添加了详细的使用教程,除了该函数自身的参数及相关说明外,还有使用discoverR包的标准案例和API接口打开方式。下面请在命令行中输入问号加函数名(如下所示)可以查看该函数的help文档:

?discover.init

该函数有keytabPath,master,inceptor_mode,sparkHome,sparkConfig,sparkJars,sparkPackages等常用参数。注意:

  1. 只有在yarn组件开启了Kerberos安全模式时,keytabPath参数才会起作用,其对应的是用户认证文件位

置,如没有特别指定,则默认读取Sys.getenv('HOME')下面的.keytab文件。

  1. inceptor_mode参数对应的是数仓Inceptor的认证模式(一般为"none" "simple" "ldap" "kerberos"这四种模式之一),5.1版本下该参数既可以在discover.init函数中指定,也可以在txSqlConnect函数中指 定,都设置了的情况下以后者为主。

  1. sparkConfig中可以指定spark相关配置,可配参数有"spark.master" "spark.yarn.keytab" "spark.yarn.principal" "spark.driver.memory" "spark.executor.memory" "spark.executor.instances" "spark.driver.extraClassPath" "spark.driver.extraJavaOptions" "spark.driver.extraLibraryPath", 若该参数不为空,相关sprk资源配置以该参数为主。

  1. sparkJars参数可用于加载外部jar包,需对该jar包有’r-x’的权限。

此外,我们还可以在查看标准案例(discoverR详细教程)和函数API文档聊了解discoverR包详细的使用方

法。

  • 查看函数API接口(help文档)

help(package = "discoverR")

即可查看discoverR包中所有函数的API文档。


评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值