-
- discoverR入门
以Rstudio为例,在下图的登陆界面上我们输入账户密码(Discover产品默认创建discover用户,密码:123456),进入Rstudio的web开发界面。
|
在命令行输入下面的命令后,就可以使用discoverR包的相关分布式算法函数了。
library(discoverR)
-
-
- discover入口函数及获取函数帮助
-
通常来说,用户使用的第一个discoverR函数是discover.init(),这个函数用于初始化一个local模式或yarn 模式的多任务进程。作为discoverR包的门户函数,我们在discover.init()函数的help说明中添加了详细的使用教程,除了该函数自身的参数及相关说明外,还有使用discoverR包的标准案例和API接口打开方式。下面请在命令行中输入问号加函数名(如下所示)可以查看该函数的help文档:
?discover.init
|
该函数有keytabPath,master,inceptor_mode,sparkHome,sparkConfig,sparkJars,sparkPackages等常用参数。注意:
- 只有在yarn组件开启了Kerberos安全模式时,keytabPath参数才会起作用,其对应的是用户认证文件位
置,如没有特别指定,则默认读取Sys.getenv('HOME')下面的.keytab文件。
- inceptor_mode参数对应的是数仓Inceptor的认证模式(一般为"none" "simple" "ldap" "kerberos"这四种模式之一),5.1版本下该参数既可以在discover.init函数中指定,也可以在txSqlConnect函数中指 定,都设置了的情况下以后者为主。
- sparkConfig中可以指定spark相关配置,可配参数有"spark.master" "spark.yarn.keytab" "spark.yarn.principal" "spark.driver.memory" "spark.executor.memory" "spark.executor.instances" "spark.driver.extraClassPath" "spark.driver.extraJavaOptions" "spark.driver.extraLibraryPath", 若该参数不为空,相关sprk资源配置以该参数为主。
- sparkJars参数可用于加载外部jar包,需对该jar包有’r-x’的权限。
此外,我们还可以在查看标准案例(discoverR详细教程)和函数API文档聊了解discoverR包详细的使用方
法。
- 查看函数API接口(help文档)
help(package = "discoverR")
即可查看discoverR包中所有函数的API文档。