![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spark
文章平均质量分 68
要努力啊要努力
这个作者很懒,什么都没留下…
展开
-
GraphFrame 初试
GraphX基于RDD API,不支持Python API;但GraphFrame基于DataFrame,并且支持Python API。 “GraphFrames is a DataFrame-based external Spark package that provides performance optimizations and also additional functional原创 2018-01-07 21:44:02 · 5808 阅读 · 0 评论 -
SparkSQL UDF 两种方式:udf() 和 register()
1)调用sqlContext.udf.register() 此时注册的方法 只能在sql()中可见,对DataFrame API不可见 用法:sqlContext.udf.register("makeDt", makeDT(_:String,_:String,_:String)) 示例: def makeDT(date: String, time: String, tz: St原创 2016-09-04 16:11:25 · 13418 阅读 · 1 评论 -
Spark master local配置
local 本地单线程 local[K] 本地多线程(指定K个内核) local[*] 本地多线程(指定所有可用内核) spark://HOST:PORT 连接到指定的 Spark standalone cluster master,需要指定端口。 mesos://HOST:PORT 连接到指定的 Mesos 集群,需要指定端口。 yarn-client客户端模式 连接到 YARN 集群。需要配置...原创 2016-09-03 15:08:43 · 5076 阅读 · 0 评论