![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
FeelBreak
这个作者很懒,什么都没留下…
展开
-
Spark 作业提交、分发、执行的大致流程
Spark on Yarn WordCount的执行流程本篇内容脚本提交篇SparkSubmit 类的main函数Spark WordCount的用户代码WordCount程序的执行流程创建SparkConf创建SparkContextSparkContext类图 ![SparkContext类图](https://img-blog.csdnimg.cn/20190702163232112.png...原创 2019-07-02 17:47:25 · 1157 阅读 · 0 评论 -
Hadoop框架MapReduce客户端Job提交过程
Hadoop MapReduce 客户端提交Job的过程MapReduce WordCount的示例代码package MapReduceLearn.MapReduceLearn.Art;import java.io.IOException;import java.util.StringTokenizer;import org.apache.hadoop.conf.Configura...原创 2019-07-10 17:40:23 · 354 阅读 · 0 评论 -
HBase业务代码在linux上执行的几种方式
HBase代码在linux上执行的几种方式Scala object的方式编译Scala Object文件export HBASE_CLASSPATH=`hbase classpath`scalac -classpath "$HBASE_CLASSPATH" ${用户的scala文件}# 注意,用户的scala文件中需要定义main函数 使用scala执行编译好的scala cl...原创 2019-08-06 19:40:23 · 309 阅读 · 0 评论 -
Spark standalone 与 GlusterFS 配合使用
Spark with glusterfs测试设备架构测试环境搭建过程搭建GlusterFS,测试环境中用的是两个节点做GlusterFS,备份数是两份搭建Spark Standalone环境,三台机器做Spark Standalone集群,其中每台GlusterFS上都要配置为Spark的Worker机三台Spark机器上都要挂载glusterfs的文件到同一个目录mount -t ...原创 2019-09-10 16:09:24 · 327 阅读 · 0 评论