自定义博客皮肤VIP专享

*博客头图：

点击选择上传的图片

格式为PNG、JPG，宽度*高度大于1920*100像素，不超过2MB，主视觉建议放在右侧，请参照线上博客头图

请上传大于1920*100像素的图片！

博客底图：

点击选择上传的图片

图片格式为PNG、JPG，不超过1MB，可上下左右平铺至整个背景

栏目图：

点击选择上传的图片

图片格式为PNG、JPG，图片宽度*高度为300*38像素，不超过0.5MB

主标题颜色：

RGB颜色，例如：#AFAFAF

Hover：

RGB颜色，例如：#AFAFAF

副标题颜色：

RGB颜色，例如：#AFAFAF

预览取消提交

自定义博客皮肤

上一步保存

weixin_43690478的博客

qwerdf@QAQ CSDN认证博客专家 CSDN认证企业博客

码龄6年

暂无认证

38: 原创

16万+: 周排名

119万+: 总排名

2万+: 访问

: 等级

432: 积分

3: 粉丝

5: 获赞

4: 评论

22: 收藏

私信

关注

分类专栏

推荐系统 2篇
hiveSQL 4篇
正则表达式 1篇
java 3篇
scala 8篇
sparkStreaming 1篇
sparkSQL 1篇
sparkCore 5篇
javaAndScala 1篇
idea 1篇

最新评论

HiveSQL常用操作
CSDN-Ada助手: 你的文章质量不错，值得学习！但还有一点小瑕疵，具体如下：(1)增加内容的多样性(例如使用标准目录、标题、图片、链接、表格等元素)；(2)使用更多的站内链接；(3)增加条理清晰的目录。
Spark的Driver和Executor端代码划分
qwerdf@QAQ: 如果是本地模式，默认是逻辑cpu的个数，像我的电脑四核八线程，逻辑cpu个数最大8个。如果想测试，可以将spark代码提交到集群，模式设置为client，然后通过yarn进入spark的web界面，找到environment选项查看实际运行环境及参数。下面这个是简单的生产环境用的一些参数，可以参考下 #!/bin/sh BIN_DIR=$(cd `dirname $0`; pwd) #BIN_DIR="$(cd $(dirname $BASH_SOURCE) && pwd)" LOG_DIR=${BIN_DIR}/../logs LOG_TIME=`date +%Y-%m-%d` #main函数传入参数 inputFile='hdfs://192.168.226.88:8020/xxx/input/wordcountInput.txt' outputFile='hdfs://192.168.226.88:8020/xxx/output' spark-submit --class WordCountV2 \ --master yarn \ --deploy-mode client \ --queue default \ –driver-memory 15g \ --executor-cores 15 \ --executor-memory 8g \ --num-executors 50 \ --jars /opt/cloudera/parcels/HADOOP_LZO/lib/hadoop/lib/hadoop-lzo.jar \ /home/spark/jars/myJars/spark-wordCount-2.0-SNAPSHOT.jar $inputFile $outputFile > ${LOG_DIR}/wordcount_${LOG_TIME}.log 2>&1 说明： --driver-memory 设置driver端内存大小，默认1g 如果需要使用**collect**算子将RDD的数据全部拉取到Driver上进行处理，那么必须确保Driver的内存足够大，否则会出现OOM内存溢出的问题（代码中不要出现collect，除非在你知道数据量小的情况下）。 --executor-cores 该参数为设置每个executor能够使用的CPU core的数量
Spark的Driver和Executor端代码划分
daleHaven: 博主您好,请问Local[2]当中的2是指的使用两个Core么?还是说指定了两个num-exec?请问我该如何在代码中设置num-exec呢?我想在代码中进行调试.

sparkSQL

关注

文章平均质量分 91

关注数：文章数：1 文章阅读量：675 文章收藏量：0

作者: qwerdf@QAQ

present～

展开

SparkSQL常用操作

1.spark1.6 import org.apache.spark.{SparkConf, SparkContext} import org.apache.spark.rdd.RDD import org.apache.spark.sql.types._ import org.apache.spark.sql.{DataFrame, Row, SQLContext} object Demo01 { def main(args: Array[String]): Unit = { val con

原创 2020-07-29 01:23:28 · 675 阅读 · 0 评论

sparkSQL

作者: qwerdf@QAQ

SparkSQL常用操作