- 博客(3)
- 收藏
- 关注
RSS订阅原创 Spark & Hive集成
Spark & Hive集成 代码 修改hive-site.xml <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://CentOS:3306/hive?createDatabaseIfNotExist=true</value> </property> <property> <name>ja
2020-11-04 21:20:46
56
原创 Spark 内存计算
List item Apache Spark 概述 Spark是一个快如闪电的统一分析引擎（计算框架）用于大规模数据集的处理。Spark在做数据的批处理计算，计算性能大约是Hadoop MapReduce的10~100倍，因为Spark使用比较先进的基于DAG任务调度，可以将一个任务拆分成若干个阶段，然后将这些阶段分批次交给集群计算节点处理。 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-0cFwIGjI-1604494897957)(assets/image-20200.
2020-11-04 21:06:32
350
原创 Spark jars依赖问题
Spark jars依赖问题 1、可以使用–packages或者–jars解决依赖问题 [root@CentOS ~]# spark-submit --master spark://CentOS:7077 --deploy-mode client --class com.baizhi.outputs.SparkWordCountApplication --name RedisSinkDemo --total-executor-cores 6 --packages redis.clients:jedi..
2020-10-29 17:31:31
597
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人