spark
文章平均质量分 60
会编程的李较瘦
编程人生,代码话人生!
展开
-
spark读取mysql中数据并进行数据分析案例---mysql经典50题
spark处理mysql经典50题原创 2023-11-22 22:57:06 · 689 阅读 · 0 评论 -
Spark抽取mysql中的数据到Hive中
提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档文章目录思路一、案例介绍二、具体步骤1.编写scala程序完成从mysql讲数据导出成csv文件2.打包成jar包提交到集群上3.将hdfs上的这个文件下载到本地目录下4.将本地数据文件的数据加载到hive中总结思路spark抽取mysql中的数据到hive中,可通过以下2步完成:1.先将mysql中的数据抽取到存放再hdfs上的一个文件(.csv,.txt)2.再讲文件通过load命令加载到hive中下面用具体案例演示一.原创 2021-10-20 10:15:22 · 6057 阅读 · 6 评论 -
SparkRDD的行动操作
和转化操作类似,所有简单 RDD 支持的行动操作在键值对 RDD 上也是管用的,同时它还有一些更加编辑的行动操作。countByKey()对每个键对应的元素分别计数。在 spark-shell 中输入如下代码:截图如下:0llookup()返回给定键对应的所有值。在 spark-shell 中输入如下代码:截图如下:collectAsMap()将结果以映射表的形式返回,方便查询。在 spark-shell 中输入如下代码:截...原创 2021-09-24 16:47:22 · 222 阅读 · 0 评论 -
SparkRDD转换操作
1.reduceByKey(func)合并具有相同键的值。在 spark-shell 中输入如下代码:截图如下:2.groupByKey()对具有相同键的值进行分组。在 spark-shell 中输入如下代码:截图如下:3.mapValues(func)对键值对 RDD 的每个值应用一个函数而不改变对应的键。在 spark-shell 中输入如下代码:截图如下:flatMapValues(func)对键值对 RDD 中...原创 2021-09-24 16:27:55 · 655 阅读 · 0 评论 -
Spark-Shell的启动与运行
一、运行spark-shell命令执行spark-shell命令就可以进入Spark-Shell交互式环境。命令如下:spark-shell --master <master-url>上述命令中,–master表示指定当前连接的Master节点,master-url用于指定spark的运行模式,可取的参考值如下所示:参数名称功能描述liocal使用一个Worker线程本地化运行Sparkliocal[*]本地运行spark,其工作线程数量与本机CPU逻原创 2021-08-09 14:18:45 · 2824 阅读 · 0 评论 -
Spark2.1.0安装和配置
一、scala的安装与配置1.scala的下载下载地址为:scala下载地址2.scala的安装与配置(1)安装包的解压tar -zxvf scala-2.12.14.tgzmv scala-2.12.14 /export/software/(2)环境变量的配置在命令行中输入如下命令,打开profile配置文件vi /etc/profile打开profile文件后在文件末尾加入如下配置语句:然后再命令行中输入source/etc/profile使环境变量生效。在命令行输入sc原创 2021-07-27 15:24:58 · 903 阅读 · 0 评论