![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
以实战为线索,深入了解Spark Core、SparkSQL、SparkStream的各个原理和细节
小码爱撞墙
这个作者很懒,什么都没留下…
展开
-
windows 客户端使用IDEA远程调试Linux中 spark 代码
Remote连接在进行完一下操作之后,就可以连接到Linux的spark步骤:Run -> Edit Configurations... -> Remote -> spark -> Host(虚拟机的ip地址) Post(10000端口)SFTP连接SFTP连接的作用就是可以在IDEA中查看和操作Linux中的文件步骤: Tools -> Deployment ->Configurations ...原创 2021-03-23 16:41:38 · 32480 阅读 · 0 评论 -
Command line is too long. Shorten command line for project or also for Application default configura
解决方案在.idea中找到workspace.xml文件在这个文件里面添加<property name="dynamic.classpath" value="true" />原创 2021-03-11 18:56:19 · 47400 阅读 · 0 评论 -
Spark实操
https://blog.csdn.net/bingdianone/article/details/85013293?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-4.control&dist_request_id=&depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLe原创 2021-03-10 11:52:11 · 47590 阅读 · 0 评论 -
SparkSession导入
import org.apache.spark.sql.SparkSessionval spark = SparkSession.builder().appName("DataFrameApp").master("local[2]").getOrCreate()原创 2021-03-10 11:51:36 · 48874 阅读 · 0 评论 -
Spark概述
Spark是什么Apache Spark是一个快速的、多用途的集群计算系统,相对于Hadoop MapReduce将中间结果保存在磁盘中,Spark使用了内存保存中间结果,能在数据尚未写入磁盘时在内存中进行运算。 Spark只是一个计算框架,不像Hadoop一样包含了分布式文件系统和完备的调度系统,如果要使用Spark,需要搭载其它的文件系统和成熟的调度系统Spark的特点 速度快 Spark在内存运行时速度是Hadoop MapReduce的100倍...原创 2021-03-07 13:41:14 · 48491 阅读 · 0 评论