![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
还没想好116
这个作者很懒,什么都没留下…
展开
-
Spark原理
Spark概述Spark效率高、运行速度快的原因:内存计算(将数据加载到内存中计算)DAG有向无环图设计机制(可以对数据的处理进行优化,使得数据处理像流水线般作业,效率高)Spark使用简单:支持Scala、Python、Java、R等语言Spark的通用性:具备完整的解决方案:Sql查询:Spark SQL流式计算:Spark Streaming机器学习:Spark MLlib图数据计算:Spark GraphXSpark运行模式多样化:单机版本独立的集群模原创 2020-10-31 16:18:47 · 218 阅读 · 0 评论 -
Hadoop和Spark的区别和联系
大数据时代我们现处于一个大数据的时代,信息呈现指数级的暴增,这里的信息主要是非结构化的数据。结构化数据:运营数据、公司的经营数据、销售数据等可以在数据库中存储、管理的数据非结构化数据:聊天记录、发送的邮件、视频、图片、文本等数据随着科技的进步,这些非结构化的数据激增,我们可以利用这些大量数据进行统计、分析、挖掘出具有价值的信息,利用通过统计大量人群的购买记录,给用户推荐再看物品的相似物品;通过大量邮件信息的统计,可以过滤出垃圾邮件等等。这些非结构化的数据,并不好处理。图像和视频需要图像处理和计原创 2020-10-29 20:03:22 · 2197 阅读 · 2 评论 -
spark安装及环境配置(win10)
本人环境:win10以下所有安装包均打包在百度网盘中,可以下载使用需要安装的包:JdkHadoopSparkScalaJDK:下载官网往下拉,选择JAVA SE 8根据选择自己需要的版本号,本人下载的是jdk-8u211-windows-x64环境变量配置Scala:下载网址本人下载的是2.13.3版本的环境变量配置:下载后即配置好,无需再配置...原创 2020-10-25 17:10:36 · 2727 阅读 · 0 评论