- 博客(11)
- 收藏
- 关注
RSS订阅原创 spark知识总结
(基于Hadoop的MapReduce的优缺点）MapReduce是一个分布式运算程序的编程框架，是用户开发“基于Hadoop的数据分析应用”的核心框架MapReduce是一种用于处理大规模数据集的编程模型和计算框架。它将数据处理过程分为两个主要阶段：Map阶段和Reduce阶段。在Map阶段，数据被分割为多个小块，并由多个并行运行的Mapper进行处理。在Reduce阶段，Mapper的输出被合并和排序，并由多个并行运行的Reducer进行最终的聚合和计算。
2024-05-16 19:43:58
1119
原创 柱状图代码案例
<script src ="js/echarts.js" ></script><div id="main" style="width: 900px; height: 600px"></div>var myChart = echarts.init(document.getElementById("main"));
2024-04-15 09:46:17
291
1
原创 在scala环境实现99乘法表案例
在indea右上角齿轮设置找到plugins。然后新建一个project。首先配置下scala环境。直接进行一个代码编写。
2024-03-14 20:04:34
382
原创 曼巴早上五点直接进行一个spark与scala的安装操作
然后source /etc/profile使环境变量生效，接着scala -version查看是否安装成功，出现画线版本号即为成功。最后输入spark-submit --version查看是否成功，如图下即为成功。启动集群，spark下sbin目录下，./start-all.sh。然后使用xftp将下载好的安装包传输到虚拟机（VMware）下载完成之后进入虚拟机环境去解压tgz安装包。下一步就是进入虚拟机配置scala的环境了。先到官网下载一个自己需要的spark版本。之后就是配置spark的环境。
2024-03-11 05:00:00
391
原创 数据可视化柱状图代码案例
<script src ="js/echarts.js" ></script><div id="main" style="width: 900px; height: 600px"></div>var myChart = echarts.init(document.getElementById("main"));
2024-03-10 22:16:52
327
原创 今天来认识一下无聊的spark和scala基础理知识
Spark 应用程序计算的整个过程可以调用不同的组件，如 Spark Streaming 的实时流处理应用、SparkSQL的即席查询、BlinkDB 的权衡查询、MLlib/MLBase 的机器学习、GraphX的图处理和SparkR的数学计算等。Scala 是一种纯粹的面向对象的语言，每个值都是对象。一般情况下，对于迭代次数较多的应用程序，Spark程序在内存中的运行速度是Hadoop MapReduce运行速度的100多倍，在磁盘上的运行速度是Hadoop MapReduce运行速度的10多倍。
2024-03-10 21:58:24
938
原创 code 下载安装
先进visual studio code官网。找到windows x64下载。此外，还需安装两个扩展，分别是。进入之后首先要下载中文扩展包。下载完成之后直接安装即可。
2024-03-04 08:58:54
410
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人