![](https://img-blog.csdnimg.cn/20190927151026427.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
大数据
文章平均质量分 90
大数据
一顿吃不饱
这个作者很懒,什么都没留下…
展开
-
云计算与大数据复习题
云计算与大数据复习题人们通常最熟悉结构化数据的分析。除了半结构化、“准”结构化和非结构化这三种基本数据类型以外,还有一种重要的数据类型为元数据,它主要由( ),能够添加到数据集中。A.人工输入B.机器生成C.自然产生D.分析计算数据多样性指的是大数据解决方案需要支持多种( )、不同类型的数据。数据多样性给企业带来的挑战包括数据聚合、数据交换、数据处理和数据存储等。A.不同大小B.不同方向C.不同格式D.不同语言( )、传感器和数据采集技术的快速发展、通过云原创 2021-12-24 14:46:52 · 1992 阅读 · 0 评论 -
交通数据综合分析实验
文章目录交通数据综合分析实验1、数据准备2、解析csv数据3、构建特征向量4、聚类模型训练5、聚类模型测试6、分析预测结果7、数据可视化交通数据综合分析实验1、数据准备1.1在master节点创建实验文件夹,拷贝数据文件1.1.1在zkpk家目录下创建实验文件夹taxifx,并进入实验文件夹taxifx[zkpk@master ~]$ mkdir taxifx[zkpk@master ~]$ cd taxifx1.1.2拷贝实验数据到实验文件夹中 [zkpk@master taxifx]$原创 2021-12-07 15:50:31 · 2296 阅读 · 0 评论 -
交通数据分析系统:安装部署
文章目录交通数据分析系统:安装部署1、实验描述2、实验环境3、相关技能4、知识点5、效果图6、实验步骤7、总结交通数据分析系统:安装部署1、实验描述出租车数据分析实验环境安装部署2、实验环境虚拟机数量:1系统版本:Centos 7.5Spark版本:2.1.13、相关技能熟悉Linux操作系Spark 环境安装部署4、知识点安装Spark程序运行环境5、效果图效果图6、实验步骤6.1Spark环境安装部署6.1.1解压spark压缩包6.1.1.1打原创 2021-12-02 15:44:38 · 2011 阅读 · 0 评论 -
Spark SQL:Spark SQL编程
文章目录Spark SQL:Spark SQL编程1、实验描述2、实验环境3、相关技能4、知识点5、实现效果6、实验步骤7、总结Spark SQL:Spark SQL编程1、实验描述学习使用Spark SQL,并完成相关的实验操作。实验时长:45分钟主要步骤:启动spark-shell使用spark外部数据API加载本地Json文件使用DataFrame操作数据使用SQL API操作数据2、实验环境虚拟机数量:1系统版本:Centos 7.5Scala版本:2.原创 2021-12-02 15:40:49 · 1429 阅读 · 2 评论 -
Spark Core:Apache日志分析
文章目录Spark Core:Apache日志分析1、实验描述2、实验环境3、相关技能4、知识点5、实现效果6、实验步骤7、总结Spark Core:Apache日志分析1、实验描述根据实际业务需求使用spark 完成对Apache格式的日志内容的分析。实验时长:45分钟主要步骤:启动spark-shell自定义日志过滤函数日志预处理统计关于日志的相关指标统计结果展示或保存到本地2、实验环境虚拟机数量:1系统版本:Centos 7.5Scala版本:2.11.原创 2021-11-25 14:11:02 · 1435 阅读 · 1 评论 -
Spark Core:RDD编程
文章目录Spark Core:RDD编程1、实验描述2、实验环境3、相关技能4、知识点5、 实现效果6、实验步骤7、总结Spark Core:RDD编程1、实验描述本实验是在spark local 模式下,利用spark-shell 完成RDD的基本操作相关实验。实验时长:45分钟主要步骤:启动spark-shellspark-shell的使用RDD 的基本操作2、实验环境虚拟机数量:1系统版本:Centos 7.5JDK 版本:1.8.0_131Spark版本原创 2021-11-25 14:05:43 · 1418 阅读 · 0 评论 -
Scala语言编程基础
文章目录Scala语言编程基础1、实验描述2、实验环境3、相关技能4、知识点5、实现效果6、实验步骤7、总结Scala语言编程基础1、实验描述完成Scala的基本操作,达到对Scala的基本熟悉。实验时长:45分钟主要步骤:练习Scala的基础语法学习使用Scala的基本数据类型学习使用Scala的函数2、实验环境虚拟机数量:1系统版本:Centos 7.5JDK 版本:1.8.0_131Scala版本:2.11.113、相关技能Scala 交互式环境的原创 2021-11-24 21:08:51 · 1017 阅读 · 0 评论 -
Spark Core:Scala单词计数
Spark Core:Scala单词计数1、实验描述利用Scala语言开发Spark WordCount程序实验时长:45分钟主要步骤:创建spark项目编写wordcount 示例程序运行Scala 程序查看实验结果2、实验环境虚拟机数量:3(一主两从,主机名分别为:master、slave01、slave02)系统版本:Centos 7.5Hadoop版本:Apache Hadoop 2.7.3Spark版本:Apache Spark 2.1.1JDK 版本:1.8.原创 2021-11-11 14:22:13 · 2991 阅读 · 0 评论 -
Spark编程工具:使用IDEA
Spark编程工具:使用IDEA1、实验描述准备Spark编程所需的环境及安装集成开发环境IDEA,及为它安装scala插件,配置maven相关属性实验时长:45分钟主要步骤:解压安装IDEA配置IDEA scala 插件重启IDEA2、实验环境虚拟机数量:1系统版本:Centos 7.5JDK 版本: 1.8.0_131Scala版本: scala2.11.11Scala IDEA版本:ideaIC-2017.2.73、相关技能Spark集成开发环境I原创 2021-11-11 14:18:26 · 2347 阅读 · 0 评论 -
Spark安装部署:Standalone模式
Spark安装部署:Standalone模式1、实验描述以spark Standalone的运行模式安装Spark集群实验时长:45分钟主要步骤:解压安装Spark添加Spark 配置文件启动Spark 集群运行测试用例2、实验环境虚拟机数量:3(一主两从,主机名分别为:master、slave01、slave02)系统版本:Centos 7.5Hadoop版本:Apache Hadoop 2.7.3Spark版本:Apache Spark 2.1.13、相原创 2021-11-11 13:55:16 · 3952 阅读 · 2 评论 -
MapReduce编程:单词计数--《大数据基础教程》
MapReduce编程:单词计数1、实验描述使用mapreduce编程,完成单词计数实验时长:90分钟主要步骤:启动Hadoop集群编写代码打包程序,并提交至HDFS运行查看实验结果文件2、实验环境虚拟机数量:3系统版本:Centos 7.5Hadoop版本:Apache Hadoop 2.7.3Eclipse版本:Neon.3 4.6.33、相关技能JavaSE基础MapReduce编程4、相关知识点配置开发环境编写Mapper类编写Reduce原创 2021-10-27 16:27:54 · 5784 阅读 · 2 评论 -
Hadoop常用命令--《大数据基础教程》
Hadoop常用命令[镜像详情]bdhadoop介绍:主节点信息:操作系统:CentOS7.5软件包位置:/home/zkpk/tgz数据包位置:/home/zkpk/experiment已安装软件:JDK1.8.1、Hadoop2.7.3从节点信息:操作系统:CentOS7.5软件包位置:/home/zkpk/tgz数据包位置:home/zkpk/experiment已安装软件:JDK1.8.1、Hadoop2.7.3从节点信息:操作原创 2021-10-27 09:47:43 · 423 阅读 · 0 评论 -
基于Hadoop的云计算平台配置
Hadoop安装部署1、实验描述在若干节点中,安装部署hadoop分布式集群2、实验环境虚拟机数量:3系统版本:Centos 7.5Hadoop版本: Apache Hadoop 2.7.33、相关技能熟悉Linux操作系统Hadoop原理4、知识点linux系统基础配置配置JDK配置hadoop的相关配置文件掌握hadoop操作指令5、效果图hadoop集群安装部署后,启动集群,效果如下:效果图1:master节点上,这4个进程表示主节点进程启动成功。原创 2021-10-26 20:24:48 · 1686 阅读 · 0 评论