- 博客(7)
- 收藏
- 关注
RSS订阅原创 实验七：安装配置Scala和Spark
1、Scala 安装（1）官网下载安装Scala：scala-2.12.8.tgz（https://www.scala-lang.org/download/）为保持统一，我们将安装的程序都放在/usr目录下，在/usr目录下创建Scala文件夹（2）解压tar -zxvf scala-2.12.8.tgz -C /opt/modulemv scala-2.12.8 scala（3）在/...
2019-05-24 21:19:08
168
原创 实验六： Hive、MySQL的安装配置
安装配置Hive、MySQL及其JDBC驱动1、安装Mysql（1）在Windows下进行下载Mysql（2）将压缩包从Windows传输到Linux当前目录下:put D:\大数据软件\mysql-community-release-el7-5.noarch.rpm（3）解压：rpm -ivh mysql-community-release-el7-5.noarch.rpm（4）安装...
2019-05-24 20:59:04
325
原创 实验五：NoSQL数据库
1、NoSQL的含义NoSQL泛指非关系型的数据管理技术。如果说Hadoop是一个产品，那么NoSQL就是影像技术。实际上，和处理常规数据一样，任何为处理大数据而服务的产品也都要选择符合实际情况的数据管理方式。由于网络上数据量剧增，传统关系型数据库不能满足生活、生产需要，越来越多的人开始放弃严整、规矩的关系模型，另辟捷径地去拓展研发新型的数据存储方式，如键值存储、列存储、面向文档存储和图形存储等...
2019-05-24 20:39:49
1621
原创 实验四：HBase的安装配置
1、HBase安装配置（1）下载压缩包（选择与自己安装的Hadoop版本的兼容版本） 去官网下，选择稳定版hbase-1.4.9-bin.tar.gz，在Windows里面下载（2）将压缩包从Windows传输到Linux当前目录下SecureCRT 【File】→【Connect SFTP Session】开启sftp操作（3）安装解压安装到指定目录下/opt/module（/op...
2019-05-24 17:42:28
433
原创 实验三：MapReduce分布式计算系统（调试WordCount程序）
1、MapReduce功能与传统数据仓库和分析技术相比，MapReduce适合处理各种类型的数据，包括结构化、半结构化和非结构化数据。HDFS在MapReduce任务处理过程中提供了对文件操作和存储的支持，MapReduce在HDFS的基础上实现任务的分发、跟踪、执行、计算等工作，并收集结果。2、工作原理Mapper负责“分”：分解计算任务，规模大大缩小； “计算向数据靠近” ；这些小任务可...
2019-05-24 17:16:44
375
原创 实验二：HDFS命令和Java API
步骤：1.安装JDK→2.安装Eclipse→3.安装Maven→4. Eclipse里配置Maven （下载Windows版本，在Windows里安装使用。）1、安装配置JDK①官网下载Java开发工具安装包jdk-8u201-windows-x64.exe：https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downl...
2019-05-24 16:38:50
166
原创 实验一：JDK+Hadoop安装配置、集群模式搭建
JDK+Hadoop安装配置、集群模式搭建1、Hadoop简介2、新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导...
2019-05-24 15:45:53
260
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人