- 博客(7)
- 收藏
- 关注
RSS订阅原创 实验七 安装配置Scala和Spark
实验任务：安装Spark使用Spark Shell读取本地文件读取HDFS文件编写wordcount程序用Scala编写Spark应用程序用Java编写Spark应用程序二、Spark与Scala版本兼容问题：Spark运行在Java 8 +，Python 2.7 + / 3.4 +和R 3.1+上。对于Scala API，Spark 2.4.2使用Scala 2.12。您需要使...
2019-05-27 07:58:42
222
原创 实验六 Hive
一、实验内容1、安装配置Hive、MySQL及其JDBC驱动2、编写HiveQL语句、实现数据库、表、视图的基本操作3、编写HiveQL语句实现wordcount程序二、MySQL安装①官网下载mysql-server（yum安装）wgethttp://dev.mysql.com/get/mysql-community-release-el7-5.noarch.rpm若wget不可...
2019-05-27 07:58:06
505
原创 实验五 NoSQL数据库—Redis和MongoDB安装配置
NoSQL简述NoSQL数据库，顾名思义就是打破了传统关系型数据库的范式约束。很多NoSQL数据库从数据存储的角度看也不是关系型数据库，而是key-value数据格式的hash数据库。NoSQL是指“notonly sql”，其特点是非关系型，分布式，开源，可水平扩展，模式自由，支持replication，简单的API，最终一致性（相对于即时一致性，最终一致性允许有一个“不一致性窗口”，但能保...
2019-05-27 07:57:33
237
原创 实验四 HBase的安装配置
实验任务要求：1、运行Hbase Shell命令操作数据表2、编程调试数据表操作的Java程序一、实验步骤（1）HBase安装配置①下载压缩包（选择与自己安装的Hadoop版本的兼容版本，见后面附录）官网下载地址：https://mirrors.tuna.tsinghua.edu.cn/apache/hbase/stable/选择稳定版hbase-1.4.9-bin.tar.gz，在...
2019-05-27 07:56:55
280
原创 实验三 MapReduce分布式编程、调试WordCount程序
一、定义MapReduce是一种编程模型，用于大规模数据集(大于1TB)的并行运算。概念"Map(映射)“和"Reduce(归约)”，和它们的主要思想，都是从函数式编程语言里借来的，还有从矢量编程语言里借来的特性。它极大地方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统上。 当前的软件实现是指定一个Map(映射)函数，用来把一组键值对映射成一组新的键值对，指定并发的Red...
2019-05-27 07:56:20
670
原创 实验二 安装配置JDK+Eclipse+Maven、Eclipse里新建Maven Project
步骤：1.安装JDK→2.安装Eclipse→3.安装Maven→4. Eclipse里配置Maven （下载Windows版本，在Windows里安装使用。）1.安装配置JDK①官网下载Java开发工具安装包jdk-8u201-windows-x64.exe：https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downl...
2019-05-27 07:55:51
144
原创 实验一 JDK+Hadoo安装配置、Hadoop三种模式安装配置
JDK+Hadoop安装配置、集群模式搭建**以下操作在SecureCRT里面完成1.关闭防火墙firewall-cmd --state 显示防火墙状态running/not runningsystemctl stop firewalld 临时关闭防火墙，每次开机重新开启防火墙systemctl disable firewalld 禁止防火墙服务。2.传输JDK和HADOOP压缩包S...
2019-05-27 07:55:07
135
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人