- 博客(7)
- 收藏
- 关注
RSS订阅原创 实验七 安装配置Scala和Spark
一、实验任务：1、安装Spark2、使用Spark Shell读取本地文件读取HDFS文件编写wordcount程序3、用Scala编写Spark应用程序4、用Java编写Spark应用程序二、Spark与Scala版本兼容问题：Spark运行在Java 8 +，Python 2.7 + / 3.4 +和R 3.1+上。对于Scala API，Spark 2.4.2使用Scala...
2019-05-24 13:56:38
307
原创 实验六 Hive
一、实验内容1、安装配置Hive、MySQL及其JDBC驱动2、编写HiveQL语句、实现数据库、表、视图的基本操作3、编写HiveQL语句实现wordcount程序二、MySQL安装①官网下载mysql-server（yum安装）wget http://dev.mysql.com/get/mysql-community-release-el7-5.noarch.rpm若wget不可...
2019-05-24 13:39:01
517
原创 实验五 NoSQL数据库—Redis和MongoDB安装配置
一、实验步骤安装MongoDB1、MongoDB安装很简单，无需下载源文件，可以直接用apt-get命令进行安装打开终端，输入以下命令：sudo apt-get install mongodb2、安装完成后，在终端输入以下命令查看MongoDB版本：mongo -version输出版本信息，表明安装成功3、启动和关闭mongodb命令如下：service mongodb star...
2019-05-23 20:21:19
486
原创 实验四 运行HBase Shell命令操作数据表 编程调试数据表操作的JAVA程序
一、实验步骤（1）HBase安装配置①下载压缩包（选择与自己安装的Hadoop版本的兼容版本，见后面附录）官网下载地址：https://mirrors.tuna.tsinghua.edu.cn/apache/hbase/stable/选择稳定版hbase-1.4.9-bin.tar.gz，在Windows里面下载。②将压缩包从Windows传输到Linux当前目录下SecureCRT ...
2019-05-23 19:49:37
570
原创 实验三 MapReduce分布式计算系统（编程调试WordCount程序）
一、定义MapReduce是一种编程模型，用于大规模数据集(大于1TB)的并行运算。概念"Map(映射)“和"Reduce(归约)”，和它们的主要思想，都是从函数式编程语言里借来的，还有从矢量编程语言里借来的特性。它极大地方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统上。 当前的软件实现是指定一个Map(映射)函数，用来把一组键值对映射成一组新的键值对，指定并发的Red...
2019-05-23 19:03:53
893
原创 实验二 HDFS命令和Java API
一、实验步骤：1.安装JDK→2.安装Eclipse→3.安装Maven→4. Eclipse里配置Maven （下载Windows版本，在Windows里安装使用。）1.安装配置JDK①官网下载Java开发工具安装包jdk-8u201-windows-x64.exe：https://www.oracle.com/technetwork/java/javase/downloads/jdk8-d...
2019-05-23 17:49:07
672
原创 实验一：JDK+Hadoop的安装配置、Hadoop三种模式的安装配置
标题实验一：以下操作在SecureCRT里面完成1.关闭防火墙firewall-cmd --state 显示防火墙状态running/not runningsystemctl stop firewalld 临时关闭防火墙，每次开机重新开启防火墙systemctl disable firewalld 禁止防火墙服务。2.传输JDK和HADOOP压缩包SecureCRT 【File】→【C...
2019-05-23 16:37:20
370
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人