自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(7)
  • 收藏
  • 关注

原创 实验七 安装配置Scala和Spark

一、实验任务:1、安装Spark2、使用Spark Shell读取本地文件读取HDFS文件编写wordcount程序3、用Scala编写Spark应用程序4、用Java编写Spark应用程序二、Spark与Scala版本兼容问题:Spark运行在Java 8 +,Python 2.7 + / 3.4 +和R 3.1+上。对于Scala API,Spark 2.4.2使用Scala...

2019-05-24 13:56:38 307

原创 实验六 Hive

一、实验内容1、安装配置Hive、MySQL及其JDBC驱动2、编写HiveQL语句、实现数据库、表、视图的基本操作3、编写HiveQL语句实现wordcount程序二、MySQL安装①官网下载mysql-server(yum安装)wget http://dev.mysql.com/get/mysql-community-release-el7-5.noarch.rpm若wget不可...

2019-05-24 13:39:01 517

原创 实验五 NoSQL数据库—Redis和MongoDB安装配置

一、实验步骤安装MongoDB1、MongoDB安装很简单,无需下载源文件,可以直接用apt-get命令进行安装打开终端,输入以下命令:sudo apt-get install mongodb2、安装完成后,在终端输入以下命令查看MongoDB版本:mongo -version输出版本信息,表明安装成功3、启动和关闭mongodb命令如下:service mongodb star...

2019-05-23 20:21:19 486

原创 实验四 运行HBase Shell命令操作数据表 编程调试数据表操作的JAVA程序

一、实验步骤(1)HBase安装配置①下载压缩包(选择与自己安装的Hadoop版本的兼容版本,见后面附录)官网下载地址:https://mirrors.tuna.tsinghua.edu.cn/apache/hbase/stable/选择稳定版hbase-1.4.9-bin.tar.gz,在Windows里面下载。②将压缩包从Windows传输到Linux当前目录下SecureCRT ...

2019-05-23 19:49:37 570

原创 实验三 MapReduce分布式计算系统(编程调试WordCount程序)

一、定义MapReduce是一种编程模型,用于大规模数据集(大于1TB)的并行运算。概念"Map(映射)“和"Reduce(归约)”,和它们的主要思想,都是从函数式编程语言里借来的,还有从矢量编程语言里借来的特性。它极大地方便了编程人员在不会分布式并行编程的情况下,将自己的程序运行在分布式系统上。 当前的软件实现是指定一个Map(映射)函数,用来把一组键值对映射成一组新的键值对,指定并发的Red...

2019-05-23 19:03:53 893

原创 实验二 HDFS命令和Java API

一、实验步骤:1.安装JDK→2.安装Eclipse→3.安装Maven→4. Eclipse里配置Maven (下载Windows版本,在Windows里安装使用。)1.安装配置JDK①官网下载Java开发工具安装包jdk-8u201-windows-x64.exe:https://www.oracle.com/technetwork/java/javase/downloads/jdk8-d...

2019-05-23 17:49:07 672

原创 实验一:JDK+Hadoop的安装配置、Hadoop三种模式的安装配置

标题实验一:以下操作在SecureCRT里面完成1.关闭防火墙firewall-cmd --state 显示防火墙状态running/not runningsystemctl stop firewalld 临时关闭防火墙,每次开机重新开启防火墙systemctl disable firewalld 禁止防火墙服务。2.传输JDK和HADOOP压缩包SecureCRT 【File】→【C...

2019-05-23 16:37:20 370

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除