实验总结
qianqian_15
这个作者很懒,什么都没留下…
展开
-
实验六 Hive
一、实验内容 1、安装配置Hive、MySQL及其JDBC驱动 2、编写HiveQL语句、实现数据库、表、视图的基本操作 3、编写HiveQL语句实现wordcount程序 二、MySQL安装 ①官网下载mysql-server(yum安装) wget http://dev.mysql.com/get/mysql-community-release-el7-5.noarch.rpm 若wget不可...原创 2019-05-24 13:39:01 · 503 阅读 · 0 评论 -
实验七 安装配置Scala和Spark
一、实验任务: 1、安装Spark 2、使用Spark Shell 读取本地文件 读取HDFS文件 编写wordcount程序 3、用Scala编写Spark应用程序 4、用Java编写Spark应用程序 二、Spark与Scala版本兼容问题: Spark运行在Java 8 +,Python 2.7 + / 3.4 +和R 3.1+上。对于Scala API,Spark 2.4.2使用Scala...原创 2019-05-24 13:56:38 · 278 阅读 · 0 评论 -
实验一:JDK+Hadoop的安装配置、Hadoop三种模式的安装配置
标题实验一:以下操作在SecureCRT里面完成 1.关闭防火墙 firewall-cmd --state 显示防火墙状态running/not running systemctl stop firewalld 临时关闭防火墙,每次开机重新开启防火墙 systemctl disable firewalld 禁止防火墙服务。 2.传输JDK和HADOOP压缩包 SecureCRT 【File】→【C...原创 2019-05-23 16:37:20 · 357 阅读 · 0 评论 -
实验二 HDFS命令和Java API
一、实验步骤:1.安装JDK→2.安装Eclipse→3.安装Maven→4. Eclipse里配置Maven (下载Windows版本,在Windows里安装使用。) 1.安装配置JDK ①官网下载Java开发工具安装包jdk-8u201-windows-x64.exe:https://www.oracle.com/technetwork/java/javase/downloads/jdk8-d...原创 2019-05-23 17:49:07 · 662 阅读 · 0 评论 -
实验三 MapReduce分布式计算系统(编程调试WordCount程序)
一、定义 MapReduce是一种编程模型,用于大规模数据集(大于1TB)的并行运算。概念"Map(映射)“和"Reduce(归约)”,和它们的主要思想,都是从函数式编程语言里借来的,还有从矢量编程语言里借来的特性。它极大地方便了编程人员在不会分布式并行编程的情况下,将自己的程序运行在分布式系统上。 当前的软件实现是指定一个Map(映射)函数,用来把一组键值对映射成一组新的键值对,指定并发的Red...原创 2019-05-23 19:03:53 · 863 阅读 · 0 评论 -
实验四 运行HBase Shell命令操作数据表 编程调试数据表操作的JAVA程序
一、实验步骤 (1)HBase安装配置 ①下载压缩包(选择与自己安装的Hadoop版本的兼容版本,见后面附录) 官网下载地址:https://mirrors.tuna.tsinghua.edu.cn/apache/hbase/stable/ 选择稳定版hbase-1.4.9-bin.tar.gz,在Windows里面下载。 ②将压缩包从Windows传输到Linux当前目录下 SecureCRT ...原创 2019-05-23 19:49:37 · 561 阅读 · 0 评论 -
实验五 NoSQL数据库—Redis和MongoDB安装配置
一、实验步骤 安装MongoDB 1、MongoDB安装很简单,无需下载源文件,可以直接用apt-get命令进行安装 打开终端,输入以下命令: sudo apt-get install mongodb 2、安装完成后,在终端输入以下命令查看MongoDB版本: mongo -version 输出版本信息,表明安装成功 3、启动和关闭mongodb命令如下: service mongodb star...原创 2019-05-23 20:21:19 · 476 阅读 · 0 评论