- 博客(7)
- 收藏
- 关注
RSS订阅原创 Spark课后实验报告
一、兼容问题Spark运行在Java 8 +，Python 2.7 + / 3.4 +和R 3.1+上。对于Scala API，Spark 2.4.2使用Scala 2.12。您需要使用兼容的Scala版本（2.12.x）。请注意，自Spark 2.2.0起，对2.6.5之前的Java 7，Python 2.6和旧Hadoop版本的支持已被删除。自2.3.0起，对Scala 2.10的支持被删...
2019-05-26 21:56:40
2807
原创 Nosql学习总结
实验内容：一、关系型数据库与非关系型数据库二、典型的NoSQL数据库三、使用Redis常用命令四、使用MongoDB常用命令一、关系型数据库与非关系型数据库当前主流的关系型数据库有Oracle、DB2、MySQL等。非关系型数据库有 NoSql、Cloudant。1、关系型数据库通过外键关联来建立表与表之间的关系；2、非关系型数据库通常指数据以对象的形式存储在数据库中，而对象之间...
2019-05-26 21:56:16
1442
原创 Hive的安装与配置
MySQL安装①官网下载mysql-server（yum安装）wget http://dev.mysql.com/get/mysql-community-release-el7-5.noarch.rpm若wget不可用，下载安装wget：yum -y install wget②解压rpm -ivh mysql-community-release-el7-5.noarch.rpm③安装yu...
2019-05-26 21:55:58
503
原创 Hbase安装配置
HBase安装配置①下载压缩包（选择与自己安装的Hadoop版本的兼容版本，见后面附录）官网下载地址：https://mirrors.tuna.tsinghua.edu.cn/apache/hbase/stable/选择稳定版hbase-1.4.9-bin.tar.gz，在Windows里面下载。②将压缩包从Windows传输到Linux当前目录下SecureCRT 【File】→【Co...
2019-05-26 21:55:36
498
原创 Mapreduce实验报告
实验目的：MapReduce原理及操作1、MapReduce原理Ma和 Reduce，当向 MapReduce框架提交一个计算作业时,它会首先把计算作业拆分成若干个Map任务,然后分配到不同的节点上去执行,每一个MaD任务处理输入数据中的一部分,当Ma0任务完成后,它会生成一些中间文件,这些中间文件将会作为 Reduce任务的输入数据。 Reduce任务的主要目标就是把前面干个Ma的输出汇到...
2019-05-26 21:55:09
6641
原创 HDFS搭建、安装配置
实验内容：使用HDFS命令上传和下载文件；编写JAVA程序读写、删除文件；实验步骤：1.安装JDK→2.安装Eclipse→3.安装Maven→4. Eclipse里配置Maven （下载Windows版本，在Windows里安装使用）1.安装配置JDK①官网下载Java开发工具安装包jdk-8u201-windows-x64.exe：https://www.oracle.com/tec...
2019-05-26 21:46:18
188
原创 JDK+Hadoop环境搭建
JDK+Hadoop安装配置、集群模式搭建（1）实验目的初步认识Hadoop，了解Hadoop。（2）实验平台操作系统：Windows+Vmware+SecureCRT（3）实验内容和要求Linux系统JDK的安装和配置；Linux系统下的HelloWorld；Hadoop单机分布式配置与测试；1、关闭防火墙firewall-cmd --state 显示防火墙状态running...
2019-05-26 21:43:57
220
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人