Aug_L-CSDN博客

原创 Spark的安装及使用

Spark的安装及使用1、官网下载安装Scala：scala-2.12.8.tgzhttps://www.scala-lang.org/download/tar -zxvf scala-2.12.8.tgz -C /usr/localmv scala-2.12.8 scala测试：scala -version启动：scala2、官网下载安装Spark：spark-2.4.2-bi...

2019-05-25 18:02:26 622

原创 hive的安装配置及使用

hive的安装配置及使用参考博文：https://blog.csdn.net/jssg_tzw/article/details/72898635#安装mysql1、官网下载mysql-server（yum安装）wget http://dev.mysql.com/get/mysql-community-release-el7-5.noarch.rpm2、解压rpm -ivh mysql...

2019-05-25 17:23:46 329

原创 nosql（Redis、MongoDB）安装配置

nosql（Redis、MongoDB）安装配置参考博文：https://www.cnblogs.com/-xuzhankun/p/6560019.htmlhttps://www.linuxidc.com/Linux/2016-11/137679.htmRedis1、下载wget http://download.redis.io/releases/redis-3.2.8.tar.gz...

2019-05-25 16:46:34 171

原创 HBASE的安装配置

HBASE的安装配置安装1、下载压缩包地址：https://mirrors.tuna.tsinghua.edu.cn/apache/hbase/stable/选择稳定版hbase-1.4.9-bin.tar.gz2、将压缩包通过xftp传到xshell中解压到/opt/module目录下tar -zxvf ~/hbase-1.4.9-bin.tar.gz -C /opt/modle...

2019-05-25 16:23:52 240

原创 MapReduce 分布式计算系统

MapReduce分布式计算系统一、编程调试WordCount程序新建maven项目修改pom.xml<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.ap...

2019-05-22 11:19:57 316

原创 HDFS命令和Java API

HDFS命令和Java API一、安装eclipse1、官网下载Eclipse安装包eclipse-inst-win64：https://www.eclipse.org/downloads/2、运行安装包，选择Eclipse IDE for Java Developers，开始安装。二、安装Maven1、Maven官网http://maven.apache.org/download.cg...

2019-05-22 10:50:57 236

原创 Hadoop伪分布式配置

Hadoop伪分布式配置Hadoop三种安装模式分别为单机模式，伪分布式，真正分布式，我选择的是伪分布式模式。Hadoop伪分布式：一个节点环境1、阿里云服务器2、xshell,xftp63、jdk-8u121-linux-x644、hadoop-2.7.3（以下操作在xhell中完成）主要步骤一、关闭防火墙1、systemctl stop firewalld 临时关闭防火墙...

2019-05-22 10:06:21 169

Aug_L的博客