大数据
青衫红叶
Java开发工程师
展开
-
大数据学习之Hadoop集群搭建(二)
集群使用192.168.1.102、192.168.1.103、192.168.1.104三台虚拟机服务器,主机名对应为hadoop102、hadoop103、hadoop104集群配置方案:(9个节点搭配部署在3台服务器,生产环境中每个节点单独一台服务器) hadoop102 hadoop103 hadoop104 HDFS NameNode Data...原创 2020-06-30 18:20:18 · 1274 阅读 · 0 评论 -
大数据学习之Spark(一)
学习资料来源:B站尚硅谷大数据系统视频一、Spark基本介绍1、Spark历史介绍https://www.bilibili.com/video/BV1BJ411U7hW?p=7072、Spark简要说明https://www.bilibili.com/video/BV1BJ411U7hW?p=7083、Spark核心概念https://www.bilibili.com/video/BV1BJ411U7hW?p=709二、Linux安装使用Sparkhttps://www.原创 2020-06-30 13:25:16 · 387 阅读 · 0 评论 -
Scala学习入门
一、开发环境搭建注意:必须先配置好jdk环境,scala编译器是java编译器孪生弟弟,都会将程序编译成class字节码文件然后在jvm里运行1、Scala下载官网地址:https://www.scala-lang.org/download/all.html这里我下载的是2.11.8版本解压或者安装到本地目录目录结构如下:2、配置环境变量:创建SCALA_HOME变量(纯属个人喜好,也可以直接将Scala的bin路径配置到PATH变量中)将bin路..原创 2020-06-22 12:07:21 · 394 阅读 · 0 评论 -
大数据学习整理
大数据基础:JavaSE、JavaWeb大数据技术框架:1、Hadoop:HDFS(存储框架)、YARN(资源调度框架)、MapReduce(计算框架)2、Hive3、Spark(计算框架,替代MapReduce,基于Scala语言)原创 2020-06-27 21:58:24 · 365 阅读 · 0 评论 -
大数据学习之Hadoop集群搭建(一)
说明:虚拟机网关地址统一为192.168.1.2集群使用192.168.1.102、192.168.1.103、192.168.1.104三台虚拟机服务器,主机名对应为hadoop102、hadoop103、hadoop104集群配置方案:(9个节点搭配部署在3台服务器,生产环境中每个节点单独一台服务器) hadoop102 ...原创 2020-05-06 18:04:45 · 418 阅读 · 0 评论