大数据
BigData
echofzoe
这个作者很懒,什么都没留下…
展开
-
大数据:04 HADOOP 在 docker 上部署完全分布式
HADOOP 在 docker 上部署完全分布式前言 搭建完全分布式的 Hadoop 环境并运行实例文章目录HADOOP 在 docker 上部署完全分布式前言1、集群准备工作1.1 安装 docker1.2 在 docker 上安装 ubuntu 系统1.3 在镜像系统上 安装 jdk 和 hadoop1.4 保存镜像文件1.5 将镜像保存到阿里云私人镜像仓库中(可选)2、集群部署工作2....原创 2020-04-18 12:15:46 · 544 阅读 · 0 评论 -
大数据:03 HADOOP 从零开始到伪分布式,基于Ubuntu18.04
HADOOP Ubuntu18.04虚拟环境搭建前言 为了更好的获取网上资料的支持,我还是决定转到Linux环境下(Mac上做大数据的资料太少啦,出了问题半天都解决不了)。1、系统环境 物理机环境 - - - macOS Mojave 10.14.6 虚拟机软件 - - - Parallels Desktop 14 虚拟机环境 - - - Ubuntu 18.04 2、Ubuntu...原创 2020-03-27 01:50:11 · 387 阅读 · 0 评论 -
大数据:02 Hadoop架构与版本差别
Hadoop1.x与Hadoop2.x的区别前言 首先我们得明确Hadoop框架所解决的最核心的2个问题:海量数据的存储和计算。在存储上,Hadoop实现了自己的分布式文件系统 HDFS(Hadoop Distributed File System);在计算上,Hadoop使用了分布式离线计算框架 MapReduce。1、Hadoop1.x架构 Hadoop1.x由Common(辅助工具...原创 2020-03-15 20:32:30 · 223 阅读 · 0 评论 -
大数据:01 详解MacOS下Hadoop的安装与运行
第一部分:Hadoop的安装 Hadoop的安装大致分为5步: 创建hadoop用户(Mac系统就用自己的用户吧,这一步就省略了,免得引起不必要的麻烦) 设置SSH登录权限 安装JAVA环境 单机安装配置 伪分布式安装配置 1. 笔者所用环境macOS 10.14.62. 从安装到运行2.1 设置SSH登录权限SSH是Se...原创 2020-02-25 00:19:28 · 1311 阅读 · 3 评论