大数据学习之路
易成
写啥能致富?
展开
-
5. HDFS Java示例demo
5. HDFS Java API1. 开发环境配置添加Hadoop环境变量# hadoop安装目录export HADOOP_HOME="/opt/hadoop2.8.4"# 配置PATHexport PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin注:网上相关教程要求本地也安装hadoop,添加环境变量,然后才能使用Java客户端。没有看过官方文档说明是否如此。欢迎勘误2. 引入pom依赖使用maven管理项目依赖,导入依赖jar如下.下载比原创 2020-09-27 07:48:16 · 395 阅读 · 0 评论 -
4. HDFS概念简介
4. HDFS简介1. 概念HDFS是一个分布式文件系统,Hadoop distributed file system。通过树形结构定位文件,由多台服务组合实现其功能,集群中各个机器具有自己的角色2. 组成HDFS集群包括NameNode,DataNode,SecondaryNameNodeNameNode负责管理整个文件系统的元数据,以及每一个路径对应的数据块信息DataNode负责管理用户的文件数据块,每个块都可以再多dataNode上存在副本SecondaryNameNode原创 2020-09-27 07:45:35 · 271 阅读 · 1 评论 -
3. Hadoop分布式集群部署
3. Hadoop分布式集群1. 集群配置此前使用的是伪分布式的单机模式,本篇使用分布式的集群配置。配置方案如下:bigdata1bigdata2bigdata3HDFSNameNode SecondaryNameNode DataNodeDataNodeDataNodeYARNnodeManagerResourceManger NodeManagernodeManager修改对应的配置文件即可。同时更改hadoop的/etc目录下的slaves,添加原创 2020-09-27 07:44:34 · 164 阅读 · 0 评论 -
2. 教你在VirtualBox下安装Hadoop
2. Hadoop安装1. Hadoop的安装下载Hadoop安装包,通过scp(或其他指令方式)发送到虚拟机上,并进行解压安装。修改环境变量vi /etc/profileexport JAVA_HOME="/opt/jdk1.8.0_211"export HADOOP_HOME="/opt/hadoop-2.8.4" # hadoop安装目录export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbinsource /原创 2020-09-22 22:38:04 · 1737 阅读 · 0 评论 -
【Hadoop】1 - Hadoop概述
1. Hadoop概论1.Hadoop起源Lucene的一个子项目思想源于Google的三篇论文GFS - HDFS 分布式文件系统Map-Reduce - MR 分布式计算框架Big-Table - Hbase2.Hadoop的优势高可用几乎所有结构都是主从模式的,数据存在副本和备份,保证高可用高扩展性在集群间分布式的分配数据方案,支持扩展到数千台服务器高效Map-Reduce并行计算,提高计算效率高容错性自动保存多个数据副本,能够自动将执行失败的任务重新分配原创 2020-09-21 13:20:17 · 169 阅读 · 0 评论 -
2 - Hadoop运行环境配置
【准备】2 - Hadoop运行环境配置1.Java安装使用scp指令将下载的jdk安装包传入虚拟机scp Downloads/bigdata/jdk-8u211-linux-x64.tar.gz root@192.168.56.101解压安装jdk,配置环境变量tar -zxvf jdk-8u211-linux-x64.tar.gz # 解压java文件 -C指定目录vi /etc/profileexport JAVA_HOME="/opt/jdk1.8.211"export原创 2020-09-20 09:09:35 · 122 阅读 · 0 评论 -
Mac安装VirtualBox虚拟机-大数据学习准备
【准备】1 - Mac虚拟机环境配置1.虚拟机选择虚拟机软件有多种,如VMware、Parallels Desktop、VirtualBox等。在Windows环境下通常选择VMware进行破解,且文档支持比较多。但在Mac环境下,较少使用VMware,不易破解,重量级配置较复杂。Paralles Desktop是Mac系统环境下最常用的虚拟机,但是同样对于新手不易操作。个人选择VirtualBox,轻量级,使用和配置简便2.下载安装2.1 虚拟机百度下载链接,安装非常简单2.2安装Ce原创 2020-09-19 10:27:44 · 913 阅读 · 0 评论