一角残叶的博客

1 Hadoop介绍 HADOOP是apache旗下的一套开源软件平台 HADOOP提供的功能：利用服务器集群，根据用户的自定义业务逻辑，对海量数据进行分布式处理 HADOOP的核心组件有 A. HDFS（分布式文件系统） B. YARN（运算资源调度系统） C. MAPREDUCE（分布式运算编程框架） 广义上来说，HADOOP通常是指一个更广泛的概念——HADOOP生态圈 ...

1 hdfs 体验 1.1 查询 hdfs 1.2 上传文件 http://192.168.154.131:50070/explorer.html#/ 2 mapreduce 体验 2.1 启动 yarn 新建一个 a.txt ，内容如下

1 HDFS 概念 它是一个文件系统，用于存储文件，通过统一的命名空间——目录树来定位文件。它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色； 1.1 介绍 HDFS集群分为两大角色：NameNode、DataNode (Secondary Namenode) NameNode负责管理整个文件系统的元数据 DataNode 负责管理用户的文件数据块 文件会按...

1 解压源码 这里解压到了H盘，并且重命名，H:\hdp 2 安装Microsoft Windows SDK 7 下载地址：

1

1 用流的方式上传文件 package com.tzb.hdfs; import org.apache.commons.io.IOUtils; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FSDataOutputStream; import org.apache.hadoop.fs.FileS...

1 安装并配置JDK1.8环境变量 2 安装maven 解压到 usr/apps 配置环境变量 /etc/profile export MAVEN_HOME=/usr/apps/apache-maven-3.5.4 export PATH=$MAVEN_HOME/bin:$PATH 3 安装 findbugs1.3.9 配置环境变量/etc/profile...

1 在虚拟机安装centos7 2 安装网络工具 centos7最小化安装没有 ifconfig命令 yum -y install net-tools 3 centos7 修改网卡名字为eth0 修改网卡名字为eth0 4 修改主机名 vim /etc/sysconfig/network NETWORKING=yes HOSTNAME=n...