安装篇-Hadoop3.2.1集群安装分享

最新推荐文章于 2022-12-03 06:29:28 发布
最新推荐文章于 2022-12-03 06:29:28 发布
阅读量276 收藏
点赞数
文章标签： hadoop 大数据 big data
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41200768/article/details/108233146
版权

1.预备知识

1.1 linux须知

  1. linux微内核的特性，vmware安装linux
  2. centos：稳定
  3. linux常操作目录：/bin,/usr,/etc
  4. xshell:实用xshell操作centos
  5. linux记事本：vi/vim

1.2 常用命令

  1. 帮助：man
  2. 目录：mkdir，rmdir，mv,ls,rm -rf,cd
  3. 文件：touch/vi,cat,cp,rm,more，grep
  4. 搜索：which,whereis,find
  5. 时间：date ,date -s
  6. 用户和组管理：useradd…,groupadd…
  7. 进程：ps -ef,kill -9 进程id，pkill -p id 或者/-f 进程
  8. 网络：netstat -aux
  9. 磁盘:df
  10. 压缩和解压：zip，unzip，tar
  • tar -zcvf 压缩
  • tar -zxvf 解压
  1. 软件：yum
    • yum list
    • yum install
    • yum remove
    • rpm -ivh,evh:了解
  2. 上传、下载（lrzsz）：rz，sz
  3. 定时任务：crontab -e
    • min,h,d,m,week
    • crontab -l
    • crontab -r:删除

1.3 shell脚本

  1. 变量：

    x,$x

  2. 运算符：

    $[3+6]

  3. 判断:

    if [];then fi

  4. 循环：

    for(()) 或者 for x in list

    do

    done

    while [ ]

    do

    done

  5. 函数:

    function fun(){} fun

2.hadoop之windows配置

  1. 解压hadoop压缩文件

  2. 指定HADOOP_HOME

  3. 指定path：/bin，/sbin

  4. 测试：

    hadoop version

3.在linux上搭建hadoop集群

集群成员：

​ 主机 hdfs yarn

​ master namenode ,secondarynamenode resourcemanager

​ slave1 datanode nodemanager

​ slave2 datanode nodemanager

3.1 安装jdk8，hadoop3.2.1

  1. 上传压缩文件并解压(/usr)

  2. 设置环境变量（/etc/profile）

    export JAVA_HOME=/usr/jdk8
    export HADOOP_HOME=/usr/hadoop321
    export PATH= P A T H : PATH: PATH:JAVA_HOME/bin: H A D O O P H O M E / b i n : HADOOP_HOME/bin: HADOOPH​OME/bin:HADOOP_HOME/sbin

  3. 激活配置文件

    . /etc/profile

  4. 测试：

    hadoop version

3.2 hdfs配置

  1. core-site.xml

    fs.defaultFS hdfs://master:9000

  2. hdfs-site.xml

    dfs.replication 2 dfs.http.address 0.0.0.0:5700 dfs.namenode.name.dir file:///root/hadoop/dfs/namenode dfs.datanode.data.dir file:///root/hadoop/dfs/datanode dfs.webhdfs.enabled true

  3. 初始化namenode

    hdfs namenode -format

  4. start-dfs.sh,stop-dfs.sh

    #设置用户
    HDFS_NAMENODE_USER=root
    HDFS_DATANODE_USER=root
    HDFS_SECONDARYNAMENODE_USER=root

  5. hadoop-env.sh

    export JAVA_HOME=/usr/jdk8

3.3 集群成员配置

  1. 域名与ip绑定(/etc/hosts)

    192.168.85.129 master
    192.168.85.130 slave1
    192.168.85.131 slave2

  2. 配置workers（工作节点）(/usr/hadoop321/etc/hadoop/workers)

    slave1

    slave2

  3. 修改副本数量(数据节点数量)(hdfs-site.xml)

    dfs.replication 2

3.4 yarn配置

  1. yarn-site.xml

    yarn.nodemanager.aux-services mapreduce_shuffle yarn.resourcemanager.hostname master yarn.resourcemanager.webapp.address master:8088 yarn.application.classpath /usr/hadoop321/etc/hadoop:/usr/hadoop321/share/hadoop/common/lib/*:/usr/hadoop321/share/hadoop/common/*:/usr/hadoop321/share/hadoop/hdfs:/usr/hadoop321/share/hadoop/hdfs/lib/*:/usr/hadoop321/share/hadoop/hdfs/*:/usr/hadoop321/share/hadoop/mapreduce/lib/*:/usr/hadoop321/share/hadoop/mapreduce/*:/usr/hadoop321/share/hadoop/yarn:/usr/hadoop321/share/hadoop/yarn/lib/*:/usr/hadoop321/share/hadoop/yarn/*

  2. mapred-site.xml

    mapreduce.framework.name yarn

  3. start-yarn.sh,stop-yarn.sh

    YARN_RESOURCEMANAGER_USER=root
    YARN_NODEMANAGER_USER=root

3.5 cnetos克隆

  1. 修改主机名

    hostnamectl set-hostanme 主机名

  2. 删除/tmp目录下的文件，使数据节点在浏览器端能看见(注意：防火墙关闭)

    systemctl disable firewalld(开机不自启)

3.6 master免密登录slave

  1. 在root目录创建密钥：

    ssh-keygen

  2. authorized_keys拷贝到slave上

cat id_rsa.pub >> authorized_keys

scp 拷贝到salve的.ssh文件夹下

scp authorized_keys root@slave1:/root/.ssh

3.7 启动hadoop集群

  1. 在master上启动

    start-all.sh

  2. 测试

    jps

  3. 查看节点

    hdfs dfsadmin -report

4. mapreduce实例

4.1 单词统计(入门)

/**
 * 英文单词统计
 */
public class WordCounter {
   
    //实现分词
    public static class MyMapper extends Mapper<LongWritable, Text,Text, IntWritable>{
   
        public static Text text = new Text();
        public static IntWritable intWritable = new IntWritable(1);

        @Override
        protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
   
            String v = value.toString();
            String[] words = v.split(" ");
            for (String word : words) {
   
                text.set(word);
                context.write(text,intWritable);
            }
        }
    }

    //实现统计
    public static class MyReducer extends Reducer<Text,IntWritable,Text,IntWritable>{
   
        @Override
        protected void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {
   
            int count = 0;
            for (IntWritable value : values) {
   
                count+=value.get();
            }
            context.write(key,new IntWritable(count));
        }
    }

    public static void main(String[] args) {
   
        Configuration conf = new Configuration();
        try {
   
            // 任务
            Job job = Job.getInstance(conf);
            job.setJobName("firstJob");
            job.setJarByClass(WordCounter.class);
            // 设置mapper，reducer
            job.setMapperClass(MyMapper.class);
            job.setReducerClass(MyReducer.class);
            // 设置输出数据类型
            job.setOutputKeyClass(Text.class);
            job.setOutputValueClass(IntWritable.class);
            // 设置输入输出目录
            FileInputFormat.setInputPaths(job,"data6");
            FileOutputFormat.setOutputPath(job,new Path("dTemp"));
            // 执行并关闭
            job.waitForCompletion(true);
            job.close();
        } catch (Exception e) {
   
            e.printStackTrace();
        }
    }
}

4.2 中文分词统计（ik）

/**
 * 中文单词统计
 */
public class CNWordCounter {
   
    // 实现中文分词
    public static class MyMapper extends Mapper<LongWritable, Text,Text, IntWritable>{
   

        public static Text text = new Text();
        public static IntWritable intWritable = new IntWritable(1);

        @Override
        protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
   
            byte[] bytes = value.toString().getBytes();
            ByteArrayInputStream bis = new ByteArrayInputStream(bytes);
            InputStreamReader isReader = new InputStreamReader(bis);
            IKSegmenter ikSegmenter = new IKSegmenter(isReader, true);

            Lexeme lexeme=null;
            while ((lexeme=ikSegmenter.next())!=null){
   
                String word = lexeme.getLexemeText();
                text.set(word);
                context.write(text,intWritable);
            }
        }
    }

    // 实现统计
    public static class MyReducer extends Reducer<Text,IntWritable,Text,IntWritable>{
   

        public static Text text = new Text();
        public static List<Record> list =new ArrayList<Record>();

        @Override
        protected void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {
   
            int count=0;
            for (IntWritable value : values) {
   
                count+=value.get();
            }
//            context.write(key,new IntWritable(count));
            Record record = new Record(key.toString(), count);
            list.add(record);
        }
        // 实现排序
        @Override
        protected void cleanup(Context context) throws IOException, InterruptedException {
   
            Collections.sort(list);
            Collections.reverse(list);
            for (Record record : list) {
   
                text.set(record.getWord());
                context.write(text,new IntWritable(record.getCount()));
            }
        }
    }

    
    public static void main(String[] args) {
   
        Configuration conf = new Configuration();
        try {
   
            Job job = Job.getInstance(conf);
            job.setJobName("secondJob");
            job.setJarByClass(CNWordCounter.class);
            // 设置mapper,reducer
            job.setMapperClass(MyMapper.class);
            job.setReducerClass(MyReducer.class);
            // 设置输出类型
            job.setOutputKeyClass(Text.class);
            job.setOutputValueClass(IntWritable.class);
            // 设置输入输出目录
            FileInputFormat.setInputPaths(job,"/test99/data2");
            FileOutputFormat.setOutputPath(job,new Path("/test99/out"));
            // 启动任务并关闭
            job.waitForCompletion(true);
            job.close();
        } catch (Exception e) {
   
            e.printStackTrace();
        }

    }
}

4.3 数据清洗（去重、去空、去非）

/**
 * 数据清洗：去空，去重，去非
 */
public class DataClear {
   

    public static void main(String[] args) {
   
        Configuration conf = new Configuration();
        try {
   
            Job job = Job.getInstance(conf);
            job.setJobName("clearJob");
            job.setJarByClass(DataClear.class);
            // mapper
            job.setMapperClass(RemoveReplyMapper.class);

            job.setOutputKeyClass(Text.class);
            job.setOutputValueClass(NullWritable.class);
            // 输入输出目录
            FileInputFormat.setInputPaths(job,"data4"
最低0.47元/天 解锁文章
道-闇影
关注
hadoop之分组
weixin_45433525的博客
03-29 365
    分组组件：map-----分组-----reduce reduce接收到的数据是按照map输出的key进行分组的 分组的时候按照key相同的为一组 实现writablecomparable接口 comparato comparato返回为 0的时候默认为一组 返回不为0 则分到下一组 如果你想要的分组并不是key中的所有字段 这个时候怎么办 年级：3年...
Windows环境下安装Hadoop3.2.1+HBase2.2.5+本地开发
最新发布
69岁法外狂徒的博客
07-30 489
Windows环境下安装Hadoop3.2.1+HBase2.2.5+本地开发
hadoop的分组
求人不如求己
10-25 717
1.创建分区类public class AreaPartitioner<KEY, VALUE> extends Partitioner<KEY, VALUE> { private static HashMap<String, Integer> areaMap = new HashMap<String, Integer>(); static { areaMap.pu
hadoop的分区、分组
yangxiaobo118的博客
01-29 3481
***相同组内的k-v，由同一次的reduce方法处理 一、为什么写 分区和分组在排序中的作用是不一样的，今天早上看书，又有点心得体会，记录一下。 二、什么是分区 1、还是举书上的例子，在8.2.4章节的二次排序过程中，用气温举例，所以这里我也将这个例子说一下。 源数据内容 1900 35°C 1900 34°C 1900 34°C ... 19
CentOS7下Hadoop3.2.1的安装与部署（单机模式）
embelfe_segge的博客
03-25 486
安装准备 下载Hadoop安装包 下载地址：https://www.apache.org/dyn/closer.cgi/hadoop/common 本例中，我下载的是当前最新的稳定版本 hadoop-3.2.1.tar.gz 。 下载JDK 下载地址：https://www.oracle.com/technetwork/java/javase/downloads/index.html 先执行如下命令，查看自己Linux服务器的操作系统位数，下载适用的JDK安装包。 [root@localhost ~]# g
spark-3.2.1-bin-hadoop2.7.tgz
02-20
这个名为"spark-3.2.1-bin-hadoop2.7.tgz"的压缩包是Spark的一个特定版本，即3.2.1，与Hadoop 2.7版本兼容。在Linux环境下，这样的打包方式方便用户下载、安装和运行Spark。 Spark的核心设计理念是快速数据处理，...
spark-3.2.1 安装包 下载 hadoop3.2
04-03
在安装Spark 3.2.1时，`spark-3.2.1-bin-hadoop3.2-scala2.13.tgz`这个压缩包包含所有必要的组件和依赖项。Scala 2.13是Spark的开发语言，因此需要匹配版本的JDK环境。解压后，你可以配置环境变量，如SPARK_HOME，...
安装篇-Hadoop3.2.1集群的简单化安装
爱程序，爱生活
08-24 250
前言：实际环境中会在window上进行程序的开发，打成jar包在放到Linux上的Hadoop集群中运行，所以在window上也安装一下hadoop环境，实用xshell（在windows上操作linux的工具）操做。 环境： windows：jdk8，hadoop3.2.1，xshell，idea linxu：jdk8 hadoop3.2.1服务端（集群） 1.预备知识 1.1 linux须知 linux微内核的特性，vmware安装linux centos：稳定 linux目录：/bin,/u.
【大数据入门核心技术-Hadoop】（六）Hadoop3.2.1高可用集群搭建
12-03 3320
独立模式又称为单机模式，仅1个机器运行1个java进程，主要用于调试。伪分布模式也是在1个机器上运行HDFS的NameNode和DataNode、YARN的 ResourceManger和NodeManager，但分别启动单独的java进程，主要用于调试。单Namenode节点模式-高可用HA模式集群模式主要用于生产环境部署。会使用N台主机组成一个Hadoop集群。这种部署模式下，主节点和从节点会分开部署在不同的机器上。本教程主要安装 多Namenode 节点 高可用集群模式二、准备工作本高可用参考以上非高
linux新建一个hadoop分组,Hadoop分区与分组
weixin_32090653的博客
05-25 139
面以《Hadoop权威指南》中的一个例子来解释分区与分组的关系。对于一般的键，只需要key值相同，则对应的value就会分配至同一个 reduce中；对于复合键，形式为TextPair(关于复合键，可参考另一篇关于TextPair的博文 http://www.linuxidc.com/Linux/2014-11/109360.htm)，通过控制 key1来进行分区，则具有相同的 key1的值会被划...
hadoop-规约（combiner）
Xiaoweidumpb
10-21 627
规约Combiner ** 概念** 每一个 map 都可能会产生大量的本地输出，Combiner 的作用就是对 map 端的输出先做一次合并，以减少在 map 和 reduce 节点之间的数据传输量，以提高网络IO 性能，是 MapReduce 的一种优化手段之一 combiner 是 MR 程序中 Mapper 和 Reducer 之外的一种组件 combiner 组件的父类就是 Reducer combiner 和 reducer 的区别在于运行的位置 Combiner 是在每一个 maptask
hadoop3.2.1安装（vm版）
leveretz的博客
02-19 899
Hadoop3.2.1分布式高可用安装 1 下载安装包 jdk-8u271-linux-x64.rpm hadoop-3.2.1.tar.gz zookeeper-release-3.6.2.tar.gz 2 主机规划 IP 主机名 用途 系统进程 用户密码 操作系统 CPU 内存 ...
Hadoop3.2.1版本的环境搭建(伪分布式模式)
caodongfang126的博客
04-08 1560
Hadoop的安装包括3中模式： （1）单机模式：只在一台机器上运行，存储采用本地文件系统，没有采用分布式文件系统HDFS。 （2）伪分布式模式：存储采用分布式文件系统HDFS，但是HDFS的节点和数据节点都在同一节点。 （2）分布式模式：存储采用分布式文件系统HDFS，而且HDFS的节点和数据节点位于不同机器上。 1 创建Hadoop用户 1.1 创建新用户 用户名为hadoopus...
hadoop分组只能连续的数据分组问题分析源码分析
liangfeng的博客
07-12 211
hadoop分组只能连续的数据分组问题分析 一,问题发现 需求：假设一组数据 有ip和时间 现在需要根据时间排序根据ip分组 代码实现如下 数据 后面多余字段省略 true 58.215.204.118 - 2018-11-01 06:52:27 true 58.215.204.118 - 2018-11-01 06:51:36 true 58.215.204.118 - 201...
Hadoop3.2.1安装-单机模式和伪分布式模式
花菜回锅肉的博客
07-06 838
Hadoop入门篇 概述 Hadoop是使用Java编写的，是为了解决大数据场景下的两大问题，分布式存储和分布式处理而诞生的，包含很多组件、套件。需要运行在Linux系统下。主要包括HDFS 和 MapReduce两个组件。 下载安装 下载 下载地址 https://archive.apache.org/dist/hadoop/common/ 选择合适自己的tar.gz版本下载,该文档选择V3.2.1。 Hadoop是Java开发的，所以依赖jdk运行,要先安装jdk Hadoop和jdk版本对应关系
Linux：Hadoop3.2.1环境搭建（单机模式）
Yal_insist的博客
03-29 3408
Hadoop3.2.1环境搭建（单机模式）
hadoop combine 规约
后知后觉的it路
12-09 399
    0 简介：   a) combine发生在map流程中 b) 一般combine代码和自定义reduce代码相同，如果需要不相同，只需要继承hadoop.mapreduce.Reducer     在其内写自己代码即可。 c) combine不是hadoop标配，其有使用局限性，     不会对多个map的输出做处理，不能跨map任务执行，不能代替reduce的作用， ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

道-闇影

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值