hadoop大数据实践_刘锋的博客

最新推荐文章于 2024-05-23 20:31:41 发布
最新推荐文章于 2024-05-23 20:31:41 发布
阅读量847 收藏 7
点赞数
文章标签： hadoop 大数据 hdfs java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jiu_mu_mu/article/details/117925628
版权

文章目录

hadoop大数据

一、hadoop连不上网解决：

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

重启虚拟机即可。

二、Xshell6连接

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

连接成功！

三、启动服务

重新编辑本机的hosts文件

sudu vim /etc/hosts

在这里插入图片描述

按insert进入编辑模式

在这里插入图片描述

完成修改

在这里插入图片描述

按esc键，退出

:wq 保存

在这里插入图片描述

查看是否修改成功：cat /etc/hosts

在这里插入图片描述

cd ~ 回车

ls

pwd 当前目录

cd … 退回上一级目录

在这里插入图片描述

cd app

ls

在这里插入图片描述

cd hadoop-2.6.0-cdh5.7.0/

ls

在这里插入图片描述

cd sbin

ls

在这里插入图片描述

./start-dfs.sh

在这里插入图片描述

连接成功

在这里插入图片描述

jps 查看进程

在这里插入图片描述

测试连接

用浏览器访问：http://192.168.234.128:50070/

出现这个页面就表示成功

在这里插入图片描述

4、hdfs的shell操作

hadoop fs 设置环境变量

在这里插入图片描述

相关的命令：

hadoop fs -ls /

在这里插入图片描述

在这里插入图片描述

touch taigongyuan.txt 在本机创建一个文件

vim taigongyuan.txt 写文件内容

cat taigongyuan.txt 查看文件内容

hadoop fs -mkdir -p /hadooptaiyuan/test 在hadoop创建一个文件夹

在这里插入图片描述

将本地创建的文件传入Hadoop中

hadoop fs -put taigongyuan.txt /hadooptaiyuan/test

在这里插入图片描述

查看hadoop中的文件中的内容

hadoop fs -cat /hadooptaiyuan/test/taigongyuan.txt

在这里插入图片描述

将hadoop的文件的下载到本地，并且命名为haha.txt

hadoop fs -get /hadooptaiyuan/test/taigongyuan.txt haha.txt

在这里插入图片描述

将文件移动一个位置

hadoop fs -mv /hadooptaiyuan/test/taigongyuan.txt /user 我这里是移动到user目录下面

在这里插入图片描述

删除一个文件

hadoop fs -rm /user/taigongyuan.txt

在这里插入图片描述

五、使用java去操纵hdfs

首先新建一个maven项目

添加maven依赖

<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-client</artifactId>
    <version>2.6.0</version>
</dependency>

新建测试类

private Configuration configuration = null;
private static final String HDFS_PATH = "hdfs://192.168.234.128:8020";

/**
 * java连接hdfs首先需要建立一个连接
 */
@Before
public void setUp() {
    System.out.println("开启连接");
    configuration = new Configuration();
}

/**
 * 释放资源
 */
@After
public void tearDown() {
    System.out.println("关闭连接");
    configuration = null;
}
1、新建一个文件夹
	/**
     * 新建文件夹
     */
    @Test
    public void mkdir() {
        FileSystem fileSystem = null;
        try {
            fileSystem = FileSystem.get(new URI(HDFS_PATH), configuration, "hadoop");
            fileSystem.mkdirs(new Path("/liufeng666/test1"));
        } catch (Exception e) {
            e.printStackTrace();
        } finally {
            if (fileSystem != null) {
                try {
                    fileSystem.close();
                } catch (IOException e) {
                    e.printStackTrace();
                }
            }
        }
    }

在这里插入图片描述

2、创建文件
@Test
public void create() {
    FileSystem fileSystem = null;
    FSDataOutputStream fsDataOutputStream = null;
    try {
        fileSystem = FileSystem.get(new URI(HDFS_PATH), configuration, "hadoop");
        fsDataOutputStream = fileSystem.create(new Path("/liufeng666/test1/hello.txt"));
        fsDataOutputStream.write("hello liufeng jisuanji".getBytes());
        fsDataOutputStream.flush();

    } catch (Exception e) {
        e.printStackTrace();
    } finally {
        if (fileSystem != null) {
            try {
                fileSystem.close();
            } catch (IOException e) {
                e.printStackTrace();
            }
        }
        if (fsDataOutputStream != null) {
            try {
                fsDataOutputStream.close();
            } catch (IOException e) {
                e.printStackTrace();
            }
        }
    }
}
3、重命名文件
/**
 * 重命名文件
 */
@Test
public void rename() {
    FileSystem fileSystem = null;
    Path oldPath = new Path("/liufeng666/test1/hello.txt");
    Path newPath = new Path("/liufeng666/test1/hehe.txt");
    try {
        fileSystem = FileSystem.get(new URI(HDFS_PATH), configuration, "hadoop");
        fileSystem.rename(oldPath, newPath);

    } catch (Exception e) {
        e.printStackTrace();
    } finally {
        if (fileSystem != null) {
            try {
                fileSystem.close();
            } catch (IOException e) {
                e.printStackTrace();
            }
        }
    }
}
4、查看文件
/**
 * 查看文件
 */
@Test
public void cat() {
    FileSystem fileSystem = null;
    Path path = new Path("/liufeng666/test1/hehe.txt");
    try {
        fileSystem = FileSystem.get(new URI(HDFS_PATH), configuration, "hadoop");
        FSDataInputStream is = fileSystem.open(path);
        IOUtils.copyBytes(is, System.out, 1024);
        is.close();

    } catch (Exception e) {
        e.printStackTrace();
    } finally {
        if (fileSystem != null) {
            try {
                fileSystem.close();
            } catch (IOException e) {
                e.printStackTrace();
            }
        }
    }
}
5、上传文件
/**
 * 上传文件
 */
@Test
public void uplode() {
    FileSystem fileSystem = null;
    Path localPath = new Path("src/jiachenxia.pdf");
    Path path = new Path("/liufeng666/test1");
    try {
        fileSystem = FileSystem.get(new URI(HDFS_PATH), configuration, "hadoop");
        fileSystem.copyFromLocalFile(localPath, path);

    } catch (Exception e) {
        e.printStackTrace();
    } finally {
        if (fileSystem != null) {
            try {
                fileSystem.close();
            } catch (IOException e) {
                e.printStackTrace();
            }
        }
    }
}
6、下载文件
/**
 * 下载文件
 */
@Test
public void download() {
    FileSystem fileSystem = null;
    Path hdfspath = new Path("/liufeng666/test1/jiachenxia.pdf");
    Path localPath = new Path("src/download/jiachenxia.pdf");

    try {
        fileSystem = FileSystem.get(new URI(HDFS_PATH), configuration, "hadoop");
        fileSystem.copyToLocalFile(false, hdfspath, localPath, true);

    } catch (Exception e) {
        e.printStackTrace();
    } finally {
        if (fileSystem != null) {
            try {
                fileSystem.close();
            } catch (IOException e) {
                e.printStackTrace();
            }
        }
    }
}

六、可视化yarn和MapReauce

词频统计案例

1、先停止hadoop

./stop-dfs.sh

2、启动所有

./start-all.sh

在这里插入图片描述

3、输入访问8088端口

在这里插入图片描述

实现代码
 /**
     * map阶段
     */
    public static class MyMapper extends Mapper<LongWritable, Text, Text, LongWritable> {
        LongWritable one = new LongWritable(1);

        @Override
        protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
            // 分
            String line = value.toString();
            // 拆分
            String[] s = line.split(" ");
            for (String word : s) {
                // 输出
                context.write(new Text(word), one);
            }
        }
    }

/**
     * reduce阶段
     */

    public static class MyReduce extends Reducer<Text, LongWritable, Text, LongWritable> {
        @Override
        protected void reduce(Text key, Iterable<LongWritable> values, Context context) throws IOException, InterruptedException {
            long sum = 0;
            // 合并统计
            for (LongWritable value : values) {
                sum += value.get();
            }
            context.write(key, new LongWritable(sum));
        }
    }

 public static void main(String[] args) throws Exception {
        Configuration configuration = new Configuration();
        Job job = Job.getInstance(configuration, "wordcount");
        job.setJarByClass(WordCountApp.class);

        FileInputFormat.setInputPaths(job, new Path(args[0]));
        job.setMapperClass(MyMapper.class);
        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputValueClass(LongWritable.class);

        job.setReducerClass(MyReduce.class);

        Path outPath = new Path(args[1]);
        FileSystem fileSystem = FileSystem.get(configuration);

        if (fileSystem.exists(outPath)) {
            // 删除文件
            fileSystem.delete(outPath, true);
            System.out.println("输出路径存在，已经被我删除了");
        }

        FileOutputFormat.setOutputPath(job, outPath);


        // 控制台输出详细的信息
        System.out.println(job.waitForCompletion(true) ? 0 : 1);
    }
打包

在这里插入图片描述

放进hadoop中

在这里插入图片描述

运行jar

hadoop jar Desktop/bigdate-1.0-SNAPSHOT.jar neusoft.WordCountApp hdfs://hadoop000:8020/liufeng.txt hdfs://hadoop000:8020/output/wc

在这里插入图片描述

在这里插入图片描述

查看文件内容

hadoop fs -cat /output/wc/part-r-00000

在这里插入图片描述

七、ECharts

首先创建一个html

引入ECharts的js文件

<script src="https://cdn.staticfile.org/echarts/4.3.0/echarts.min.js"></script>

为ECharts准备一个具备大小（宽高）的Dom

<div id="main" style="width: 600px;height:400px;">

</div>

柱状图

<script>
    var main = document.getElementById("main");
    var myChart = echarts.init(main);
    // 绘制图表
    var option = myChart.setOption({
        title: {
            text: 'ECharts '
        },
        tooltip: {},
        xAxis: {
            data: ['衬衫', '羊毛衫', '雪纺衫', '裤子', '高跟鞋', '袜子']
        },
        yAxis: {},
        series: [{
            name: '销量',
            type: 'bar',
            data: [5, 20, 36, 10, 10, 20]
        }]
    });

    myChart.setOption(option);
</script>

在这里插入图片描述

饼图

<!DOCTYPE html>
<html lang="en">
<head>
    <meta charset="UTF-8">
    <title>Title</title>
    <script src="https://cdn.staticfile.org/echarts/4.3.0/echarts.min.js"></script>
    <!-- 引入主题 -->
    <script src="https://www.runoob.com/static/js/wonderland.js"></script>
</head>
<body>
<!-- 为ECharts准备一个具备大小（宽高）的Dom -->
<div id="main" style="width: 600px;height:400px;">

</div>
<script>
    var main = document.getElementById("main");
    var myChart = echarts.init(main, 'dark');
    // 绘制图表
    var option = myChart.setOption({
            title: {
                text: '饼图'
            }
            ,
            // 工具箱

            show: true,
            legend: {
                orient: 'vertical',
                left: 'right',
                data: ['视频广告', '联盟广告', '邮件营销', '直接访问', '搜索引擎']
            },
            tooltip: {
                trigger: 'item',
                formatter: "{a} <br/>{b} : {c} ({d}%)"
            },

            series: [
                {
                    name: '访问来源',
                    type: 'pie',    // 设置图表类型为饼图
                    radius: '75%',  // 饼图的半径，外半径为可视区尺寸（容器高宽中较小一项）的 55% 长度。
                    data: [          // 数据数组，name 为数据项名称，value 为数据项值
                        {value: 235, name: '视频广告'},
                        {value: 274, name: '联盟广告'},
                        {value: 310, name: '邮件营销'},
                        {value: 335, name: '直接访问'},
                        {value: 400, name: '搜索引擎'}
                    ]
                }
            ]

        })
    ;
</script>
</body>
</html>
刘沐Mu
关注
  • 0
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
分布式计算开源框架Hadoop入门实践
放翁（文初）的一亩三分地
08-29 3万+
Author :岑文初Email: wenchu.cenwc@alibaba-inc.commsn: cenwenchu_79@hotmail.comblog: http://blog.csdn.net/cenwenchu79/ 引... 2What is Hadoop. 2Why is hadoop. 6How to Use Hadoop & Tips 7环境
HDFS编程实践(Hadoop3.1.3)
最後の後悔的博客
04-16 4247
Hadoop 分布式文件系统是Hadoop核心组件之一。介绍Linux操作系统中关于HDFS文件操作的常用Shell命令，利用Web界面查看和管理Hadoop文件系统，以及利用Hadoop提供的Java API进行基本的文件操作。 解决File hdfs://localhost:9000/user/hadoop does not exist 解决Call From Master/10.13.236,141 to localhost:9000 failed on connection exception:
【Hadoop】 实践总结
dzxdzx341224的博客
03-03 1209
本文将以离线批处理大数据为例，演示简单的Hadoop流程，不作过多理论概念介绍。具体内容具体可分为：1、文件导入Hdfs；2、MapReduce作业；3、Hive建模；4、Sqoop数据抽取。
02--大数据Hadoop集群实战
最新发布
qq_43387908的博客
05-23 1610
完全分布式需要配置的内容都写在这里了，需要时可复制粘贴使用，第二代hadoop基本可以覆盖
Hadoop的数据管理
轻轻草原
12-10 112
本文主要介绍Hadoop的数据管理，主要包括Hadoop的分布式文件系统HDFS、分布式数据库HBase和数据仓库工具Hive。 HDFS的数据管理 HDFS是分布式计算的存储基石，Hadoop分布式文件系统和其他分布式文件系统有很多类似的特性： 对于整个集群有单一的命名空间； 具有数据一致性，都适合一次写入多次读取的模型，客户端在文件没有被成功创建之前是无法看到文件存在的； 文件会被分割...
Hadoop大数据实战开发
05-24
介绍大数据技术生态圈主流技术框架的应用与发展，介绍如何搭建Hadoop大数据分布式系统集群平台、大数据分布式文件系统HDFS 、大数据分布式并行计算框架MapReduce。本课程介绍大数据的学习基础。本课程介绍大数据的背景。带你深入了解大数据，对大数据有不同的认识。介绍大数据的基本概念和技术生态圈。本课程以杨力老师主编的《Hadoop大数据开发实战》为参考，书中详细的介绍了各个步骤，有需要的同学可以留意一下。该课程的后续课程为杨力老师主讲的《hive大数据离线应用开发》，想要更进一步的同学可以继续观看杨老师的系列视频。
Hadoop大数据开发基础.rar
10-14
文档为PPT，与百度文库里的Hadoop大数据开发基础为一套，里面内容相对比较基础~可做基础学习资料PPT。 【实例截图】 【核心代码】 Hadoop大数据开发基础-PPT课件 └── 37066-Hadoop大数据开发基础-PPT课件 ├── ...
Hadoop数据分析_大数据_hadoop_数据分析_
10-01
在大数据的世界里，Hadoop是不可或缺的一个核心组件，它为海量数据处理提供了高效、可靠的解决方案。本主题将深入探讨Hadoop在数据分析中的应用及其生态系统的关键技术。 首先，我们需要理解“大数据”的概念。...
hadoop大数据课程设计
06-15
【标题】"hadoop大数据课程设计"涉及到的核心技术是Hadoop，这是一个开源的分布式计算框架，主要用于处理和存储海量数据。Hadoop的核心组件包括HDFS（Hadoop Distributed File System）和MapReduce，前者提供高容错...
Hadoop大数据开发基础_教案.rar
07-04
《Hadoop大数据开发基础》教程主要涵盖了大数据处理领域中的核心框架——Hadoop的全面学习。这份教案详尽地讲解了从Hadoop的基本概念到实际项目应用的各个环节，旨在帮助初学者掌握Hadoop的大数据处理能力。 第一章...
HADOOP课件_大数据_hadoop_
10-02
标题中的“HADOOP课件_大数据_hadoop_”表明这是一份关于Hadoop和大数据技术的课程资料，其中可能涵盖了Hadoop生态系统的核心组件以及大数据处理的相关知识。Hadoop是Apache基金会开发的一个开源框架，主要用于...
大数据Hadoop与Spark技术应用实践
02-02
学习和掌握Hadloop和Spark技术，学习大数据知识。不仅仅原理还有实战
Hadoop大数据开发实战-教学大纲.pdf
12-23
一、 课程的性质 本课程是为大数据技术类相关专业学生开设的课程。随着时代的发展，大数据已经成为一个耳熟能详的词汇。与此同时，针对大数据处理的新技术也在不断的开发和运用中，逐渐成为数据处理挖掘行业广泛使用的主流技术之一。Hadoop作为处理大数据的分布式存储和计算框架，得到了国内外大小型企业广泛的应用。Hadoop是一个可以搭建在廉价服务器上的分布式集群系统架构，它具有可用性高、容错性高和可扩展性高等优点。由于它提供了一个开放式的平台，用户可以在完全不了解底层实现细节的情形下，开发适合自身应用的分布式程序。经过十多年的发展，目前Hadoop已经成长为一个全栈式的大数据技术生态圈，并在事实上成为应用最广泛最具有代表性的大数据技术。因此，学习Hadoop技术是从事大数据行业工作所必不可少的一步。 二、 课程的任务 通过本课程的学习，使学生学会搭建Hadoop完全分布式集群，掌握HDFS的原理和基础操作，掌握MapReduce原理架构、MapReduce程序的编写。为将来从事大数据挖掘研究工作以及后续课程的学习奠定基础。
Hadoop学习总结
02-21
hadoop学习总结，包含HDFS简介，HDFS读写过程解析、Map-Reduce入门、Map-Reduce的过程解析、Hadoop的运行痕迹
Hadoop最佳实践
vinowan的专栏
05-30 1254
1. 简介Hadoop是Apache自由软件基金会资助的顶级项目，致力于提供基于map-reduce计算模型的高效、可靠、高扩展性分布式计算平台。2. Map-Reduce应用场景作为一种受限的分布式计算模型，Map-Reduce计算模型有其擅长的领域，也有其不擅长的方面：条款1：map-reduce计算模型适用于批处理任务，即在可接受的时间内对整个数据集计算某个特定的查询的结
Hadoop实践（零）---Hadoop项目生态系统
狮锅艺
02-19 798
Hadoop生态系统中常见的项目
我的hadoop实践
moonpure的专栏
01-28 512
我刚学hadoop,java,linux等也没有学会，我原是学.net的，最近改学java,hadoop,因hadoop只能在linux/unix上发布，所以只有学linux,同时想学linux学一些开源的，java也有很多开源的，很多开源的也在linux上。所以就硬着头皮学，以下内容如有错误，请原谅我的不才。 我通过学linux私房菜（其实没有学完，学会），决定学centos，一是小红
【Hadoop】Hadoop正常启动，但是网页打不开
qmzn666的博客
05-09 7261
问题描述： Hadoop正常运行，但是网页无法进去。 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-24tUFsZp-1652111655055)(C:\Users\siver\AppData\Roaming\Typora\typora-user-images\image-20220509234516724.png)] [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Omc2QbvQ-1652111655056)(C:\Users\siver\A
Hadoop与主机连接以及20版本的Hadoop配置网络的问题
张小鱼的博客
12-05 930
目录配置Hadoop的网络：主机与Hadoop连接出错Ubuntu20版本的网络配置在netplan里面官方网站：Canonical Netplan查看了这位博主的文章进行网络的配置ping百度网站：【可以ping通】可以ping通网络之后，但是出现了新的问题问题描述——前面我创建过多次的Hadoop虚拟机，导致主机ssh连接时报错，不能连接Hadoop，出现下面这种样子，
Hadoop大数据集群搭建详解：理论与实践指南
《基于Hadoop大数据集群的搭建》是一篇针对计算机科学与技术、软件工程专业本科专科毕业生的原创学位毕业论文，作者从Hadoop的崛起背景出发，详细阐述了这个开源框架在大数据处理和分析领域的关键角色。论文的重点...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值