![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
处理流程
Java架构师联盟
这个作者很懒,什么都没留下…
展开
-
微服务横行,阿里架构师横空出世,手把手带你玩转springboot
一、前提准备电脑安装好jdk1.8,安装好IDEA二、步骤1.点击创建一个新项目2.选择 Spring initializr选项,这是一个非常方便的生成Springboot的工具,确认信息无误后next3.修改group、artifact、name、description、package后next4.这一步是选择依赖,小白就只选一个Spring...原创 2020-03-23 21:19:21 · 126 阅读 · 0 评论 -
阿里大数据专家:Flink你明白吗?来看一下我说的吧
什么FlinkApache Flink是一个框架和分布式处理引擎,用于对无界和有界数据流进行有状态计算。Flink设计为在所有常见的集群环境中运行,以内存速度和任何规模执行计算1、处理无界和有界的数据无界流有一个开始但没有定义的结束。它们不会在生成时终止并提供数据。必须持续处理无界流,即必须在摄取事件后立即处理事件。无法等待所有输入数据到达,因为输入是无界的,并且在任何时间点都不会完成...原创 2020-03-23 19:02:40 · 354 阅读 · 0 评论 -
spark-submit之后发生了什么?跟随清华大佬一探究竟
文章目录Spark术语解释:MasterWorkerApplicationDriverExecutorJob关系之间的执行关系:任务层面资源层面Client1、尽量减少集群中各台服务器之间的性能差异,防止出现木桶效应2、便于维护集群,以防止出现危害集群的行为Cluster就像在一家公司里面总有明确的分工,每一哥部分负责自己的那一部分的任务,大家一起来维持公司的正常运转,同样的,spark就像是一...原创 2020-03-17 20:43:06 · 249 阅读 · 0 评论 -
分布式弹性数据集助力spark,提升运行效率
在spark的简介中我们已经说过了,为了让spark的处理速度加快,其中有一个解决办法就是引入了一个分布式的弹性数据集–RDD那什么是RDD:RDD(Resilient Distributed Dataset)弹性数据集,是spark中的最基本的数据抽象,虽然说RDD是一个数据集,但是,它不存储数据,他表示的是一个不可变的,可分区的元素并行计算的集合,允许用户在执行多个查询时将工作缓存到内存中,...原创 2020-03-16 21:52:42 · 159 阅读 · 0 评论 -
hadoop--“管家”yarn初步讲解2.x
在了解了hfds的底层执行之后,也知道它存在的一些问题,mapreduce下的资源管理1.x简单回顾一下第一单点故障,第二内存的硬件限制,最后就是mapreduce 的计算机制造成了资源的空闲浪费。,对于以上存在的问题,虽然mapreduce是一个很好的大数据处理的计算框架,但是,为了追求最好的运行效率,当遇到特别巨大的运算等特殊情况时所可以得到的最好的处理结果,Hadoop在MapRedu...原创 2020-02-25 23:48:35 · 171 阅读 · 0 评论 -
hdfs-mapreduce处理流程(二)
1、问题:在这张图中有几个工人,几个工厂工人: 4 --map处理程序厂: 3 --reduce相当于最后的工厂 组装2、map端进行了什么事:砍树这一步叫做split 过程砍树—把我们hdfs的文件进行切割(砍树) ----- 默认与block块的大小一致(128M) split=block=maptask2.1当然为了更好的处理,在计算资源充足的情况下,把split变大设置为25...原创 2020-02-25 22:37:07 · 381 阅读 · 0 评论 -
远程搭建集群进行连接步骤
首先来个简单的引入,我在处理环境进行映射的时候发现我没有hosts,那这样的话该怎么办呢?去网上搜了很多,在这里我进行简单的记录和整理1、第一种方法,直接创建hosts文件2、代码生成我们按下WIN+R呼出运行菜单,然后在运行菜单中输入:attrib %SystemRoot%\system32\drivers\etc\hosts -h -r -s然后我们继续在运行菜单中输入:notepa...原创 2020-02-22 20:51:11 · 807 阅读 · 0 评论 -
大数据之Hadoop下hdfs本地配置
在之前的博客进行的过程中,发现很多朋友呢在执行本地测试的时候出现问题,百思不得其解,最终发现答案,想在本地进行测试但是还没有设置本地的运行环境,没有厨房还想做饭,这玩意挺为难人啊,所以呢,现在我们就开始进行hadoop环境的本地搭建1、准备hadoop包:正常下载之后解压到一个任意位置,看你个人开心2、环境变量配置配置环境变量包括HADOOP_HOME(HADOOP解压路径)保证hado...原创 2020-02-18 23:56:23 · 195 阅读 · 0 评论 -
大数据入门--简单wordcount源码分析
java入门hello world大数据入门–wordcount因为工作的关系,频繁的重复被wordcount配置的恐惧,尤其是在scala横飞的今天,长久的不再使用有的时候真的记不住啊,从网上找各种相应的代码,五味杂陈,所以在这里将简单的wordcount的代码整理出来供大家使用,也供自己参考首先就是我们的Mapper层...原创 2020-02-18 23:34:09 · 303 阅读 · 0 评论 -
MapReduce处理流程
在了解了Hadoop的组建以及底层框架之后我们知道,Hadoop的底层是通过HDFS进行数据的存储,将数据存储到集群中然后调用其中的数据进行相应的计算,那么问题来了,谁来进行计算的操作呢?这个就是Hadoop的另外一个底层框架,也就是MapReduce,他在集群的作用就是负责进行数据的处理过程为什么要使用mapreduce呢?因为mapreduce的核心是将用户编写的业务逻辑代码和自带的默认组件...原创 2020-02-18 21:29:47 · 304 阅读 · 0 评论