- 博客(4)
- 收藏
- 关注
RSS订阅原创 百花齐放的大数据计算平台演进史
上一篇文章《Hadoop之HDFS架构演进之路》中，我们分享了分布式存储HDFS的架构以及演进的历程，这一篇文章我们主要讲述大数据计算引擎的发展并对它们进行比较。随着互联网技术的广泛应用，5G以及物联网和云计算的迅猛发展，带动了全球数据爆发式增长，随之而来的是不断增长的数据规模和数据的动态快速产生，这对大数据计算引擎带来了极大的挑战，离线批处理、实时计算和高吞吐量催生了新技术的发展和旧技术的革新，计算引擎出现了百花齐放的景象。计算引擎大致分两类，离线计算和实时计算，下面为大家介绍几个主流的大数据计.
2021-01-22 10:57:04
477
原创 Hadoop之HDFS架构演进之路
Doug Cutting，从这个人的发量看起来就是很厉害的人，Hadoop之父，同时也是Lucene、Nutch 、Hadoop等项目的发起人，我们在介绍Hadoop之前知道有这样一个人就可以了。Hadoop的产生背景首先，我们要知道，一门新技术的产生或者新生事物的出现必然是因为在该领域出现了难以突破的瓶颈和障碍，因为有需要，所以新生的技术和领域会不断催生出来，独领风骚，因此我们需要不断学习去追赶时代潮流，落后就要淘汰。21世纪是大数据爆发时代，随着信息数量以爆炸式增长，传统的数据...
2021-01-22 09:51:20
223
原创 Hadoop常用命令
网络配置hostname 查看主机名vim /etc/sysconfig/network 设置主机名ifconfig 查看ip情况vim /etc/sysconfig/network-scripts/ifcfg-eth0 设置网络DEVICE="eth0" 接口名（设备、网卡）BOOTPROTO=STATIC IP的配置方法（static：固定IP，dhcp：，none：手动）ONBOOT=ye...
2018-04-27 14:10:52
237
原创 Hadoop2.0安装
0. Hadoop源码包下载http://mirror.bit.edu.cn/apache/hadoop/common1. 集群环境Master 172.16.11.97Slave1 172.16.11.98Slave2 172.16.11.992. 下载安装包#Masterwget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.8....
2018-04-27 14:09:00
398
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人