大数据
Toner_唐纳
自律!自信!自强!越努力越幸运!
展开
-
kafka安装运行
kafka安装,运行1.安装> tar -xzf kafka_2.12-2.3.0.tgz> cd kafka_2.12-2.3.02.启动服务> bin/kafka-server-start.sh config/server.properties &> #无zookeeper> bin/zookeeper-server-start.sh co...原创 2020-02-02 22:54:26 · 2909 阅读 · 0 评论 -
Hadoop2.0架构及其运行机制,HA原理
文章目录一、Hadoop2.0架构1.架构图2.HA1)NameNode主备切换2)watcher监听3)脑裂问题3.组件1.HDFS2.MapReduce3.Yarn1.组件2.调度流程一、Hadoop2.0架构1.架构图以上是hadoop2.0的架构图,根据hadoop1.0的不足,改进而来。1.NameNode节点,由原先的一个变成两个,解决单点故障问题2.JournalNode...原创 2020-03-18 11:10:33 · 1355 阅读 · 0 评论 -
Hadoop架构之1.0
Hadoop架构之1.0本文主要讲述Hadoop中HDFS的架构,详细的MapReduce将放到后面写一篇专门的博客文章目录Hadoop架构之1.0hadoop1.0架构HDFS组件HDFS存储过程写入操作读取过程HDFS的不足MapReduce架构MapReduce组件MapReduce数据处理过程MapReduce不足hadoop1.0架构HDFS组件NameNode管理整...原创 2020-03-09 15:05:00 · 698 阅读 · 0 评论 -
简述大数据
简述大数据本文暂不考虑市场的定义,仅从两个技术角度叙述;大数据的特点大数据的流程大数据的特点根据IBM的概括,表现为5VVolume数据量大。包括采集、存储和计算的量都非常大。大数据的起始计量单位至少是P(1000个T)、E(100万个T)或Z(10亿个T)Variety**种类和来源多样化。**包括结构化、半结构化和非结构化数据,具体表现为网络日志、音频、视频、图片、地理...原创 2020-03-08 14:15:16 · 477 阅读 · 0 评论 -
linux安装大数据相关软件
1.安装ipconfigyum install net-tools.x86_642.安装wgetyum install wget原创 2020-01-20 17:54:25 · 291 阅读 · 0 评论 -
转载|大数据学习路线
大数据学习路线以下内容转载自https://www.imooc.com/article/26678?block_id=tuijian_wz,侵权必删!1.Linux基础和分布式集群技术学完此阶段可掌握的核心能力:熟练使用Linux,熟练安装Linux上的软件,了解熟悉负载均衡、高可靠等集群相关概念,搭建互联网高并发、高可靠的服务架构;学完此阶段可解决的现实问题:搭建负载均衡、高可靠的服...转载 2019-06-12 09:14:59 · 125 阅读 · 0 评论 -
Hadoop--mac 上利用虚拟机安装hadoop步骤整理
Hadoop–mac 上利用虚拟机安装hadoop步骤整理本文仅提供详细步骤,不提供详尽解释VMware fusion虚拟机配置静态IP######mac book 执行获取[tonerMac-Pro:~ toner]$ cd /Library/Preferences/VMware\ Fusion/vmnet8[tonerMac-Pro:~ toner]$ cat dhcpd.con...原创 2019-07-09 09:12:23 · 1661 阅读 · 0 评论