![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
hy1568786
码中问道
展开
-
特殊的hadoop
特殊的hadoop 1.没有reducer的demo: job.setNumReduceTasks(0);https://blog.csdn.net/boonya/article/details/54630808?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522161242952716780264021789%2522%252C%2522scm%2522%253A%252220140713.130102334.pc%25...原创 2021-02-04 17:30:26 · 97 阅读 · 0 评论 -
图说hadoop原理
hadoop=hdfs+mapreducemap:五步走reduce:三步走shuffle:这是文本人学习hadoop提出的问题加网络学习图1.分块是在哪里完成的【或者:有多少个map】?2.分布式系统都强调一致性,datanode的是什么一致性?3.WAL有什么作用?4.Hbase支持事务吗?请点击有道云笔记链接:文档:hadoop学习系统.not...原创 2020-05-06 10:03:54 · 172 阅读 · 1 评论 -
hive
大数据之Hive学习hive是数据仓库,区别于hbase数据库,hive是一种查询语句,本身不具有存储功能。hive 对结构化数据的操作,区别于非结构化和半结构化数据1.类sql语句,所以就有 增删改查2.hive的原理解释器,编译器,优化器3.优化【本质就是对mapreduce的优化】4.扩展 hive on spark ,tez引擎...原创 2019-10-22 20:21:07 · 105 阅读 · 0 评论 -
大数据配置(hadoop的三种集群方式)
大数据配置(hadoop的三种集群方式)Hadoop的运行模式分为3种:本地运行模式,伪分布运行模式,集群运行模式,前2种都是在同一台机器上进行的操作,相应概念如下:(楼主 建立了一个集群 主机 node3 从机分别是node1 node2)1、独立模式即本地运行模式(standalone或local mode)无...原创 2019-03-06 19:36:25 · 4145 阅读 · 1 评论 -
hadoop之调度器yarn原理详细分析
1.client向yarn提交job,首先找ResourceManager分配资源,2.ResourceManager开启一个Container,在Container中运行一个Application manager3.Application manager找一台nodemanager启动Application master,计算任务所需的计算4.Application master向A...原创 2019-04-17 21:08:39 · 148 阅读 · 0 评论 -
PV,UV
什么是PV,什么是UV内容参见百度知道:https://zhidao.baidu.com/question/570844898.htmlip、uv和pv的定义IP(独立IP): 即Internet Protocol,指独立IP数。00:00-24:00内相同IP地址之被计算一次。PV(访问量): 即Page View, 即页面浏览量或点击量,用户每次刷新即被计算一次。UV(独立访客)...原创 2019-08-22 15:32:14 · 883 阅读 · 0 评论 -
hadoop的生态圈简介
hadoop的生态圈简介在学习大数据的时候,hadoop是我们过不去的坎,即使在学习spark,也必须要了解hadoop。hadoop生态圈简介:https://www.jianshu.com/p/045adc93aeb7...原创 2019-08-22 16:12:57 · 144 阅读 · 0 评论 -
zookeeper
参考:https://www.cnblogs.com/felixzh/p/5869212.html转载 2019-08-22 20:11:07 · 62 阅读 · 0 评论