Hadoop
学习笔记
baiyuani
代码仓库:https://github.com/Baiyuani
展开
-
Hadoop高可用
原因NameNode是HDFS的核心配置,HDFS又 Hadoop是核心组件, NameNodeHadoop在集群中至关重要NameNode宕机,将导致集群不可用,如果 NameNode数据丢失将导致整个集群的数据丢失,而 NameNode的数据的更新又比较频繁,实现 NameNode高可用势在必行解决方案官方提供了两种解决方案HDES With nesHDFS With QJM...原创 2020-02-28 18:07:27 · 273 阅读 · 0 评论 -
ZooKeeper&kafka
ZooKeeper是什么Zookeeper是一个开源的分布式应用程序协调服务Zookeeper是用来保证数据在集群间的事务一致性Zookeeper应用场景集群分布式锁集群统一命名服务分布式协调服务Zookeeper角色Leader:接受所有 Follower的提案请求并统一协调发起提案的投票,负责与所有的Follower进行内部数据交换Follower:直接为客户端...原创 2020-02-28 12:13:02 · 120 阅读 · 0 评论 -
Hadoop维护
hdfs节点管理1)增加节点启动一个新的系统,设置SSH免密码登录在所有节点修改/etc/hosts,增加新节点的主机信息安装java运行环境(java-1.8.0-openjdk)修改 NameNode slaves的文件增加该节点拷贝 NamNode的/usr/local/hadoop到本机在该节点启动DataNode[root@node4 hadoop] ./sbin/h...原创 2020-02-26 17:50:27 · 349 阅读 · 0 评论 -
Hadoop
大数据介绍随着计算机技术的发展,互联网的普及,信息的积累 已经到了一个非常庞大的地步,信息的增长也在不断 的加快,随着互联网、物联网建设的加快,信息更是 爆炸是增长,收集、检索、统计这些信息越发困难, 必须使用新的技术来解决这些问题1)大数据定义大数据指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海...原创 2020-02-25 17:50:13 · 155 阅读 · 0 评论