![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
文章平均质量分 65
Hadoop搭建以及使用
程序员小羽
这个作者很懒,什么都没留下…
展开
-
7.HDFS集群—HDFS开发
HDFS概述hdfs简介hdfs是类unix、linux的文件系统有用户概念,但没有相关命令和接口去创建用户信任客户端 ,默认使用操作系统提供的用户,谁启动的dfs,谁就是dfs的管理员也可以扩展 kerberos、LDAP等,使用第三方用户认证系统有超级用户的概念#一般在企业中不会用root做什么事情#超级用户linux系统:roothdfs系统: 是namenode进程的启动用户有权限概念hdfs的权限是自己控制的 来自于hdfs的超级用户管理员操作系统:root是原创 2021-07-19 11:23:46 · 134 阅读 · 0 评论 -
6.HDFS集群—搭建HA高可用模式
HA高可用模式搭建节点结构HOSTNNJNNDNZKFCZKtongyuzhe1***tongyuzhe2*****tongyuzhe3***tongyuzhe4**配置zookeeper将zookeeper解压到/opt/bigdata/目录下,进入zookeeper下的conf文件夹复制一份zoo_sample.cfg重命名为zoo.cfgcp zoo_sample.cfg zoo.cfg原创 2021-07-18 20:55:37 · 135 阅读 · 1 评论 -
5.HDFS集群—HA下单点故障、压力内存问题
CAP原则强一致性会破坏可用性Consistency:一致性是指在同一时刻,分布式系统中NameNode主备节点里元数据始终是相同值。Availability:可用性不会因为NameNode备节点网络延迟导致主节点等待卡顿。或指NameNode中的某一个节点故障宕机后,集群还能响应客户端请求,并且数据不丢失。Partition tolerance:分区容忍性能不能尽量保证一致性的情况下,将数据拆分开来,分散存储。例如: 1.DataNode节点。 2.系原创 2021-07-18 20:54:43 · 603 阅读 · 0 评论 -
4.HDFS集群—搭建集群分布式
hadoop分布式搭建完全分布式结构hostNNSNNDNtongyuzhe1*tongyuzhe2**tongyuzhe3*tongyuzhe4*hadoop配置目录如果出现启动失败,就把/tmp和配置文件目录还有hadoop软件文件夹都删除全部重新弄#进入hadoop配置目录cd $HADOOP_HOME/etc/hadoop角色启动位置#hadoop配置文件千万不能有空行之类的NameNode启动原创 2021-07-18 20:53:23 · 172 阅读 · 0 评论 -
3.HDFS集群—搭建伪分布式
关于环境变量#拿不到环境变量ssh root@192.168.xxx.xxx 'echo $bianliang'#先加载环境变量,再输出环境变量ssh root@192.168.xxx.xxx 'source /etc/profile;echo $bianliang'关于克隆虚拟机#需要为每台机器重新生成不同的machine-id:rm /etc/machine-id /var/lib/dbus/machine-iddbus-uuidgen --ensuresystemd-mac原创 2021-07-18 20:52:24 · 112 阅读 · 0 评论 -
2.HDFS理论基础—读写流程
hadoophadoop模块Distributed File System (HDFS™)YARNMapReduce流计算现在大数据市场再从批量计算转向流计算批量计算:每天增量的数据,第二天统一进行处理。流计算:实时处理,数据每新增一条,我就处理一条。HDFS和其他分布式存储区别HDFS能更好的支持分布式计算HDFS存储模型HDFS如何做到分而治之文件线性按字节切割成块(block),具有offset,idoffset:偏移下标id:唯一标识文件与文件的原创 2021-07-18 20:50:41 · 88 阅读 · 0 评论 -
1.初识HDFS—大数据启蒙
大数据启蒙分治思想分而治之的思想很重要,出现在了很多地方。1. Redis集群2. ElasticSearch3. Hbase4. HADOOP生态无处不在!需求:我有一万个元素(比如数字或单词)需要存储。如果查找某一个元素,最简单的遍历方式复杂的是多少?普通思想顺序查找,复杂度o(n)#mermaid-svg-OVoKJmaZMm6musCR .label{font-family:'trebuchet ms', verdana, arial;font-family:va原创 2021-07-18 20:50:01 · 110 阅读 · 0 评论