大数据全栈开发
文章平均质量分 50
大数据全栈开发
Liguangyang01
我是小杨
展开
-
hadoop-mapreduce调度原理,Yarn原理
yarn架构1,最终去开发MR计算程序*,HDFS和YARN 是俩概念2,hadoop2.x 出现了一个yarn : 资源管理 》 MR 没有后台常服务yarn模型:container 容器,里面会运行我们的AppMaster ,map/reduce Task解耦mapreduce on yarn架构:RMNM搭建:NN NN JN ZKFC ZK DN RM NMnode01 * * *node02 * * * * * *node03 * *原创 2022-06-27 20:52:30 · 78 阅读 · 0 评论 -
Hadoop-HDFS HA集群搭建(zookeeper)
hadoop-hdfs ha模式搭建原创 2022-06-15 19:59:25 · 862 阅读 · 0 评论 -
centos 6.x配置网络 ,ssh ,防火墙,jdk
基础设施:设置网络:设置IP看自己的vm的编辑->虚拟网络编辑器->观察 NAT模式的地址vi /etc/sysconfig/network-scripts/ifcfg-eth0DEVICE=eth0#HWADDR=00:0C:29:42:15:C2TYPE=EthernetONBOOT=yesNM_CONTROLLED=yesBOOTPROTO=staticIPADDR=192.168.128.11NETMASK=255.255.255.0GATEWAY=192.16原创 2022-06-15 09:56:15 · 147 阅读 · 0 评论 -
hadoop-HDFS集群搭建
集群搭建原创 2022-06-14 20:44:07 · 84 阅读 · 0 评论 -
centos基础环境,网络,关闭防火墙,映射,ssh,时间同步
1基础设施:设置网络:设置IP* vm的编辑->虚拟网络编辑器->观察 NAT模式的地址vi /etc/sysconfig/network-scripts/ifcfg-eth0 DEVICE=eth0 #HWADDR=00:0C:29:42:15:C2 TYPE=Ethernet ONBOOT=yes NM_CONTROLLED=yes BOOTPROTO=static IPADDR=192.168.128.11 NETMASK=255.255.255.原创 2022-05-17 12:59:30 · 121 阅读 · 0 评论 -
安装centos6.x
centos6.5安装教程1.配置好ios镜像文件2.直接回车选择第一项3.选择跳过skip4.回车确认5.next下一步6.可选择英文next7.选Basic Storage Devices后继续 next8.选择yes,discard any data9.主机名10.时区选择上海12.手动分区选择create custom layout13,开始安装14,装完重启...原创 2022-05-17 12:49:13 · 152 阅读 · 0 评论 -
Hadoop-HA模式概念
Hadoop-HA模式概念•主从集群:结构相对简单,主与从协作•主:单点,数据一致好掌握•问题:•单点故障,集群整体不可用•压力过大,内存受限HDFS解决方案:•单点故障:• 高可用方案:HA(High Available)• 多个NN,主备切换,主•压力过大,内存受限:• 联帮机制: Federation(元数据分片)• 多个NN,管理不同的元数据•HADOOP 2.x 只支持HA的一主一备HDFS-HA解决方案:Namenode元数据路径:1,cli交互操作mkdir /原创 2021-09-09 13:34:55 · 363 阅读 · 0 评论 -
hadoop-HDFS集群搭建-HA模式概念
伪分布式:在一个节点启动所有角色:NN ,DN,SNN完全分布式:基础环境 部署配置 1.角色在哪里启动 NN;core-stie.xml fs.defaultFS hdfs://node01:9000 DN:slaves node01 SNN:hdfs-site.xml dfs.namenode.secondary.http.address node01:50090 2.角色启动时的细节配置 dfs.namenode.name.di原创 2020-10-30 15:07:26 · 180 阅读 · 0 评论 -
hadoop-HDFS集群搭建伪分布式/分布式模式
官网导读http://hadoop.apache.org/docs/r2.6.5/支持最好的平台:GNU/Linux依赖的软件:Java,ssh:免密登录,远程连接,远程登录远程执行文件,ssh在远程登陆的情况下,不会加载etc下的配置文件,可以ssh root@远程地址 'source /etc/profile ; 命令'部署模式:伪分布式,分布式基础设施操作系统,环境,网络,必须软件搭建步骤在下面,这里主要是每个步骤的原理1.设置IP及主机名不必多说2.关闭防火墙&se原创 2020-10-28 17:19:22 · 297 阅读 · 1 评论 -
HDFS读写流程
分布式系统那么多,为啥要在开发一个HDFS架构设计HDFS是一个主从架构由一个NameNode和一些DataNode组成面向文件包含:文件数据(data)和文件元数据(metadata)–》类似属性NameNode负责存储和管理文件元数据,并维护了一个层次型的文件目录树DataNode负责存储文件数据(block块),并提供block的读写DataNode与NameNode维持心跳,并汇报自己持有的block信息Client和NameNode交互文件元数原创 2020-10-25 21:29:57 · 213 阅读 · 0 评论 -
大数据启蒙-初识HDFS
大数据启蒙-初识HDFS分治思想:我有一万个元素,查找其中的一个元素,最简单的遍历方法复杂度为O(4) (遍历四次),如何实现准备2500个数组查找x补充知识:什么是hash & 什么是hashCodehttps://blog.csdn.net/weixin_38405253/article/details/91922340小案例:https://www.runoob.com/java/java-string-hashcode.html内存寻址比io寻址快10万倍计算机除原创 2020-10-25 13:46:03 · 179 阅读 · 0 评论