![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Linux
菜鸟周星星
大数据开发攻城狮。更多学习和面试资料尽在微信公众号:Hadoop大数据开发
展开
-
Zookeeper之HDFS-HA高可用及Zookeeper的配置和安装
Zookeeper概述什么是ZookeeperZookeeper是一个底层的分布式协调服务工具!它是hadoop生态体系中很多分布式系统(HDFS、YARN(HA)、HBASE(ZK)、KAFKA.........)的基础组件基本的功能为客户提供写数据功能 存储关键状态数据 数据量小 为客户提供读数据功能 为用户提供数据变化时的监控功能 1) 节点的子节点个数 2) 节点的数据变化Zookeeper的功能其实很简单:就是提供协调服务!协调服务具体来说有三方...原创 2020-11-21 20:47:10 · 579 阅读 · 0 评论 -
在Linux将MapReduce程序提交给YARN执行
什么是YARN,有什么作用YARN(分布式运算资源调度系统)我们知道我们的分布式文件存储系统HDFS,是将文件进行切块(默认128M)、备份(3份)分布式的存储在集群的各个机器上的;海量的数据需要运算 ,那如果我们写的java程序,只运行在一个机器上进行处理这些数据块的话,明显是不可取的,所以我们得让程序分布式 并行的在各个机器上(mapreduce)运算;而这些程序运行具体使用哪一台的运算资源(CPU、内存、IO、网络等),使用多少,很显然,人为分配这些资源,是很难做到公平和合理的。原创 2020-11-20 21:19:43 · 483 阅读 · 0 评论 -
Hadoop从入门到入土(三)------------HDFS集群简单维护及JAVA客户端连接HDFS
原创 2020-11-19 14:30:46 · 313 阅读 · 2 评论 -
Hadoop从入门到入土(二)------------前言及Hadoop集群搭建
知识复习序列化和反序列化序列化:将java程序中的对象 写入持久化到 硬盘当中,转变为二进制的数据,这个过程称为序列化,也叫钝化。反序列化:而将硬盘中二进制的数据 读取到java程序中转化为对象,这个过程称为反序列化,也叫活化。应用场景:将内存中的对象数据持久化到硬盘当中;将硬盘中的数据 反序列化到内存当中;在网络中传输对象,都需要使用到序列化和反序列化。代码示例见上篇文章 序列化与反序列化优化jdk序列化数据冗余问题jdk自带的序列化数据,往往会自带一些其他冗余的...原创 2020-11-18 22:32:00 · 158 阅读 · 0 评论 -
Linux入门系列知识(二)
Linux指令相关复习及一些配置vi 1.txt进入到一般模式,不可编辑,只能复制、粘贴、删除yy 复制一行nyy 复制n行d 剪切一行nd 剪切n行p粘贴o当前光标下一行插入O当前光标上一行插入G将光标定位到内容最后一行行首i光标处插入gg将光标定位到内容第一行行首nG 跳转到第n行在一般模式下按 /string 可以查询匹配的字符串 并将光标定位到那个地方 按n下一个ll -a 显示所有的文件,包括隐藏文件,隐藏...原创 2020-11-10 16:16:58 · 121 阅读 · 0 评论 -
Linux入门系列知识(一)
文章目录前言一、Linux命令复习1.Linux文件夹复习2.pwd3.cd4.ls和mkdir、touch5.文件的操作:复制、移动、删除文件或文件夹6.对文件的编辑二、ip配置前言本篇是Linux入门系列文章的第一篇,在这里,小编建议大家结合着我的一篇引导式微信公众号文章一起学习,效果将会更佳。链接如下:手把手教会你Linux一、Linux命令复习命令真的无需死记,但也不得不记,主要在于理解加勤加练习。1.Linux文件夹复习Linux下一切皆文件,里面并没有类似windows的C .原创 2020-11-08 22:29:02 · 160 阅读 · 0 评论