![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据学习笔记
Ezio_Auditore777
这个作者很懒,什么都没留下…
展开
-
SecondaryNameNode
思考:NameNode中的元数据是存储在哪里的? 首先,我们做个假设,如果存储在NameNode节点的磁盘中,因为经常需要进行随机访问,还有响应客户请求,必然是效率过低。因此,元数据需要存放在内存中。但如果只存在内存中,一旦断电,元数据丢失,整个集群就无法工作了。因此产生在磁盘中备份元数据的FsImage。 这样又会带来新的问题,当在内存中的元数据更新时,如果同时更新FsImage,就会导致效率过...原创 2019-10-24 10:11:22 · 142 阅读 · 0 评论 -
hbase理论总结
HBase HBase – Hadoop Database,是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBase 技术可在廉价 PC Server 上搭建起大规模结构化存储集群。 HBase简介 HBase 是 Apache Hadoop 中的一个子项目,HBase 依托于 Hadoop 的 HDFS 作为最基本存储基础单元,通过使用hadoop的DFS 工具就可以看到这些这些数...原创 2019-10-23 09:05:27 · 140 阅读 · 0 评论 -
mapreduce
MapReduce计算框架 如果将 Hadoop 比做一头大象,那么MapReduce就是那头大象的电脑。MapReduce是Hadoop核心编程模型。在Hadoop 中,数据处理核心就是 MapReduce程序设计模型。 Map 和Reduce的概念是从函数式变成语言中借来的,整个MapReduce计算过程分为Map 阶段和Reduce 阶段,也称为映射和缩减阶段,这两个独立的阶段实际上是两个独...原创 2019-10-22 16:24:39 · 135 阅读 · 0 评论 -
hdfs体系架构及读写流程
HDFS体系架构 HDFS是一个主/从(Master/Slave)体系架构,由于分布式存储的性质,集群拥有两 类节点NameNode 和DataNode。 NameNode(名字节点):系统中通常只有一个,中心服务器的角色,管理存储和检索 多个 DataNode 的实际数据所需的所有元数据。 DataNode(数据节点):系统中通常有多个,是文件系统中真正存储数据的地方,在 NameNode 统一...原创 2019-10-22 16:23:08 · 230 阅读 · 0 评论 -
hdfs特点
HDFS文件系统 1.HDFS特点 HDFS文件系统可存储超大文件 每个磁盘都有默认的数据块大小,这是磁盘在对数据进行读和写时要求的最小单位,文件系统是要构建于磁盘上的,文件系统也有块的逻辑概念,通常使磁盘块的整数倍。 HDFS是一种文件系统,自身也有块(block)的概念,其文件块大小要比普通单一磁盘上文件系统大得多,1.x默认为64MB,2.x默认为128MB。 HDFS中块(block)...原创 2019-10-22 16:22:44 · 449 阅读 · 0 评论 -
CentOS 6.5网络配置静态IP地址
CentOS 6.5网络配置静态IP地址 1.打开VMvare,开启虚拟机 2.输入用户名,按回车键,再输入密码,登录系统 3.进行网络配置前,需要确认几个事情: 网络适配器模式是否为NAT模式 右键虚拟机,或者点击VMvare菜单栏中的虚拟机(按ctrl+alt键可切出虚拟机返回到windows,点击虚拟机窗口,可进入虚拟机操作) 点击“设置” 4.确认网络适配器是否处于NAT模式 5....原创 2019-09-25 11:19:30 · 294 阅读 · 0 评论 -
zookeeper搭建
1.解压缩文件并重命名 tar -zxvf zookeeper-3.4.7.tar.gz mv zookeeper-3.4.7.tar.gz zookeeper 2.添加环境变量 vi /etc/profile export ZK_HOME=/home/bigdata/zookeeper export PATH=$PATH:$ZK_HOME/bin:$ZK_HOME/conf: 3.将修改后的...原创 2019-09-26 16:06:06 · 70 阅读 · 0 评论