Hadoop
文章平均质量分 86
HelyD
这个作者很懒,什么都没留下…
展开
-
HDFS读取流程和写流程
HDFS读取流程1.客户端或者用户通过调用FileSystem对象的Open()方法打开需要读取的文件,这时就是HDSF分布式系统所获取的一个对象2.FileSystem通过远程协议调用NameNode确定文件的前几个Block的位置,对于每一个block,NameNode返回一个含有Block的元数据信息,接下来DataNode按照上面定义的距离(offSet偏移量)进行排序,如果Cl...原创 2018-09-18 20:56:46 · 824 阅读 · 0 评论 -
HA高可用
什么事应用程序的高可用高可用性(high availability)通常用来描述一个系统经过专门的设计,从而减少停工的时间,而保持其服务的高度可用性高可用程序的类型主从方式(冷备)两个相同的应用程序,一个对外提供服务,成为主程序,另一个平时不运行为备程序,就是一个主程序的备份,一旦主程序出现问题,备份提供恢复操作双主互备(热备)两个相同的应用程序,同时对外提供服务(两个程序相互为对方...原创 2018-09-25 20:57:46 · 13361 阅读 · 0 评论 -
Hive的操作
HQL和SQL基本相同,**Hive的数据库名和表明不区分大小写**ps:命名的时候1.不能以数字开头 2.不能使用关键字 3.不要使用特殊字符常用命令查询数据库show databases;创建一个数据库create database bd1814;创建一个数据库名为myhive,加入描述信息添加属性信息create database myhive comment ‘this ...原创 2018-10-11 21:49:43 · 232 阅读 · 0 评论 -
Hadoop杂记
1.HDFS读写流程(1)写数据流程1).客户端发出请求 hdfs dfs -put /etc/profile /qf/data2).namenode查看维护的目录结构,检查/qf/data是否存在,如不存在直接报错”no such file or directory“,如存在返回给客户端同意上传文件请求,将操作写入日志文件3).客户端请求上传第一个块,询问namenode块的存储位置...原创 2018-11-26 19:43:34 · 553 阅读 · 2 评论