bigdata
文章平均质量分 78
孤落
大漠孤烟直,长河落日圆。
展开
-
HBase数据达到Memstore的过程
往HBase表中写入数据的主要流程。1 RegionServer启动的初始化工作启动RegionServer进程的入口类是HRegionServer,通过执行该类的main方法开始。其简单流程如下://通过main方法的执行流程//main()new HRegionServerCommandLine(regionServerClass).doMain(args);//doMainint ret = ToolRunner.run(HBaseConfiguration.create(), th原创 2021-04-21 20:21:59 · 353 阅读 · 0 评论 -
select和epoll
select和epoll都是监控文件句柄的IO动作是否准备就绪的实现方式,区别在于才大多数情况下后者比前者更加高效。之所以造成这种情况,是由于两者的实现机制不同。1 select监控句柄IO动作的方式select内部维护了一个数组,这个数据中记录的都是文件句柄。select通过遍历这个数据,来监控有哪些句柄的IO动作已经准备就绪。1 在遍历数组过程中,如果发现有句柄准备就绪,那么就会返回,通...原创 2019-08-28 09:50:19 · 198 阅读 · 0 评论 -
Namenode学习
1 概述HDFS是一个主从架构,其核心就是Namenode,Namenode主要作用是存储整个集群的元数据信息,包括存储文件的详细信息、每个文件的Block及副本在Datanode上的位置;Namnode还被用于协调客户端对文件的访问,记录文件的改动,以及客户端对文件的操作历史。为了节约资源,Namenode不记录客户端对HDFS中文件的查询操作。Namenode作为HDFS中的Master,...原创 2019-05-30 09:46:35 · 428 阅读 · 0 评论 -
HDFS学习——基本概念
HDFS是Hadoop的核心之一,是一个分布式文件系统。所谓分布式文件系统,就是多个节点通过网络形成一个整体系统,它和单机文件系统的最大区别在于,可以存储一个远超单机存储能力的文件。其存储方式大致就是:把文件分隔成若干个份,存放在不同的节点上,再由一个角色(HDFS中是Namenode)负责记录文件的某一份存放在哪个节点上。当用户想要读取文件的时候,首先会和Namenode交互,获取文件数据的具...原创 2019-05-20 20:11:48 · 320 阅读 · 0 评论 -
Hadoop 2.7.1集群搭建
文章目录1配置hosts各个主机2 免密登录3 安装jdk4 安装hadoop5 测试hadoop集群github:hadoop集群搭建这里搭建hadoop集群,使用了三台电脑,分别是:192.168.0.11192.168.0.12192.168.0.13各个主机名分别是: master,salve1,salve21配置hosts各个主机修改hosts文件:127.0.0.1 ...原创 2019-02-25 14:01:55 · 538 阅读 · 0 评论 -
HDFS的基本操作(增删查)
本片文章主要介绍利用FileSystem API对HDFS进行相关操作,如增删查等——HDFS不支持对文件在任意位置修改。1 从HDFS中读取数据从HDFS中读取数据,主要是从存放在HDFS中的文件中读取数据,可以利用FileSystem中的open()方法得到一个文件的输入流,从文件输入流中获取文件的数据。 具体步骤1)获取FileSystem的实例 2)利用open()方法获取文件输原创 2018-01-05 20:09:36 · 945 阅读 · 0 评论 -
MapReduce的执行流程
一个MapReduce的作业执行流程是:1)代码编写;2)作业配置;3)作业提交;4)Map任务的分配和执行;4)处理中间结果;5)Reduce任务的分配与执行;6)作业完成。具体如图1-1所示。下面以一个简单的单词计数例子对各个步骤做一个详细的介绍。 1代码编写及配置代码编写及配置主要是在客户端进行。1)代码编写主要是编写我们需要的map函数和Reduce函数。map函数代码如下:@Overri原创 2017-12-27 11:42:41 · 13488 阅读 · 2 评论 -
Linux中的Ext2文件系统
之所以要写Ext2文件系统,是因为最近一直在看Hadoop,发现HDFS和Ext2文件系统非常类似,加上以前已经了解Ext2文件系统,所以,打算先把Ext2的思想梳理一遍。 1 Ext2综述在Linux操作系统中,一切皆文件。Linux文件最重要的特性:文件权限,文件属性和文件数据。其中文件权限如rwx,文件属性如文件的大小文件所有者等,文件数据是指文件中存放的数据信息。 在Ext2文件系原创 2017-12-27 22:01:49 · 406 阅读 · 0 评论 -
利用MapReduce统计随机数个数
刚刚开始学习MapReduce框架,试着利用MapReduce写一个程序用于统计生成的各个随机数个数,下面介绍各个步骤,以及在MapReduce框架中的运行流程。原创 2017-12-27 14:01:13 · 712 阅读 · 0 评论