![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
文章平均质量分 60
crxy2016
北京爱学习教育科技有限公司(简称超人学院),是一家专门培训大数据工程师的教育培训机,培训过的学员超过2000名,就业学员的薪资都超过原薪资的一倍甚至更高,这就是超人学院。更多分享请关注:www.crxy.cn bbs.superwu.cn www.superwu.cn
展开
-
Hadoop 源代码分析(七)RPC-Server
聊完了Client 聊Server,按惯例,先把类图贴出来。 需要注意的是,这里的Server 类是个抽象类,唯一抽象的地方,就是Java 代码1. public abstract Writable call(Writable param, long receiveTime) throws IOException;这表明,Server 提供了一个架子,Server 的具体功原创 2015-05-14 16:26:16 · 327 阅读 · 0 评论 -
Hadoop 源代码分析(一七)DataNode
周围的障碍扫清以后,我们可以开始分析类DataNode。类图如下: publipublic class DataNode extends Configuredimplements InterDatanodeProtocol, ClientDatanodeProtocol, FSConsta nts, Runnable上面给出了DataNode 的继承关系,我们发现,DataNo原创 2015-05-11 16:05:25 · 297 阅读 · 0 评论 -
HDFS命令行接口
现在我们通过命令行交互来进一步认识HDFS。HDFS还有很多其他接口,但命令行是最简单的,同时也是许多开发者最熟悉的。原创 2015-03-10 15:28:20 · 293 阅读 · 0 评论 -
HPCC 和 Hadoop 的详细区别比较
通常使用基于Intel或AMD CPU的刀片服务器来构建集群系统,为了降低成本可以使用已经停止销售的过时硬件。节点有本地内存和硬盘,通过高速交换机相连(通常为千兆交换机),如果集群节点很多,也可以使用分层交换。集群内的节点是对等的(所有资源可以简化为相同配置),但这一点并非必须。原创 2015-03-09 14:32:28 · 162 阅读 · 0 评论 -
Hadoop安全性
HBase运行在Hadoop 0.20.x上,就可以使用其中的安全特性 -- 只要你用这两个版本0.20S 和CDH3B3,然后把hadoop.jar替换掉就可以了.原创 2015-03-18 14:57:00 · 316 阅读 · 0 评论 -
HDFS概念详解---名称节点与数据节点
HDFS集群有两种节点,以管理者-工作者的模式运行,即一个名称节点(管理者)和多个数据节点(工作者)。名称节点管理文件系统的命名空间。它维护着这个文件系统树及这个树内所有的文件和索引目录。这些信息以两种形式将文件永久保存在本地磁盘上:命名空间镜像和编辑日志。名称节点也记录着每个文件的每个块所在的数据节点,但它并不永久保存块的位置,因为这些信息会在系统启动时由数据节点重建。客户端代表用户通过与名原创 2015-04-02 10:00:21 · 982 阅读 · 0 评论 -
hadoop文件系统详解--(1)
Hadoop有一个抽象的文件系统概念,HDFS只是其中的一个实现。Java抽象类 org.apache.hadoop.fs.FileSystem展示了Hadoop的一个文件系统,而且有几个具体实现,如表 3-1所示。文件系统URI方案Java实现(全部在org.apache.hadoop)描述Local原创 2015-04-03 10:20:02 · 298 阅读 · 0 评论 -
从Hadoop URL中读取数据
要从Hadoop文件系统中读取文件,一个最简单的方法是使用java.net.URL对象来打开一个数据流,从而从中读取数据。一般的格式如下:1. InputStream in = null; 2. try { 3. in = new URL("hdfs://host/path").openStream(); 4. // process in原创 2015-04-07 14:20:28 · 275 阅读 · 0 评论 -
使用FileSystem API读取数据
有时不能在应用中设置URLStreamHandlerFactory。这时,我们需要用FileSystem API来打开一个文件的输入流。文件在Hadoop文件系统中显示为一个Hadoop Path对象(不是一个java.io.File对象,因为它的语义与本地文件系统关联太紧密)。我们可以把一个路径视为一个Hadoop文件系统URI,如hdfs://localhost/user/tom/quan原创 2015-04-08 10:40:25 · 477 阅读 · 0 评论 -
Java MapReduce详解--(3)
如果Hadoop命令是以类名作为第一个参数,它就会启动一个JVM来运行这个类。使用命令比直接使用Java更方便,因为前者把类的路径(及其依赖关系)加入Hadoop的库中,并获得Hadoop的配置。要添加应用程序类的路径,我们需要定义一个HADOOP_CLASSPATH环境变量,Hadoop脚本会来执行相关操作。注意:以本地(独立)模式运行时,本书所有程序希望都以这种方式来设置HADOOP_CL原创 2015-04-08 10:39:00 · 351 阅读 · 0 评论