Hadoop
hixiaoxiaoniao
这个作者很懒,什么都没留下…
展开
-
Hadoop-常用操作
使用URL的方式读取一个文件内容,需要设置一个handler工厂,这个工厂只能设置一次 static { URL.setURLStreamHandlerFactory( new FsUrlStreamHandlerFactory() ); } public void test1() throws IOException { URL u = new URL("hdfs:/...原创 2018-06-22 11:50:19 · 224 阅读 · 0 评论 -
Hadoop操作手册
第一章 简介 在hadoop之上的流行项目 HivPig Sqoop Flume Oozie Whirr HBase ZooKeeper HCatalog 第二章 HDFS 大型存储区域网络(Storage Area Network SAN) 网络附加存储(NetWork Attached Storage NAS) 这些技术给TB级的块设备或文件系统提供了一种集中式低延迟的解决方案,但是对...原创 2018-07-10 11:43:11 · 1969 阅读 · 0 评论 -
Hadoop-环境搭建
登陆master机器 ssh-keygen -t rsa 生成密钥对 cp id_rsa.pub authorized_kyes scp authorized_keys 从节点1:/home/xx/.ssh scp authorized_keys 从节点2:/home/xx/.ssh 需要输入密码,不过输入一次密码之后以后就不用输入了 配置/etc/hosts 增加三台机器的...原创 2018-06-20 16:38:32 · 160 阅读 · 0 评论 -
Hadoop-相关文章
HBase API http://hbase.apache.org/0.94/apidocs/index.html HBase blog http://blogs.apache.org/hbase/ csdn hadoop http://subject.csdn.net/hadoop/ hadoop大会 http://hbtc2012.hadooper.cn/index.html hadoop与大...原创 2018-06-20 16:34:26 · 261 阅读 · 0 评论 -
Zookeeper-笔记
分布式编程中可能会有一部分失效,zookeeper就是为了解决这种问题的,其特点 1.简单(一个精简的文件系统) 2.富有表现力(可用于实现分布式队列,分布式锁,分布式选举) 3.具有高可用性 4.采用松散耦合交互方式 5.是一个资源库 zookeeper中没有文件和目录,而是统一使用"节点"的概念,成为znode 可以直接在windows下运行 实例 1.创建组 public class Cre...原创 2018-06-22 11:59:46 · 163 阅读 · 0 评论 -
Hadoop-DataNode分析
HDFS主要流程客户端创建到namenode的文件与目录操作客户端会调用FileSystem实现也就是DistributedFileSystem的mkdir()函数,之后DistributedFileSystem会通过IPC调用namenode的mkdir()这个操作会持久化到日志中FSImage#saveFSImage(),之后返回创建目录只是客户端和namenode交互,不会跟datanode...原创 2018-06-22 11:54:26 · 696 阅读 · 0 评论 -
Hadoop-远程过程调用
Hadoop IPC类图如下 连接<span style="font-size: 14px;">//为了提高通讯效率,连接是可以复用的,通过ConnectionId来区分不同的连接 class ConnectionId { InetSocketAddress address; //远端服务器的地址 UserGroupInformation ...原创 2018-06-22 11:53:31 · 304 阅读 · 0 评论 -
Hadoop-balancer执行原理
核心类在org.apache.hadoop.hdfs.server.balancer.Balancer 均衡算法 伪代码while(true) { 1.获取需要迁移的字节数 if(需要迁移字节数 == 0) { return "成功,无需迁移"; } 2.选择需要迁移的节点 if(需要移动的数据 == 0) { return "没有需要移动的块" } ...原创 2018-06-22 11:52:25 · 1115 阅读 · 0 评论 -
Hadoop-commons分析
hadoop的配置文件相关类 Configuration所有大型的系统都有一套自己的配置系统或模块,用于方便系统扩展用,hadoop有自己独立的一套配置方式采用XML文件,使用SAX解析配置文件my-config.xml格式<?xml version="1.0" encoding="UTF-8"?> <?xml-stylesheet type="text/xsl" href=...原创 2018-06-22 11:51:20 · 3297 阅读 · 0 评论 -
Hive总结
Hie总结原创 2019-03-31 14:08:36 · 248 阅读 · 0 评论