![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
文章平均质量分 58
小管01
仰望星空 脚踏实地
展开
-
HDFS实现分布式存储--shell命令详解
一、HDFS概念 优势: 存储超大文件 标准流式访问:“一次写入,多次读取” 运行在廉价的商用机器集群上 不足: 不能满足低延迟的数据访问 无法高效存储大量小文件 暂时不支持用户写入及随意修改文件 NameNode HDFS主节点管理文件系统的命名空间(元数据) 储存文件的元数据,如文件名,文件目录结构、文件属性(生成时间、副本数、文件权限), 以及每个文件块列表和块所在的D...原创 2018-06-29 17:31:01 · 664 阅读 · 0 评论 -
一个用户访问HDFS需要经过的流程
1、客户端发送请求,调用DistributedFileSystem API的open方法发送请求到Namenode,获得block的位置信息,因为真正的block是存在Datanode节点上的,而namenode里存放了block位置信息的元数据。2、Namenode返回所有block的位置信息,并将这些信息返回给客户端。3、客户端拿到block的位置信息后调用FSDataInputStream ...原创 2018-06-29 17:49:14 · 1706 阅读 · 0 评论 -
Linux上Eclipse集成hadoop文档详解
Eclipse运行wordcount文档 1.进入Ecliose目录 启动eclipsea) 命令启动方式:./eclipseb) 图形启动方式:直接点击eclipse10.进入后配置Hadoop安装目录a) window-》preference-》hadoop Map/Reduce-》Hadoop installation directory 2.配置Map/Reduce视图a) ...原创 2018-06-30 11:59:04 · 1042 阅读 · 1 评论 -
Hadoop配置历史服务器及日志聚合
历史服务器 作用:查看我们已经完成的任务历史记录,日志记录。 配置文件:mapred-site.xml --》指定历史服务器所在位置及端口号 <property> <name>mapreduce.jobhistory.address</name> <value>bdqn.lin...原创 2018-07-02 15:16:07 · 1303 阅读 · 1 评论 -
hadoop+zookeepe+hbase完全分布式配置详解
一、准备工作 1.安装虚拟机+操作系统:VMware、CentOS 2.设置基础环境三要素:IP、主机名、映射 3.设置远程连接工具:secureCRT、FileZilla、Notepad++ 4.禁用安全系统和防火墙:service iptables、chkconfig iptables 5.卸载系统自带JDK 并配置我们需要的JDK版本:rpm -qa、...原创 2018-07-16 16:40:06 · 713 阅读 · 0 评论 -
Hadoop入门及安装
一、Hadoop来源:Google 三大论文 MapReduce / GFS / BigTable 1、Hadoop Common: 为其他Hadoop模块提供基础设施 2、Hadoop HDFS (Hadoop Distributed File System) 一个高可靠、高吞吐量的分布式文件系统 3、Hadoop MapReduce 一个分布式的离线并行计算框架 4、Had...原创 2018-06-28 18:27:55 · 316 阅读 · 0 评论 -
HBase数据库安装之shell命令详解
关系型数据库RDBMS:具有“表”模型结构,表与表之间存在着关系 事物:一致性 隔离性 原子性 持久性 MySQL 开源:免费 支持标准SQL语句 数据量:10W Oarcle: 收费 数据量:海量 SqlServer 微软,收费 提供一个图形界面的管理平台 特点:都支持结构化查询语言非关系型数据库 HBase、MongoDB、NoSQL 1、不使用SQL语句 2、...原创 2018-07-05 17:11:49 · 565 阅读 · 0 评论