![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
文章平均质量分 83
杨苗苗
这个作者很懒,什么都没留下…
展开
-
hadoop模块之——YARN
yarn:作业调度和全局资源管理系统。yarn的相关服务:resourcemanager(master):老大,负责资源管理;负责client端的作业提交请求;负责接受nodemanage的汇报(心跳);接受aapMaster的反馈;nodemanager(slave):小弟,管理当前节点的资源;接受rm的命令;接受appMaster的命令;container:容器;用于资源(内存、c...原创 2018-10-15 20:02:32 · 258 阅读 · 0 评论 -
hadoop模块之一HDFS
HDFS =================== Hadoop Distributed File System 特点:1.易于扩展的分布式的2.运行在大量廉价机器上,提供容错机制(自动保存多个副本)hdfs的容错表现:hdfs的冗余机制(存储多个副本)。定期向namenode进行状态报告。读写异常会重试。分布式的存储3.为大量用户提供性能不错的文件存取服务hdf...原创 2018-09-15 18:24:33 · 276 阅读 · 0 评论 -
windows下搭建maven环境,并建立maven项目用java操作hdfs
为什么要用maven:如果建立大一点的java项目的话,需要的jar和各jar包之间的依赖关系会很多,需要自己手动找jar包和jar依赖导入项目中,maven就是来解决这个问题的,用来管理java项目的jar包依赖和项目构建操作。安装配置:maven官网下载zip压缩包,解压到自己存放的目录,目录名之间最好不要有空格。配置系统环境变量:添加MAVEN_HOME=安装目录...原创 2018-09-16 18:05:05 · 1173 阅读 · 0 评论 -
ssh密钥登录和自动化脚本
搭hadoop全分布式时需要先ssh免密登陆的。ssh免密登录想实现在一台机子上免密登录当前机子(想干什么操作需要输入密码时,就可以不用输密码而继续执行了),或者登录其他机子的时候,就要用到密钥登录。 例如:想在cent01这台机子登录另一台cent02密钥和公钥存放的位置在隐藏目录-------------- ~/.ssh 下1,先ssh cent02 ----...原创 2018-09-16 20:45:42 · 4730 阅读 · 0 评论 -
hadoop入门概念
hadoop的背景apache发行版本大致:1.x 和 2.x 和 3.x提供公司:apache : 原生hadoopcloudar公司 : cdhhortworks公司提供 : hdpmapR国内:华为星环海量数据诞生、同时没有海量数据的存储、和处理goole:GFS、mapreduce、bigtablehadoop创始人Doug cutting: ha...原创 2018-09-15 13:48:27 · 207 阅读 · 0 评论 -
hbase的PageFilter思路到代码(简洁明了)
设计思路: * 每页显示3行数据一次性的按照页数来显示出所有的数据 * * 1、select * from tableName limit 3;(第一页) * 第二页的行数要大于第一页的最大行数,为了在写逻辑语句,无特殊性处理(对第一页),写成通用性处理, * 确认通用性,下一页读取的开始行是比上一页的最后一行的rowkey大的 * 改成 select * from tableN...原创 2018-10-15 20:20:58 · 2727 阅读 · 0 评论