![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
文章平均质量分 86
M10F
大数据进阶记
展开
-
第二部分-MapReduce程序的编写
第二部分 MapReduce程序的编写一、实验目的和要求理解MapReduce的工作原理,学会在Eclipse中配置Hadoop插件,进行MapReduce的编程(数据排序)。二、实验内容和原理Mapreduce处理数据过程主要分为2个阶段,map阶段和reduce阶段。Map阶段进行取值,Reduce接收到的数据已经是有序的,Reduce需要计数。在正式执行map函数前,需要对输入进行...原创 2019-03-30 15:02:50 · 1008 阅读 · 0 评论 -
yarn作业执行流程
yarn作业执行流程1、客户端向ResourceManager 发送运行job的请求,申请资源2、ResourceManager 向客户端返回一个job_id以及共享资源的路径 /tmp/hadoop-yarn/staging/hadoop/.staging/job_id 共享资源包含三点信息 1)jar 包 job.jar- 2)切片信息 3)job.xm...原创 2019-05-15 21:09:00 · 319 阅读 · 0 评论 -
mapreduce执行流程 shuffle
mapreduce流程1、数据底层存储 将所要存储的文件进行分块存储,每块默认128M,不够128M的部分单独成一块,存储在节点上将所要存储的文件进行分块存储,每块默认128M,不够128M的部分单独成一块,存储在节点上2、计算切片大小,进行逻辑划分,根据切片的个数来决定maptask个数,切片最大不会超过128*1.1M3、maptask执行 利用FileInputFormat加载...原创 2019-05-15 21:04:32 · 252 阅读 · 0 评论 -
Exception in thread "main" org.apache.hadoop.security.AccessControlException: Permission denied: use
Exception in thread "main" org.apache.hadoop.security.AccessControlException: Permission denied: user=Admin, access=WRITE, inode="/":fanger:supergroup:drwxr-xr-x at org.apache.hadoop.hdfs.server.n...原创 2019-05-05 16:48:13 · 3497 阅读 · 0 评论 -
CentOS开机提示kernel panic - not syncing: Attempted to kill init! 解决方法
1.重新启动linux 系统,看见如图见面迅速按E键2.看见如图界面在按E键编辑3.如图界面使用上下键选择第二个在按E键4.在最后一行后面添加 enforcing=0 按回车保存退出5.在此页面按B键重新启动即可 文章转载自:https://blog.csdn.net/ym01213/article/details/80032...转载 2019-04-29 20:25:02 · 3067 阅读 · 0 评论 -
系统找不到指定的路径。Error: JAVA_HOME is incorrectly set.Please update D:\s
在控制台中输入hadoop version后提示Error: JAVA_HOME is incorrectly set. Please update 错误如果java -version可以正常查看,hadoop version时出现错误,此时需要配置hadoop的解压文件下,hadoop-2.7.6\etc\hadoop\hadoop-env.cmd我的jdk的路径:C:\Progr...原创 2019-05-05 15:43:25 · 4645 阅读 · 1 评论 -
第一部分-Hadoop集群搭建
该部分是实验整理,一共三部分内容1、Hadoop集群搭建2、MapReduce程序的编写3、Hadoop使用和Hbase使用第一部分:Hadoop集群搭建一、实验目的和要求掌握Hadoop的安装过程,完成Linux系统配置,启动Hadoop集群。二、实验内容和原理在Hadoop部署中,有三种服务器角色,他们分别是客户端、Masters节点以及Slave 节点。Master 节点,M...原创 2019-03-29 13:09:07 · 374 阅读 · 0 评论 -
第三部分-Hadoop使用和Hbase使用
第三部分:Hadoop使用和Hbase使用一、实验目的和要求理解Hadoop和Hbase的工作原理,安装部署HBase,掌握HDFS文件系统和Hbase的操作命令。二、实验内容和原理Hadoop文件系统:HDFS,是Hadoop Distributed File System的简称,是Hadoop抽象文件系统的一种实现。Hadoop抽象文件系统可以与本地系统、Amazon S3等集成,甚...原创 2019-03-30 15:32:04 · 835 阅读 · 0 评论 -
hdfs四大机制
1、心跳机制 1、datanode定期向namenode发送存活状态以及可用空间,默认时间3s<property> <name>dfs.heartbeat.interval</name> <value>3</value> <description>Determines datanode heartbeat i...原创 2019-05-23 21:59:21 · 398 阅读 · 0 评论