Hadoop
学海无涯,一念花开
享受在日积月累中的瞬间顿悟
展开
-
map-reduce框架结构及核心运行机制
Mapreduce是一个分布式运算程序的编程框架,是用户开发“基于hadoop的数据分析应用”的核心框架;Mapreduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序,并发运行在一个hadoop集群上;原创 2020-06-07 09:59:45 · 455 阅读 · 0 评论 -
HDFS常用命令参数介绍
常用命令参数介绍-help功能:输出这个命令参数手册-ls功能:显示目录信息示例: hadoop fs -ls hdfs://hadoop-server01:9000/备注:这些参数中,所有的hdfs路径都可以简写–>hadoop fs -ls / 等同于上一条命令的效果-mkdir功能:在hdfs上创建目录示例:hadoop fs -mkdir -p /aaa...原创 2019-03-24 09:53:43 · 882 阅读 · 0 评论 -
Hadoop 集群搭建
一、环境准备1、先将虚拟机的网络模式选为NAT1.1修改主机名 vi /etc/sysconfig/network NETWORKING=yes HOSTNAME=zekun ###1.2修改IP两种方式:第一种:通过Linux图形界面进行修改(强烈推荐) 进入Linux图形界面 -> 右键点击右上方的两个小电脑 -> 点击Edit connectio...原创 2019-03-23 21:04:23 · 109 阅读 · 0 评论 -
HDFS详解
一、HDFS的概念和特性首先,它是一个文件系统,用于存储文件,通过统一的命名空间——目录树来定位文件其次,它是分布式的,由很多服务器联合起来实现其功能,集群中的服务器有各自的角色;重要特性如下:(1)HDFS中的文件在物理上是分块存储(block),块的大小可以通过配置参数( dfs.blocksize)来规定,默认大小在hadoop2.x版本中是128M,老版本中是64M(2)HDFS...原创 2019-06-02 22:34:15 · 280 阅读 · 0 评论 -
Hadoop实践问题总结
1/运行mr程序出错connecting to resoucemanagerretrying …retrying …原因是没有启动yarn或者启动失败2/初始化工作目录结构hdfs namenode -format 只是初始化了namenode的工作目录而datanode的工作目录是在datanode启动后自己初始化的3/datanode不被namenode识别的问题nameno...原创 2019-06-02 22:34:40 · 398 阅读 · 0 评论