Hadoop
学海无涯,一念花开
享受在日积月累中的瞬间顿悟
展开
-
map-reduce框架结构及核心运行机制
Mapreduce是一个分布式运算程序的编程框架,是用户开发“基于hadoop的数据分析应用”的核心框架; Mapreduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序,并发运行在一个hadoop集群上;原创 2020-06-07 09:59:45 · 488 阅读 · 0 评论 -
HDFS常用命令参数介绍
常用命令参数介绍 -help 功能:输出这个命令参数手册 -ls 功能:显示目录信息 示例: hadoop fs -ls hdfs://hadoop-server01:9000/ 备注:这些参数中,所有的hdfs路径都可以简写 –>hadoop fs -ls / 等同于上一条命令的效果 -mkdir 功能:在hdfs上创建目录 示例:hadoop fs -mkdir -p /aaa...原创 2019-03-24 09:53:43 · 897 阅读 · 0 评论 -
Hadoop 集群搭建
一、环境准备 1、先将虚拟机的网络模式选为NAT 1.1修改主机名 vi /etc/sysconfig/network NETWORKING=yes HOSTNAME=zekun ### 1.2修改IP 两种方式: 第一种:通过Linux图形界面进行修改(强烈推荐) 进入Linux图形界面 -> 右键点击右上方的两个小电脑 -> 点击Edit connectio...原创 2019-03-23 21:04:23 · 117 阅读 · 0 评论 -
HDFS详解
一、HDFS的概念和特性 首先,它是一个文件系统,用于存储文件,通过统一的命名空间——目录树来定位文件 其次,它是分布式的,由很多服务器联合起来实现其功能,集群中的服务器有各自的角色; 重要特性如下: (1)HDFS中的文件在物理上是分块存储(block),块的大小可以通过配置参数( dfs.blocksize)来规定,默认大小在hadoop2.x版本中是128M,老版本中是64M (2)HDFS...原创 2019-06-02 22:34:15 · 288 阅读 · 0 评论 -
Hadoop实践问题总结
1/运行mr程序出错 connecting to resoucemanager retrying … retrying … 原因是没有启动yarn或者启动失败 2/初始化工作目录结构 hdfs namenode -format 只是初始化了namenode的工作目录 而datanode的工作目录是在datanode启动后自己初始化的 3/datanode不被namenode识别的问题 nameno...原创 2019-06-02 22:34:40 · 426 阅读 · 0 评论