HDFS常用命令

选项名称 使用格式 含义 -ls -ls 查看指定路径的当前目录结构 -lsr -lsr 递归查看指定路径的目录结构 -du -du 统计目录下个文件大小 -dus -dus 汇总统计目录下文件(夹)大...
阅读(556) 评论(0)

Hadoop基本操作命令

假设Hadoop的安装目录HADOOP_HOME为/home/admin/hadoop。 启动与关闭 启动Hadoop 1.进入HADOOP_HOME目录。 2.执行sh bin/start-all.sh 关闭Hadoop 1.进入HADOOP_HOME目录。 2.执行sh bin/stop-all.sh 文件操作 Hadoop使用的是HDFS,能够实现的功能和我们使用的...
阅读(305) 评论(0)

Apache,CDH和Cloudera三者有什么区别

Hortonworks Hadoop区别于其他的Hadoop发行版(如Cloudera)的根本就在于,Hortonworks的产品均是百分之百开源。 Cloudera有免费版和企业版,企业版只有试用期。 apache hadoop则是原生的hadoop。 目前在中国流行的是apache hadoop,Cloudera CDH,当然Hortonworks也有用的 Apache Amb...
阅读(1927) 评论(0)

Hadoop机器运行一段时间后hadoop不能stop-all.sh的问题

显示报错no tasktracker to stop ,no datanode to stop 问 题的原因是hadoop在stop的时候依据的是datanode上的mapred和dfs进程号。而默认的进程号保存在/tmp下,linux默认会每 隔一段时间(一般是一个月或者7天左右)去删除这个目录下的文件。因此删掉hadoop-hadoop-jobtracker.pid和hadoop- hado...
阅读(362) 评论(0)

HDFS的API

package cn.yc.com.util;import java.io.FileInputStream; import java.io.FileOutputStream; import java.io.IOException; import java.io.InputStream; import java.io.OutputStream; import java.net.URI;import o...
阅读(723) 评论(2)

hadoop Apache版本的启动命令

start-all.sh 启动所有的Hadoop守护进程。包括NameNode、 Secondary NameNode、DataNode、JobTracker、 TaskTrack stop-all.sh 停止所有的Hadoop守护进程。包括NameNode、 Secondary NameNode、DataNode、JobTracker、 TaskTrack start-dfs.sh 启动Ha...
阅读(402) 评论(0)

HDFS命令行文件操作

Hadoop文件操作命令形式为 hadoop fs -cmd 说明:cmd是具体的文件操作命令,是一组数目可变的参数。 Hadoop最常用的文件操作命令,包括添加文件和目录、获取文件、删除文件等。 1 添加文件和目录 HDFS有一个默认工作目录/usr/$USER,其中$USER是你的登录用户名,作者的用户名是root。该目录不能自动创建,需要执行mkdir命令创建...
阅读(346) 评论(0)

HDFS原理分析(一)

DFS是Hadoop Distribute File System 的简称,也就是Hadoop的一个分布式文件系统。一、HDFS的主要设计理念1、存储超大文件这里的“超大文件”是指几百MB、GB甚至TB级别的文件。 2、最高效的访问模式是 一次写入、多次读取(流式数据访问)HDFS存储的数据集作为hadoop的分析对象。在数据集生成后,长时间在此数据集上进行各种分析。每次分析都将设计该数据集的大部分...
阅读(428) 评论(0)
    【个人简介】
    个人资料
    • 访问:362480次
    • 积分:6519
    • 等级:
    • 排名:第3939名
    • 原创:283篇
    • 转载:23篇
    • 译文:24篇
    • 评论:76条
    博客专栏