Hadoop命令汇总（自用）

最新推荐文章于 2014-04-08 16:54:33 发布
最新推荐文章于 2014-04-08 16:54:33 发布
阅读量682 收藏
点赞数
分类专栏： Hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/li385805776/article/details/14578605
版权

管理篇

HDFS

hadoop fsck / ----诊断根目录
start-balancer.sh ----均衡集群容量

MapReduce


执行篇

HDFS


MapReduce

Jack_F
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hadoop 命令大全
08-16
hadoop 命令大全
Hadoop常用shell命令
01-07
hadoop fs -ls [path] #递归显示当前目录结构 hadoop fs -ls -R [path] #显示根目录下内容 hadoop fs -ls / 创建目录 #创建 lgc 文件夹 hadoop fs -mkdir /lgc #递归创建目录 hadoop fs -mkdir -p [path] 删除操作 ...
hadoop命令大全
01-08
hadoop命令大全hadoop命令大全hadoop命令大全hadoop命令大全hadoop命令大全
hadoop命令
12-24
【有点类型linux操作系统的命令】 -help [cmd] //显示命令的帮助信息 -ls(r) <path> //显示当前目录下所有文件 -du(s) <path> //显示目录中所有文件大小 -count[-q] <path> //显示目录中文件数量 -mv <src> <dst> //...
安装hadoop命令
07-26
安装hadoop教程有很多网上，在安装过程中遇到坑记录下和处理命令
第一个Spark On Yarn程序
热门推荐
Jack‘s bolg
02-22 1万+
环境 hadoop 2.2.0 + Scala 2.10.3 + Spark 0.9 + Idea 13 单机伪分布式的Yarn Idea SBT插件使用：建立SBT项目，然后在Setting中设置SBT autoimport 和 auto 创建目录结构 build.sbt name := "WordCount" version := "1.0" scalaVersion :
Spark PageRank
Jack‘s bolg
02-23 1万+
如果不考虑出度为0的节点情况，方法很easy，参考官方的code。但是考虑出度为0的节点的时候，会出现各种问题 先贴上代码，再说明package myclass import org.apache.spark.SparkContext import SparkContext._ import scala.collection.mutable.ArrayBuffer import scala.c
GraphX中Pregel单源点最短路径
Jack‘s bolg
03-04 7092
GraphX中的单源点最短路径例子，使用的是类Pregel的方式。 核心部分是三个函数： 1.节点处理消息的函数  vprog: (VertexId, VD, A) => VD （节点id，节点属性，消息） => 节点属性 2.节点发送消息的函数 sendMsg: EdgeTriplet[VD, ED] => Iterator[(VertexId,A)]   (边元组） => Iterato
Spark with Hadoop InputFormat
Jack‘s bolg
02-28 6948
基于Yarn的，使用新的API，SBT需要添加，默认是用的1.0.4的client libraryDependencies += "org.apache.hadoop" % "hadoop-client" % "2.2.0" 代码如下 package myclass import org.apache.spark.SparkContext import org.apache.hadoop.
KMeans on Spark
Jack‘s bolg
02-27 5708
思路： 1.随机生成数据 2.随机生成K个聚类中心 3.计算每个点所属的类别 4.计算新的聚类中心 5.比较聚类中心的变化情况，大于阈值跳转至3；小于阈值停止。 package myclass import java.util.Random import org.apache.spark.SparkContext import SparkContext._ import org.ap
SparkTC ：Transitive closure on a graph（图中节点的可达性）
Jack‘s bolg
02-27 3746
思路： 1.生成数据（from，to），为初试可达节点对数目(同时也是基本的节点跳转规则） 2.对数据需要做一次链接操作，（类似于一次矩阵乘） 3.将链接操作的结果提取成（from，to）形式，与当前的可达节点对做并集，得到最新的当前可达节点对数目 3.比较当前可达节点对的数量与上一轮节点对数量 4.若没有增加，则停止；否则，跳转至2继续执行 可能还是比较晕乎乎，看实验数据
data-intensive text processing with mapreduce-Graph Algorithms
Jack‘s bolg
11-16 3062
Graph Algorithms
MapReduce Design Patterns-chapter 4
Jack‘s bolg
09-22 1689
CHAPTER 4：Data Organization Patterns Structured to Hierarchical Problem: Given a list of posts and comments, create a structured XML hierarchy to nest comments with their related post. public
Apache Hama配置
Jack‘s bolg
11-27 1535
hama-site.xml bsp.master.address 192.168.0.1:40000 The address of the bsp master server. Either the literal string "local" or a host[:port] (where host is a name or IP address
找工作面试备忘录
Jack‘s bolg
04-08 1501
Data Structure Java 1.Java HashMap的工作原理 2.Java应用程序中的内存泄漏及内存管理 3.Java垃圾回收精粹 Hadoop
MapReduce Design Patterns-chapter 6
Jack‘s bolg
09-25 1476
CHAPTER 6:Metapatterns **Oozie** # Job Chaining # CombineFileInputFormat  takes smaller blocks and lumps them together to make a larger input split before being processed by the mapper. You
MapReduce Design Patterns-chapter 3
Jack‘s bolg
09-22 1368
CHAPTER 3：Filtering Patterns There are a couple of reasons why map-only jobs are efficient. • Since no reducers are needed, data never has to be transmitted between the map and reduce phase. Most o
MapReduce Design Patterns-chapter 2
Jack‘s bolg
09-21 1333
啊
data-intensive text processing with mapreduce-MapReduce Algorithm Design
Jack‘s bolg
11-10 1314
MapReduce Algorithm Design in-mapper combining Main idea：通过借用Map手动实现聚集，在Mapper中实现Combiner。 Example：WordCount Reason： 1.Hadoop的Combiner机制不管key的分布，都会执行combine，如很多key都只有唯一的value与他对应，则Combi
hadoop 命令与 hdfs 命令区别
最新发布
06-02
Hadoop命令和HDFS命令都是Hadoop生态系统中常用的命令，但二者有一些区别。 Hadoop命令是指一组用于管理和操作Hadoop集群的命令，包括文件操作、MapReduce作业管理、集群管理等。它们通常运行在Hadoop集群的任意一台节点上，可以通过命令行或脚本等方式进行调用。Hadoop命令主要包括： 1. Hadoop fs：用于操作Hadoop分布式文件系统（HDFS），如上传、下载、删除、复制等文件操作。 2. Hadoop jar：用于提交和管理MapReduce作业，包括作业提交、作业监控、作业杀死等。 3. Hadoop dfsadmin：用于管理HDFS集群，如节点添加、节点删除、数据块管理等。 4. Hadoop mradmin：用于管理MapReduce作业，如作业队列管理、作业优先级管理等。 HDFS命令是指一组用于操作HDFS的命令，包括文件操作、目录操作、权限管理等。它们通常运行在Hadoop集群上的某个节点上，可以通过命令行或脚本等方式进行调用。HDFS命令主要包括： 1. Hdfs dfs：用于操作HDFS，包括上传、下载、删除、复制等文件操作。 2. Hdfs dfsadmin：用于管理HDFS集群，如节点添加、节点删除、数据块管理等。 3. Hdfs dfsquota：用于管理HDFS的配额，如设置用户配额、目录配额等。 4. Hdfs dfsrouteradmin：用于管理HDFS路由器，如添加路由器、删除路由器等。 总的来说，Hadoop命令更加通用，可以用于管理整个Hadoop集群，而HDFS命令更加专注于HDFS的文件操作和管理，更适合用于HDFS的管理和操作。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值