linux的hadoop命令大全,hadoop,spark,linux上常用命令

记下常用命令，慢慢补充

1.hadoop

查看hdfs上的目录： hadoop fs -ls /

给hdfs上目录授予权限:   hadoop fs -chmod 777 /tmp/hive

在hdfs上创建一个目录： hadoop fs -mkdir /jiatest

把文件上传到hdfs指定目录: hadoop fs -put test.txt /jiatest

上传jar包到hadoop上跑： hadoop jar maven_test-1.0-SNAPSHOT.jar org.jiahong.test.WordCount /jiatest /jiatest/output

查看结果： hadoop fs -cat /jiatest/output/part-r-00000

提交hadoop jar包运行：bin/hadoop jar /home/hadoop/hjh/jar/hadoopTest.jar com.jia.WordCount /test/input /test/output

2.linux

把本地文件上传到集群：scp maven_test-1.0-SNAPSHOT.jar root@121.8.228.23:/home/hadoop/jia/

Linux上常用命令整理(一)—— cat

近几个月刚从windows上转过来,开始慢慢熟悉linux,先不撕比到底哪个更好,首先要怀着相互借鉴的精神去了解各个平台. Linux上做开发,除去使用文本编辑器做开发的大神之外,大家(包括我这种菜鸟 ...

Linux上常用命令整理(二)—— paste

上一篇整理了cat指令的几个基本常见用法,这次整理一下paste指令的基本用法. cat paste cut grep paste paste可以简单的理解为把两个文件的内容按列合并,与cat命令直接 ...

linux 服务器常用命令整理

linux 服务器常用命令整理 目录 网络分析 - tcpdump \ telnet \ (netstat \ ss \ lsof) \ nload 网络传输 - scp \ rsync \ (rz ...

计算机硬件基本知识及Linux的常用命令

------------------1. 计算机硬件基本知识------------------ CPU - 寄存器 - L1/L2/L3 - 内存 - 硬盘 - 互联网下载/其他存储介质传输 寄存器 ...

一、Linux概述 	二、Linux的安装 	三、Linux的常用命令(重点)

一.Linux概述###<1>操作系统 OS,管理和控制 计算机的 硬件和软件资源的 计算机程序. 最基本的系统软件. 是用户和计算机交互的桥梁,是硬件和软件交互的桥梁. 操作系统:she ...

Linux帮助——常用命令

Linux帮助——常用命令 摘要:本文主要学习了Linux系统中常用的一些命令. uname命令 uname命令可以显示电脑以及操作系统的相关信息. 基本语法 uname [选项] 选项说明 -a:显 ...

Linux虚拟机常用命令

参考原文链接:(https://blog.csdn.net/fanyun_01/article/details/51083585) 一.Linux虚拟机常用命令 # virsh list //查看已打 ...

&lbrack;转帖&rsqb;Linux systemd 常用命令

Linux systemd 常用命令 https://www.cnblogs.com/tsdxdx/p/7288490.html systemctl hostnamectl timedatectl l ...

Linux系统管理常用命令

Linux系统管理常用命令 分类: Linux2011-01-10 18:26 1538人阅读 评论(0) 收藏 举报 linuxcommandservicenginxuserunix 目录(?)[+ ...

随机推荐

Total Commander 常用快捷键(并附快捷键大全)

Total Commander 常用快捷键 喜欢用Total Commander的人,都会记住它的一些快捷键,这会给你的操作带来很大的方便,以下是经常会用到的快捷键,大家可以记住一些自己用得最多的操作 ...

jquery&comma;javascript -设置某一ul下的li下的 a的属性

//javascriptvar ul = document.getElementById('ul); var as = ul.getElementsByTagName('a'); for(var i ...

扩展entity framework core 实现默认字符串长度&comma;decimal精度&comma;entity自动注册和配置

报道越短,事情越严重!文章越短,内容越精悍! 文章以efcore 2.0.0-preview2.测试验证通过.其他版本不保证使用,但是思路不会差太远.源代码 目标: 1.实现entity的自动发现和m ...

Linux系统软件安装的几种方式

Linux系统,一个文件能不能执行看的是有没有可执行权限x,不过真正的可执行文件是二进制文件(binary file),举例来说Linux上的c语言源码编写完后,通过gcc程序编译后就可以创建一个可执 ...

微博第三方js-sdk登录

https://open.weibo.com

关于&period;net里面的静态html页面和接口组合使用的网站

在网站的根目录下,主要有三部分组成.①接口里面的bin文件夹②接口③html里面的页面. html里面有ajax请求接口的js代码.另外接口里面的web.config不需要拷贝到网站根目录去. 如下截 ...

oracle第一天笔记

Oracle体系结构: 数据库   ---->  实例(orcl) --->  表空间(逻辑单位)(用户)  ---> 数据文件(物理单位) 地球     ---->   国家 ...

静态代码块和this

/* 静态代码块.随着类的加载而执行.而且只执行一次. 作用: 用于给类进行初始化. */class StaticCode{ static int num ; static { num = 10;// ...

Codeforces Round &num;222 &lpar;Div&period; 1&rpar; B&period; Preparing for the Contest 二分&plus;线段树

B. Preparing for the Contest 题目连接: http://codeforces.com/contest/377/problem/B Description Soon ther ...

Android通过xml生成创建View的过程解析

Android的布局方式有两种,一种是通过xml布局,一种是通过java代码布局,两种布局方式各有各的好处,当然也可以相互混合使用.很多人都习惯用xml布局,那xml布局是如何转换成view的呢?本文 ...