数据分析（hadoop，hive，Linux）常用操作

1、远程Linux机器登录

ssh username@地址 enter 密码
或者使用securitycrt软件

2、HDFS常用命令

hadoop fs -ls /user/fangmt 查看文件路径
hadoop fs -cat /user/fangmt/filename.txt | more 查看文件的内容
hadoop fs –text /user/fangmt/*.gz | more 查看被压缩的文件的内容
hadoop fs -du -h /user/fangmt 查看目录下各个文件大小

hadoop fs -put input1.txt当前路径文件 /tmp/input（上传路径） 从服务器本地上传文件至hdfs
将本地的”当前路径”下的input1.txt上传到当前机器所在的hadoop的云存储环境的/tmp/input中
Hadoop fs -put filename hdfs

hadoop fs -help ls 可以参看hdfs上的大部分命令，此处为查看 ls 命令的功能

3、hdfs dfs -du -h 输出三列数据的含义

命令 hdfs dfs -du -h /data/
结果 102.3 M 307.0 M /data/
–第一列表示该目录下总文件大小
–第二列表示该目录下所有文件在集群上的总存储大小，和你的副本数相关，我的副本数是3 ，所以第二列的是第一列的三倍 （第二列内容=文件大小*副本数）
–第三列表示你查询的目录

4、HIVE命令

hive详解：