jps
jInfo pid查看进程信息
jstack -F pid打出轨迹
free -m 只显示内存使用情况
查看文件编码
file 1.csv
对于上传文件乱码问题
iconv -f GBK -t UTF-8 1.csv -o 2.csv
ll -h 查看文件详细大小
impala-shell相关命令
invalidate metadata t_system_cpumemory;
refresh t_system_cpumemory;
常用参数
-b 以二进制方式，默认为文本方式。（Binary （tell it like it is） file transfer override.）
-e 对所有控制字符转义。（Force sender to escape all control characters; normally XON， XOFF， DLE， CR-@-CR， and Ctrl-X are escaped.）
如果要保证上传的文件内容在服务器端保存之后与原始文件一致，最好同时设置这两个标志，如下所示方式使用：
rz -be
hadoopfs -df[-h]
• Displays freespace.
– hadoopfs -du[-s][-h]URI[URI...] • Displayssizesoffilesanddirectoriescontainedinthegivendirectoryorthelengthofafileincaseitsjustafile.
执行命令： ll -h 查看某些文件目录的大小
这个命令散仙测，某些时候，不太好使，故使用下面命令
du -sh * 查看空间文件占用情况：
yuminstall -y lrzsz
找到文件中包含的块:
%hadoop fsck /user/term/part-001 -files -blocks -racks 选项显示机架的位置，和每个块数据节点的地址
命令行方式设定 • bin/hadoopfs-Ddfs.block.size=134217728 -put data.in /user/foo
坏块检查 – bin/hadoopfsck file -blocks -files -locations
文件合并
›hadoop fs-getmerge <src> <localdst>
使用：hadoop fs –checksum URI
功能：返回一个文件的检查值。
更多访问：http://www.cnblogs.com/xinlingyoulan/p/6019236.htmlhive查表时如果字段显示比较少可以使用 !set maxWidth 2000来，然后再来查询
DataNode下线
›hadoop dfsadmin -report – 获取集群hdfs状况报告
›hadoop dfsadmin -refreshNodes – 删除节点时使用 •
<property> <name>dfs.hosts.exclude</name> <value>exclude_file</value> </property> • Exclude_file中加入要去除的节点 • 执行refreshNodes
HDFS Balance
›bin/start-balancer.sh -threshold 15
›bin/stop-balancer.sh
› 各DataNode存储不均衡时使用 – 不同机器之间 – 同机器不同磁盘之间无法通过这种方法
balance ›dfs.balance.bandwidthPerSec
transwarp -t -h localhost
beeline -u jdbc:hive2://HADOOP-01:10000/default -n hive
beeline -u 'jdbc:inceptor2://ipaddress:10000/wahjkkkq'
hadoop fs -text numbers.seq | head -text选项可以以文本的形式显示顺序文件
show partitions 查看有哪些分区
对文件进行存档
先列出文件
hadoop fs -lsr /my/files
再存档
hadoop archive -archiveName file.har /my/files /my
通过distcp并行复制
hadoop distcp hdfs://namenode1/foo hdfs://namenode2/bar
hadoop fs -mkdir /tmp/input 在HDFS上新建文件夹
Hadoop fs -put input1.txt /tmp/input 把本地文件input1.txt传到HDFS的/tmp/input目录下
hadoop fs -get input1.txt /tmp/input/input1.txt 把HDFS文件拉到本地
hadoop fs -cat /tmp/ouput/output1.txt 查看HDFS上的文件
hadoop fs -rmr /home/less/hadoop/tmp/output 删除HDFS上的目录
hadoop fs -copyFromLocal input/docs/quangle.txt /user/tom/quangle.txt
hadoop dfsadmin -report 查看HDFS状态，比如有哪些datanode，每个datanode的情况
hadoop dfsadmin -safemode leave 离开安全模式
hadoop dfsadmin -safemode enter 进入安全模式
1、把/home目录下面的mydata目录压缩为mydata.zip
zip -r mydata.zip mydata #压缩mydata目录
2、把/home目录下面的mydata.zip解压到mydatabak目录里面
unzip mydata.zip -d mydatabak
3、把/home目录下面的abc文件夹和123.txt压缩成为abc123.zip
zip -r abc123.zip abc 123.txt
4、把/home目录下面的wwwroot.zip直接解压到/home目录里面
unzip wwwroot.zip
5、把/home目录下面的abc12.zip、abc23.zip、abc34.zip同时解压到/home目录里面
unzip abc\*.zip
6、查看把/home目录下面的wwwroot.zip里面的内容
unzip -v wwwroot.zip
7、验证/home目录下面的wwwroot.zip是否完整
unzip -t wwwroot.zip
8、把/home目录下面wwwroot.zip里面的所有文件解压到第一级目录
unzip -j wwwroot.zip
主要参数
-c：将解压缩的结果
-l：显示压缩文件内所包含的文件
-p：与-c参数类似，会将解压缩的结果显示到屏幕上，但不会执行任何的转换
-t：检查压缩文件是否正确
-u：与-f参数类似，但是除了更新现有的文件外，也会将压缩文件中的其它文件解压缩到目录中
-v：执行是时显示详细的信息
-z：仅显示压缩文件的备注文字
-a：对文本文件进行必要的字符转换
-b：不要对文本文件进行字符转换
-C：压缩文件中的文件名称区分大小写
-j：不处理压缩文件中原有的目录路径
-L：将压缩文件中的全部文件名改为小写
-M：将输出结果送到more程序处理
-n：解压缩时不要覆盖原有的文件
-o：不必先询问用户，unzip执行后覆盖原有文件
-P：使用zip的密码选项
-q：执行时不显示任何信息
-s：将文件名中的空白字符转换为底线字符
-V：保留VMS的文件版本信息
-X：解压缩时同时回存文件原来的UID/GID
# tar -cvf /usr/local/auto_bak/test.tar /usr/local/test 仅打包，不压缩
# tar -zcvf /usr/local/auto_bak/test.tar.gz /usr/local/test 打包后，以gzip压缩 在参数f后面的压缩文件名是自己取的，习惯上用tar来做，如果加z参数，则以tar.gz 或tgz来代表gzip压缩过的tar file文件
解压操作:
#tar -zxvf /usr/local/test.tar.gz
在终端输入：
whereis mysql
回车，如果你安装好了Mysql，就会显示文件安装的地址，例如我的显示(安装地址可能会不同)
查询运行文件所在路径：
如果你只要查询文件的运行文件所在地址，直接用下面的命令就可以了(还是以Mysql为例)：
which mysql
结果会显示：
/usr/bin/mysql
#显示所有文件（包含隐藏文件）
ls -a
#只显示隐藏文件
ls .
或者
ls -d .*
假设Hadoop的安装目录HADOOP_HOME为/home/admin/hadoop。
启动与关闭
启动Hadoop
1. 进入HADOOP_HOME目录。
2. 执行sh bin/start-all.sh
关闭Hadoop
1. 进入HADOOP_HOME目录。
2. 执行sh bin/stop-all.sh
文件操作
Hadoop使用的是HDFS，能够实现的功能和我们使用的磁盘系统类似。并且支持通配符，如*。
查看文件列表
查看hdfs中/user/admin/aaron目录下的文件。
1. 进入HADOOP_HOME目录。
2. 执行sh bin/hadoop fs -ls /user/admin/aaron
这样，我们就找到了hdfs中/user/admin/aaron目录下的文件了。
我们也可以列出hdfs中/user/admin/aaron目录下的所有文件（包括子目录下的文件）。
1. 进入HADOOP_HOME目录。
2. 执行sh bin/hadoop fs -lsr /user/admin/aaron
创建文件目录
查看hdfs中/user/admin/aaron目录下再新建一个叫做newDir的新目录。
1. 进入HADOOP_HOME目录。
2. 执行sh bin/hadoop fs -mkdir /user/admin/aaron/newDir
删除文件
删除hdfs中/user/admin/aaron目录下一个名叫needDelete的文件
1. 进入HADOOP_HOME目录。
2. 执行sh bin/hadoop fs -rm /user/admin/aaron/needDelete
删除hdfs中/user/admin/aaron目录以及该目录下的所有文件
1. 进入HADOOP_HOME目录。
2. 执行sh bin/hadoop fs -rmr /user/admin/aaron
上传文件
上传一个本机/home/admin/newFile的文件到hdfs中/user/admin/aaron目录下
1. 进入HADOOP_HOME目录。
2. 执行sh bin/hadoop fs –put /home/admin/newFile /user/admin/aaron/
下载文件
下载hdfs中/user/admin/aaron目录下的newFile文件到本机/home/admin/newFile中
1. 进入HADOOP_HOME目录。
2. 执行sh bin/hadoop fs –get /user/admin/aaron/newFile /home/admin/newFile
查看文件
我们可以直接在hdfs中直接查看文件，功能与类是cat类似
查看hdfs中/user/admin/aaron目录下的newFile文件
1. 进入HADOOP_HOME目录。
2. 执行sh bin/hadoop fs –cat /home/admin/newFile
MapReduce Job操作
提交MapReduce Job
原则上说，Hadoop所有的MapReduce Job都是一个jar包。
运行一个/home/admin/hadoop/job.jar的MapReduce Job
1. 进入HADOOP_HOME目录。
2. 执行sh bin/hadoop jar /home/admin/hadoop/job.jar [jobMainClass] [jobArgs]
杀死某个正在运行的Job
假设Job_Id为：job_201005310937_0053
1. 进入HADOOP_HOME目录。
2. 执行sh bin/hadoop job -kill job_201005310937_0053
更多Hadoop的命令
上面介绍的这些Hadoop的操作命令是我们最常用的。如果你希望了解更多，可以按照如下的方式获取命令的说明信息。
1. 进入HADOOP_HOME目录。
2. 执行sh bin/hadoop
我们可以看到更多命令的说明信息：
Usage: hadoop [--config confdir] COMMAND
where COMMAND is one of:
namenode -format format the DFS filesystem
secondarynamenode run the DFS secondary namenode
namenode run the DFS namenode
datanode run a DFS datanode
dfsadmin run a DFS admin client
fsck run a DFS filesystem checking utility
fs run a generic filesystem user client
balancer run a cluster balancing utility
jobtracker run the MapReduce job Tracker node
pipes run a Pipes job
tasktracker run a MapReduce task Tracker node
job manipulate MapReduce jobs
queue get information regarding JobQueues
version print the version
jar <jar$amp;>amp;$nbsp; run a jar file
distcp <srcurl> <desturl> copy file or directories recursively
archive -archiveName NAME <src>* <dest> create a hadoop archive
daemonlog get/set the log level for each daemon
or
CLASSNAME run the class named CLASSNAME
Most commands print help when invoked w/o parameters.
1.跳到文本的最后一行：按“G”,即“shift+g”
2.跳到最后一行的最后一个字符 ： 先重复1的操作即按“G”，之后按“$”键，即“shift+4”。
3.跳到第一行的第一个字符：先按两次“g”，
5.vi加密。进入vi，输入":" + "X" 之后就提示你输入两次密码。之后:wq 保存退出。再次进入时就提示你输入密码了。如果你不想要密码了，就:X 提示你输入密码时连续按两次回车，就搞定了
kerberos安全方面
kinit hive
klist
kdestroy
hdfs dfs -ls /inceptorsql1/user/hive/warehouse/
hive --orcfiledump /inceptorsql1/tmp/delta_0497664_0497664
alter table tmp_test add partition (time='xxx') location '/inceptorsql1/tmp/time=xxx';
alter table tmp_test add partition (time='xxx') location 'hdfs:/inceptorsql1time=xxx';
hdfs dfs -ls /inceptorsql1/user/hive/warehouse/
hive --orcfiledump /inceptorsql1/tmp/delta_0497664_0497664
alter table tmp_test add partition (time='xxx') location '/inceptorsql1/tmp/time=xxx';
alter table tmp_test add partition (time='xxx') location 'hdfs:/inceptorsql1time=xxx';
kadmin.local -q "listprincs hbase*"
hdfs dfs -ls /inceptorsql1/user/hive/warehouse/
hive --orcfiledump /inceptorsql1/tmp/delta_0497664_0497664
alter table tmp_test add partition (time='xxx') location '/inceptorsql1/tmp/time=xxx';
alter table tmp_test add partition (time='xxx') location 'hdfs:/inceptorsql1time=xxx';
扫一扫
1467
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
