hadoop&hive常用的命令-备忘

http://10.200.200.156:50070/dfshealth.jsp   --dfs容量状态
http://10.200.200.156:50030/jobtracker.jsp    --hadoop任务状态
http://10.200.200.156:50060/logLevel  ---hadoop 日志级别

bin/hadoop fs -cat /
hadoop fs -mkdir /user/xttest
bin/hadoop fs -put /home/searchdata
bin/hadoop fs -ls /user/

mapred.job.map.capacity
mapred.map.tasks

describe regtest;
show partitions wdlog_tmpmap_p_dt;
//行转列
select ads, ip from iploction LATERAL VIEW explode(split(ips,',')) myview as ip;
//导出数据到本地文件
INSERT OVERWRITE LOCAL DIRECTORY '/home/spvdata' select * from wdlog_ready_spv;
--查看hive为某个查询使用多少个MapReduce作业
Explain SELECT sales.*, things.* FROM sales JOIN things ON (sales.id = things.id);
停止某个hive查询
hadoop job -list
hadoop job -kill job_201310162019_0039
hadoop namenode -format
order by 保证整个输出是有序的

sort by 只保证在一个reducer里面是有序的，有可能最终的结果是半序的
Distributing By 所有的数据集，保证相同的key被分配到同一个reducer上，但是他们不保证被聚集在临近的位置

Cluster By Distributing By的基础上保证单个reducer上的数据是有序的
hive -e "SELECT * FROM mwdlog.regex_init" >> /home/hadoop/hadoop/hive-0.10.0/regdata.txt 导出数据

/etc/init.d/iptables stop   关闭防火墙
ln  软连接
shutdown – h now  关机
tar zxvf      --解压缩
unzip wdlog0614.zip ---zip解压缩
unrar e all.rar 
netstat -anp|grep 9002  --查看端口信息
service mysqld  status   --服务状态
ps -ef |grep mysqld   --进程号
mv  hive-log4j.properties hive-log4j.properties.template --重名文件
date   查看系统时间
mkdir auxlib --创建文件夹
---rar软件安装
wget http://www.rarlab.com/rar/rarlinux-x64-5.0.0.tar.gz
tar -zxvf rarlinux-x64-5.0.0.tar.gz
cd rar
make install