Hive部署及常用命令

"""
参考资料：
hadoop安装指导：
1.伪分布式：https://dblab.xmu.edu.cn/blog/190/
2.分布式：https://dblab.xmu.edu.cn/blog/8/

"""

# 1.查看版本,hdfs目录：/ytest
hdfs version

# 2.列出目录下的文件和目录,在路径/前增加-R 参数列出目录下所有的文件
hdfs dfs -ls /

# 3.新建文件夹
hdfs dfs -mkdir -p /ytest/

# 45G新公参切换.查看文件内容
hdfs dfs -cat /ytest/testdata/123.txt

# 5.删除文件
hdfs dfs -rm -f /ytest/testdata/123.txt

# 6.删除文件夹
hdfs dfs -rm -r /ytest/testdata

# 7.上传文件
hdfs dfs -put /opt/123.txt /ytest/testdata

# 8.下载文件
hdfs dfs -get /ytest/testdata/123.txt /root

# 9.hdfs文件映射到HIve表：
msck repair table table_name;

# 10.mkdir报错：
hdfs dfs -mkdir /ytest/test001/tset_son
# 报错：
mkdir: `hdfs://Master:9000/ytest/test001': No such file or directory
# 解决办法: -mkdir 后加个-p
hdfs dfs -mkdir -p /ytest/test001/tset_son

# 11.Python上传文件到hdfs报错requests.exceptions.ConnectionError: ('Connection aborted.', BadStatusLine('\x00\x00\x00|{\x08ÿÿÿÿ\x0f\x10\x02\x18\t")org.apache.hadoop.ipc.RPC$VersionMismatch*>Server IPC version 9 cannot communicate with client version 470\x0e:\x00@\x01'))
# 报错：
使用Python的hdfs库进行文件上传时，报错如上
# 解决办法
确认通信的端口号，可以查看hdfs的配置文件hdfs-site.xml 的 dfs.namenode.http-address.mycluster.nn1(NameNode HTTP Server端口) 配置下的端口号