hadoop/hbase常见命令记录

最新推荐文章于 2023-04-16 15:49:17 发布

hello world2020

最新推荐文章于 2023-04-16 15:49:17 发布

阅读量516

点赞数

分类专栏： hadoop 文章标签：大数据

本文链接：https://blog.csdn.net/u014545085/article/details/103224812

版权

本文详细介绍了Hadoop的hadoop fs、hadoop dfs和hdfs dfs命令的区别与使用，以及HDFS的文件操作，包括创建目录、复制文件、查看文件列表等。此外，还涵盖了HBase的启动、停止、环境变量配置以及基本的增删查改操作，包括创建表、插入数据、删除数据和查询数据。

摘要由CSDN通过智能技术生成

一：hadoop
实际上有三种shell命令方式。
1. hadoop fs
2. hadoop dfs
3. hdfs dfs

hadoop fs适用于任何不同的文件系统，比如本地文件系统和HDFS文件系统
hadoop dfs只能适用于HDFS文件系统
hdfs dfs跟hadoop dfs的命令作用一样，也只能适用于HDFS文件系统

上面的单机模式，grep 例子读取的是本地数据，伪分布式读取的则是 HDFS 上的数据。要使用 HDFS，首先需要在 HDFS 中创建用户目录：
./bin/hdfs dfs -mkdir -p /user/hadoop

接着将 ./etc/hadoop 中的 xml 文件作为输入文件复制到分布式文件系统中，即将 /usr/local/hadoop/etc/hadoop 复制到分布式文件系
统中的 /user/hadoop/input 中。我们使用的是 hadoop 用户，并且已创建相应的用户目录 /user/hadoop ，因此在命令中就可以使用相
对路径如 input，其对应的绝对路径就是 /user/hadoop/input:
./bin/hdfs dfs -mkdir input
./bin/hdfs dfs -put ./etc/hadoop/*.xml input

复制完成后，可以通过如下命令查看文件列表：
./bin/hdfs dfs -ls input

伪分布式运行 MapReduce 作业的方式跟单机模式相同，区别在于伪分布式读取的是HDFS中的文件（可以将单机步骤中创建的本地 input
文件夹，输出结果 output 文件夹都删掉来验证这一点）。

./b