hadoop_day03

文章详细介绍了如何卸载并重新部署Hadoop集群,包括删除HDFS数据目录,执行HDFS的ls、mkdir、mv、rm等操作。此外,还涉及了回收站配置、文件在HDFS与Linux之间的传输、上传下载、权限管理(chmod、chown)以及查看文件内容等日常管理任务。
摘要由CSDN通过智能技术生成

如果部署的hadoop集群有问题 想重新部署:

1.卸载

2.重新配置

hdfs data目录删掉 +重新格式化 即可

【HDFS】:

hdfs 相关操作

【查看hdfs ls】:

1.hadoop fs -ls /

2.hdfs dfs -ls /

【创建文件夹】

hadoop fs -mkdir 
[hadoop@bigdata31 bin]$ hadoop fs -mkdir /hdfs01
[hadoop@bigdata31 bin]$ hadoop fs -ls /
Found 5 items
drwxr-xr-x   - hadoop supergroup          0 2022-11-11 23:03 /data
drwxr-xr-x   - hadoop supergroup          0 2022-11-15 17:11 /hdfs01
drwxr-xr-x   - hadoop supergroup          0 2022-11-11 23:08 /out
drwxr-xr-x   - hadoop supergroup          0 2022-11-14 18:32 /out2
drwx------   - hadoop supergroup          0 2022-11-14 18:31 /tmp

【移动、拷贝 mv cp 】

[hadoop@bigdata31 bin]$ hadoop fs -mv /data /hdfs01/

【删除 rm 】

[hadoop@bigdata31 bin]$ hadoop fs -rm -r /out
Deleted /out

-skipTrash : hdfs 回收站

<property>
        <name>fs.trash.interval</name>
        <value>10080</value>
</property>

【hdfs上的文件=>linux】

hdfs://bigdata32:9000/1.log
/1.log
[hadoop@bigdata33 ~]$ hadoop fs -ls hdfs://bigdata32:9000/1.log
[hadoop@bigdata33 ~]$ hadoop fs -ls /1.log

【local 上的文件=>linux】

file:///1.log:
[hadoop@bigdata33 ~]$ hadoop fs -ls file:home/hadoop/1.log

【上传】

[hadoop@bigdata33 ~]$ hadoop fs -put ./2.log ./3.log /
[hadoop@bigdata33 ~]$ hadoop fs -ls /
[hadoop@bigdata33 ~]$ hadoop fs -copyFromLocal ./2.log /data
[hadoop@bigdata33 ~]$ hadoop fs -ls /data

【下载】

[hadoop@bigdata33 tmp]$ hadoop fs -get /data ./
[hadoop@bigdata33 tmp]$ ll
total 4
drwxr-xr-x. 2 hadoop hadoop 4096 Nov 15 18:07 data
[hadoop@bigdata33 tmp]$ hadoop fs -get /data ./datahdfs

【chmod : 权限】

[hadoop@bigdata33 tmp]$ hadoop fs -chmod 664 /1.log
[hadoop@bigdata33 tmp]$ hadoop fs -ls /

chown :拥有者

[hadoop@bigdata33 tmp]$ hadoop fs -chown zihang:DL2262 /1.log
[hadoop@bigdata33 tmp]$ hadoop fs -ls /

【查看文件内容】:cat

[hadoop@bigdata33 tmp]$ hadoop fs -cat /1.log
111
222
333

java api hdfs

<!--添加hadoop依赖-->
<dependency>
  <groupId>org.apache.hadoop</groupId>
  <artifactId>hadoop-client</artifactId>
  <version>3.3.4</version>
</dependency>

### 回答1: Spark 基础环境是指安装和配置 Spark 所需的软件和硬件环境。Spark 运行需要 Java 环境和 Hadoop 环境,同时也需要配置 Spark 的相关参数,如内存大小、CPU 核数等。在安装和配置好基础环境后,我们才能使用 Spark 进行数据处理和分析。 ### 回答2: Spark是一个快速、可扩展且容错的大数据处理框架,提供了丰富的API和工具,可以处理大规模的数据集。 搭建Spark基础环境包括以下几个步骤: 1. 安装Java:Spark是基于Java开发的,因此首先需要安装Java开发环境。可以从Oracle官网下载并安装适合操作系统的Java版本。 2. 下载Spark:在Apache Spark官网下载最新版本的Spark压缩包,并解压到指定目录。 3. 配置环境变量:将Spark的bin目录添加到系统的环境变量中。这样可以方便地在任意位置运行Spark的命令。 4. 配置Spark集群:如果需要在多台机器上运行Spark应用程序,需要进行集群配置。首先,在每台机器上安装好Java,并将Spark解压到相同的目录。然后,编辑Spark的配置文件,设置集群的主节点和从节点。 5. 验证安装:通过在终端运行spark-shell命令,验证Spark是否正确安装。spark-shell命令会启动一个Scala解释器,并连接到Spark集群。 6. 运行第一个Spark应用程序:编写一个简单的Spark应用程序,如WordCount,用于统计文本文件中单词的个数。将程序保存为Scala文件,并使用spark-submit命令来运行。 以上就是搭建Spark基础环境的主要步骤。搭建好Spark环境后,可以使用Spark提供的丰富API和工具来进行大数据处理和分析,如数据清洗、转换、机器学习等。Spark的功能强大且易于使用,适用于各种大规模数据处理场景。 ### 回答3: Spark是一个快速通用的集群计算系统,它提供了高效的数据处理和分析能力。要运行Spark,我们需要配置和搭建一些基础环境。 首先,我们需要安装Java JDK。Spark运行在Java虚拟机上,因此我们需要安装适当版本的Java开发工具包。通常建议使用Oracle JDK的最新稳定版本,然后设置JAVA_HOME环境变量。 其次,我们需要安装Spark本身。Spark官方网站提供了预编译的二进制发行版,我们可以从网站上下载并解压缩到我们喜欢的位置。然后,我们可以设置SPARK_HOME环境变量,以便在终端窗口中使用Spark命令。 接下来,我们需要选择一个合适的集群管理器来运行Spark应用程序,比如Standalone模式、Hadoop YARN和Apache Mesos等。我们需要根据自己的需求进行选择和配置。例如,在Standalone模式下,我们需要启动一个Spark Master和多个Spark Worker来管理和运行任务。 最后,在运行Spark应用程序之前,我们需要通过编写一个Spark应用程序来使用Spark的功能。Spark提供了Java、Scala和Python等多种编程语言的API。我们可以使用任何一种编程语言来编写应用程序并在Spark上运行。 总之,Spark基础环境搭建包括安装Java JDK、安装Spark本身、选择和配置集群管理器,以及编写Spark应用程序。搭建好这些基础环境后,我们就可以开始使用Spark进行快速、高效的集群计算了。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值