03 Hadoop大数据

最新推荐文章于 2024-05-21 00:00:00 发布
最新推荐文章于 2024-05-21 00:00:00 发布
阅读量267 收藏 1
点赞数
分类专栏： 大数据运维工程师 文章标签： 大数据 hadoop 分布式 linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/BIN_2011464841/article/details/129115946
版权

目录

一、Hadoop伪分布式环境部署

  • 实训目的：

    1. 掌握Linux系统安装JDK和Hadoop以及配置环境变量
    2. 掌握Linux系统Hadoop为分布模式的部署配置
    3. 掌握Linux系统Hadoop的格式化、启动，停止，访问等操作

  • 实训步骤：

    1. 上传文件 jdk-8u261-linux-x64.tar.gz 和 hadoop-2.7.3.tar.gz 到系统中的 /usr/local/src 目录下

    2. 解压缩上传的jdk安装包 和hadoop安装包

      #进入/usr/local/src目录
[root@node01 ~]#cd /usr/local/src

#解压jdk到当前目录下
[root@node01 src]#tar -zxvf jdk-8u261-linux-x64.tar.gz

#重命名解压出来的目录为jdk,方便后续的配置使用
[root@node01 src]#mv jdk1.8.0_261/ jdk 

#解压hadoop到当前目录下
[root@node01 src]#tar -zxvf hadoop-2.7.3.tar.gz

#重命名解压出来的目录为hadoop，方便后续的配置使用
[root@node01 src]#mv hadoop-2.7.3/ hadoop

    3. 检查系统中是否有已经安装的jdk，如果有需要 先卸载旧的 jdk 。

      #查找是否已安装jdk
rpm -qa | grep java
#卸载已安装配置的jdk
yum remove -y jdk*

    4. 配置环境变量：

      （1）使用notepad++ 或命令 vi /etc/profile，如果使用命令vi编辑，按键i或a或o 进入insert模式，按照以下内容编辑，完成后按键Esc ， 输入:wq 保存退出。

    #打开环境变量配置文件 /etc/profile
    [root@node01 local]#vi /etc/profile

    
```shell
#向打开的环境变量配置文件，追加以下内容
export JAVA_HOME=/usr/local/src/jdk
export PATH=$PATH:$JAVA_HOME/bin

#追加HADOOP_HOME
export HADOOP_HOME=/usr/local/src/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

    （2）重新加载环境变量配置文件,使得配置起作用

    [root@node01 local]#source /etc/profile

    1. 测试 jdk 和 hadoop 的环境变量配置是否正确

    #查看jdk的版本
    [root@node01 local]#java -version
    #查看hadoop的版本
    [root@node01 local]#hadoop version

    
6. 配置本地ssh免密登录

（1）生成秘钥

```shell
#进入当前用户的家目录下，删除隐藏文件.ssh
[root@node01 local]#cd  
[root@node01 ~]#rm -rf .ssh 


#执行命令生成秘钥对,连续四次回车即可
[root@node01 ~]ssh-keygen -t rsa 
#执行完毕后，在/root/.ssh/目录下会生成 id_rsa(私钥)、id_rsa.pub(公钥), 使用以下命令查看
[root@node01 ~]cd /root/.ssh

#将公钥复制到本地主机，会生成权限文件authorized_keys，执行命令会让输入登录密码。
[root@node01 ~]# ssh-copy-id node01

    （2）测试本地免密登录

      #使用 ssh 登录到 node01
  [root@node01 ~]# ssh node01
  #退出 node01 访问
  [root@node01 ~]# exit

  1. 配置hadoop伪分布式环境

    配置文件所在路径：/usr/local/src/hadoop/etc/hadoop/

    （1）建议使用 NotePad++ 工具进行 Hadoop 配置文件编辑

    • 修改文件**hadoop-env.sh**， 设置 Hadoop环境对应的JDK
     将语句 export JAVA_HOME=${JAVA_HOME} 修改为 export JAVA_HOME=/usr/local/jdk

    （2）修改 core-site.xml 配置文件

     <!--NameNode的访问URI，也可以写为IP，8020为默认端口, 主机名根据实际修改-->
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://node01:8020</value>
  </property>
  
  <!--临时数据目录，用来存放数据，格式化时会自动生成-->
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/usr/local/src/hadoop/tmpData</value>
  </property>

    （3）修改 **hdfs-site.xml **配置文件

     <!--Block的副本数，伪分布式要改为1-->
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
  
  <!--NameNode 元数据存放地址-->
  <property>
    <name>dfs.name.dir</name>
    <value>/usr/local/src/hadoop/data/namenode</value>
  </property>
  
  <!--DataNode 副本存放地址-->
  <property>
    <name>dfs.data.dir</name>
    <value>/usr/local/src/hadoop/data/datanode</value>
  </property>
  
  <!--HDFS 临时存放地址-->
  <property>
    <name>dfs.tmp.dir</name>
    <value>/usr/local/src/hadoop/data/tmp</value>
  </property>
  
  <!--配置有secondarynamenode的主机, 主机名要根据实际修改-->
  <property>
      <name>dfs.namenode.secondary.http-address</name>
      <value>node01:50090</value>
  </property>

    （4）修改 slaves 配置文件

     #向slaves文件中添加当前系统的主机名（例如：node01）
  node01

    （5）格式化**namenode**

  # 格式化namenode ，由于已经配置过 Hadoop 的 bin 环境变量，则该命令可以在任意目录下运行
     [root@node01 ~]# hdfs namenode -format

  1. 启动HDFS，有两种启动方式，任选一种启动hdfs：

    （1）方式一：分步逐个启动

      # 启动 HDFS 分布式文件系统 - 启动 namenode 元数据节点，负责管理文件切片存储
  [root@node01 ~]hadoop-daemon.sh start namenode    
    
  # 启动 datanode 副本节点，负责存储文件切片，定时发送心跳和块状态报告
  [root@node01 ~]hadoop-daemon.sh start datanode
    
  # 启动 secondarynamenode 镜像备份节点，同步元数据和操作日志
  [root@node01 ~]hadoop-daemon.sh start secondarynamenode

    （2）方式二：使用批处理脚本启动

      [root@node01 ~]start-dfs.sh

  2. 使用命令 **jps**查看启动的核心进程

      [root@node01 ~]jps
  
  #显示内容如下，表示HDFS启动成功
  12176 DataNode
  12085 NameNode
  12270 SecondaryNameNode
  12318 Jps

  3. 使用浏览器访问hdfs的相关信息

    （1）首先配置windows系统下的映射文件，使用编辑器（记事本）打开 c:\windows\system32\drivers\etc\hosts

    （2）添加虚拟机的映射，如下：

    192.168.149.21 node01

    （3）在浏览器中输入地址 node01:50070 或 192.168.149.21:50070

  4. 关闭系统前，需要先关闭启动的hdfs

      #关闭hdfs,使用批处理脚本
  [root@node01 ~]stop-dfs.sh

  • 启动HDFS时，常见错误及解决办法

    通常出现的错误就是某个节点没有启动，例如namenode/datanode等。需要按照以下步骤处理：

    1. 先删除某些文件和目录
    2. 然后重新格式化，如果仍然出现错误， 请查看日志，日志所在目录 /usr/local/hadoop/logs/
    #首先停止所有hdfs进程
[root@node01 ~]stop-dfs.sh
#进入hadoop目录
[root@node01 ~]cd /usr/local/src/hadoop
#删除 $HADOOP_HOME/logs 目录
[root@node01 hadoop]rm -fr logs/ tmpData/ data/

#重新格式化 
[root@node01 local]hdfs namenode -format

二、Hdfs Shell基础操作

格式一：前缀

hadoop fs <-命令> <操作对象>

格式二：前缀

hdfs dfs <-命令> <操作对象>

【注意事项】

​ hdfs shell命令中使用的所有路径都是绝对路径。

  • 新建目录
hadoop fs -mkdir /testdir   或者
hdfs dfs -mkdir -p /testdir/A/B
  • 新建空白文件
hadoop fs -touchz /testdir/data.txt
  • 查看目录和文件列表
hadoop fs -ls /testdir
  • 查看hdfs上文件的内容
hdfs dfs -cat /testdir/data.txt
  • 上传文件
hadoop fs <-put | -copyFromLocal>  <localpath>  <hdfspath>
#将本地的文件上传到hdfs目录testdir中
hadoop fs -put ./data.txt /testdir/   或者
hadoop fs -copyFromLocal ./data.txt /testdir/
  • 下载文件
hadoop fs <-get | copyToLocal>  <hdfspath> <Localpath>
#将hdfs上的文件yarn-site.xml下载到本地目录中
hadoop fs -get /testdir/yarn-site.xml  ./  或者
hadoop fs -copyToLocal /testdir/yarn-site.xml  ./
  • 删除目录或文件
#删除hdfs空目录 B
hadoop fs -rmdir /testdir/A/B

#删除非空目录和文件
hadoop fs -rm -r /testdir
红陌樱花vip
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
hadoop大数据平台的构建
weixin_47726676的博客
12-19 2015
目录hadoop概述什么是hadoop？hadoop特点hadoop组成 hadoop概述 什么是hadoop？ Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（ Distributed File System），其中一个组件是HDFS（Hadoop Distributed File System）。
hadoop大数据课程设计
06-15
hadoop大数据课程设计，爬虫项目，python
《Hadoop大数据开发实战》教学教案—01初识Hadoop.pdf
07-07
《Hadoop大数据开发实战》教学教案—01初识Hadoop.pdf《Hadoop大数据开发实战》教学教案—01初识Hadoop.pdf《Hadoop大数据开发实战》教学教案—01初识Hadoop.pdf《Hadoop大数据开发实战》教学教案—01初识Hadoop.pdf《Hadoop大数据开发实战》教学教案—01初识Hadoop.pdf《Hadoop大数据开发实战》教学教案—01初识Hadoop.pdf《Hadoop大数据开发实战》教学教案—01初识Hadoop.pdf《Hadoop大数据开发实战》教学教案—01初识Hadoop.pdf《Hadoop大数据开发实战》教学教案—01初识Hadoop.pdf
Hadoop大数据期末考试重点
06-16
Hadoop大数据期末考试重点，选择、判断、简答
基于hadoop大数据大项目
02-19
这个不是，林子雨的大数据的话可以私聊，实训所有都顺利完成、ubuntu上做的、已经导出来了、想要就私聊吧，不要钱，可能不在线，看不到消息就没办法了
Hadoop大数据开发基础.rar
10-14
【实例简介】 文档为PPT，与百度文库里的Hadoop大数据开发基础为一套，里面内容相对比较基础~可做基础学习资料PPT。 【实例截图】 【核心代码】 Hadoop大数据开发基础-PPT课件 └── 37066-Hadoop大数据开发基础-PPT课件 ├── 第1章 │ └── Hadoop基础 -01简介及架构.ppt ├── 第2章 │ ├── 1. 安装配置虚拟机.ppt │ ├── 2. 安装Java.ppt │ └── 3. 搭建Hadoop完全分布式集群.ppt ├── 第3章 │ └── Hadoop基础操作.ppt ├── 第4章 │ └── MapReduce入门编程.ppt ├── 第5章 │ └── MapReduce高级编程.ppt └── 第6章 └── 基于knn的电影网站用户性别预测.ppt
Hadoop集群环境搭建（二）
qq_61645895的博客
01-07 235
​​​​​​​​​​​​​​hadoop配置，安装jdk​​​​​​​、配置hadoop集群
Hadoop 大数据技术原理与应用
qq_35414977的博客
12-11 1404
扩容能力强，成本低，高效率，可靠性，高容错演变基本概念名称节点（NameNode）数据节点（DataNode）数据块（Block）机架（Rack）元数据（Metadata）特点优点：高容错，流式数据访问，支持超大文件，高数据吞吐量，可构建在廉价的机器上缺点：高延迟，不适合小文件存储场景，不适合并发写入核心思想分而治之Map 阶段：任务分解Reduce 阶段：任务合并MapReduce 编程模型实例词频统计数据仓库面向主题随时间变化相对稳定结构数据源。
Hadoop大数据实战笔记
CoCo629vanilla的博客
10-27 2011
Hadoop简介：什么是Hadoop呢？Hadoop是一个开源分布式系统基础架构 ，用户可以在不了解分布式底层细节的情况下，开发分布式程序，利用集群的威力进行高速的运算和存储，适合处理非结构化数据。
hadoop大数据生态概述
10 学习笔记
04-16 3184
Hadoop Hadoop是一个由Apache基金会所开发的分布式系统基础架构 Hadoop通常是指一个更广泛的概念——Hadoop生态圈 Hadoop 三大发行版本： Apache、 Cloudera、 Hortonworks （被收购） 注意：Hadoop1.x、 2.x、 3.x的区别（计算和资源调度） HDFS架构 NameNode（nn）：存储文件的元数据，如文件名，文件目录结构，文件属性（生成时间、 副本数、文件权限），以及每个文件的块列表和块所在的DataNode等 DataNode(dn
Hadoop大数据平台搭建（超详细步骤）
宥思的博客
09-09 9346
Hadoop大数据平台搭建
Hadoop大数据平台构建与应用
m0_53621696的博客
03-23 5524
Hadoop大数据平台构建与应用 第一章 大数据与Hadoop平台技术 文章目录Hadoop大数据平台构建与应用前言1、熟悉 Hadoop平台技术的生态环境 2、熟悉 熟悉大数据关键技术 3、了解 大数据主要技术 4、了解 大数据的特点、应用领域一、大数据时代二、大数据关键技术总结 前言 提示：这里可以添加本文要记录的大概内容： 1、熟悉 Hadoop平台技术的生态环境 2、熟悉 熟悉大数据关键技术 3、了解 大数据主要技术 4、了解 大数据的特点、应用领域 提示：以下是本篇文章正文内容，下面案例可供参
Hadoop大数据简介
只是甲的博客
12-01 5153
一.Hadoop概述 1.1 Hadoop简要概述 我们生活在这个数据大爆炸的时代 ，很难估算全球电子设备中存储的数据总共有多少 。当前一个中小型公司的数据量也达到数十TB，甚至更多。 有句话说得好 ：“ 大数据胜于好算法 。” 意思是说对于某些应用 （譬如根据以往的偏好来推荐电影和音乐），不论算法有多牛 ，基于小数据的推荐效果往往都不如基于大量可用数据的 一般算法的推荐效果 。 我们遇到的问题很简单：在硬盘存储容量多年来不断提升的同时，访问速 度（硬盘数据读取速度）却没有与时俱进 。 第二个问题是大多数分
西南交通大学计算机考研难吗？西南交通大学计算机考研考情分析！
m0_72717598的博客
05-16 257
西南交通大学信息科学与技术学院成立于1985年（原计算机科学与工程系），学院下设五个系，即计算机科学与技术系，软件工程系，自动化系，通信工程系，电子信息工程系，20多年来，学院已培养出研究生700余名，本科生近5000名，毕业生遍布全国各地，其中不少已成为国内外知名专家、学者。创新精神和能力、专业兴趣和素养等。复试要对考生的既往学业情况、外语听说交流能力、专业素质和科研创新能力，以及综合素质和一贯表现等进行全面考查，主要考核内容包括思想政治素质和道德品质、外语听说能力、专业素质和能力、综合素质及能力。
计算机毕业设计PySpark+Hadoop+Hive机票航班数据分析可视化大屏 机票预测 航班预测系统 机票爬虫 飞机票推荐系统 大数据毕业设计
最新发布
从业计算机毕业设计10年，打算用一年时间分享10年毕设经验！
05-21 147
计算机毕业设计PySpark+Hadoop+Hive机票航班数据分析可视化大屏 机票预测 航班预测系统 机票爬虫 飞机票推荐系统 大数据毕业设计
要对数据源和同步后的数据进行数据量的对比
smile6868的博客
05-16 329
4. **数据对比**：在 Flink 中创建两个表，一个连接到数据源，另一个连接到目标系统，然后使用 Flink SQL 来比较这两个表的数据。3. **数据同步**：使用 Flink SQL CDC Connectors 或其他合适的连接器来同步数据源的数据到目标系统。5. **执行 Flink SQL**：在 Flink SQL 客户端或 Flink Web UI 提交上述 SQL 脚本。2. **数据同步**：如果你使用的是 Flink CDC Connectors，它会自动处理数据的增量同步。
大数据概述
JAZJD的博客
05-16 682
从最初的存储和处理海量数据，到后来的数据分析和可视化，再到如今的机器学习和人工智能驱动的大数据应用，大数据技术日新月异，不断突破创新。在信息科技方面，计算机硬件性能的提升、存储技术的进步、网络传输速度的加快等，为海量数据的产生、收集和处理提供了技术支撑。：大数据往往包含多种类型的数据，如结构化数据（数据库中的表格数据）、半结构化数据（XML、JSON等格式）、以及非结构化数据（文本、图像、视频等）。随着技术的进步和应用的深入，大数据必将释放出更大的价值，为社会带来更多的创新和变革。
Flume 的基本介绍和安装部署
weixin_44480009的博客
05-20 512
Flume 是 Cloudera 提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的框架服务Flume 基于流式架构，灵活简单，能够实时读取服务器本地磁盘的数据，将数据写入到 HDFS。
技术前沿 |【SIMD并行计算与分布式算法：前沿技术的深度解析】
尺小闹的博客
05-15 1099
随着技术的不断进步和创新，SIMD并行计算和分布式算法将在更多领域得到应用。例如，在物联网、边缘计算、区块链等新兴领域中，SIMD并行计算和分布式算法将发挥重要作用，推动这些领域的快速发展。综上所述，SIMD并行计算和分布式算法作为前沿技术，在提升数据处理和计算能力方面具有重要作用。随着信息技术的不断发展，这两种技术将在更多领域得到应用，并推动社会进步和科技发展。
hadoop大数据技术
02-07
Hadoop大数据技术是一种开源的分布式计算框架，它能够处理大规模数据集并提供高性能、可伸缩和可靠性的数据处理能力。 Hadoop的核心组件包括Hadoop分布式文件系统（HDFS）和Hadoop分布式计算框架（MapReduce）。HDFS是一个分布式文件系统，可以将大数据集存储在多台计算机上，并提供高容错性和高可用性。MapReduce是一种分布式计算模型，可以将大规模数据集分割成小块，分发给集群中的多个计算节点进行并行处理，最后将结果合并返回。 除了核心组件之外，Hadoop还提供了一些其他工具和组件，如YARN（资源管理系统）、HBase（分布式数据库）、Hive（数据仓库和查询语言）、Pig（数据分析工具）等，这些工具和组件可以与Hadoop一起使用，提供更多丰富的功能和更灵活的数据处理方式。 Hadoop大数据技术的优势主要体现在以下几个方面： 1. 可扩展性：Hadoop能够通过增加计算节点来处理更大规模的数据集，从而实现高性能的数据处理能力。 2. 容错性：Hadoop将数据复制到不同的计算节点上，即使某个节点出现故障，数据依然可以恢复和访问。 3. 成本效益：Hadoop使用廉价的硬件来构建集群，相比传统的大型服务器，成本更低。 4. 处理速度快：由于使用分布式计算模型，Hadoop可以在短时间内处理大规模数据集，提供高速的数据处理能力。 5. 灵活性：Hadoop提供了各种工具和组件，使得开发人员可以根据自己的需求选择最合适的方式来处理数据。 总的来说，Hadoop大数据技术是一个非常强大的数据处理工具，可以帮助企业处理和分析大规模的数据，从而提供更准确、更全面的数据分析和决策支持。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

红陌樱花vip

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值