hadoop

最新推荐文章于 2024-10-11 12:04:54 发布
最新推荐文章于 2024-10-11 12:04:54 发布
阅读量464 收藏 1
点赞数
分类专栏： 大数据 文章标签： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq351469076/article/details/84548282
版权

Hadoop搭建

  1. ubuntu服务器版本换源
  2. 解决virtualbox安装增强包失败
  3. 解决VirtualBox VT-x is not available
  4. xshell连接virtualbox虚拟机

Java命令

  1. 查看当前java版本
    java -version
  2. 安装默认java jdk
    sudo apt-get install default-jdk
  3. 查询java安装路径
    update-alternatives --display java 我的java路径为/usr/lib/jvm/java-11-openjdk-amd64
  4. 查看java当前运行的进程
    1. jps

安装ssh, rsync

  1. sudo apt-get install ssh

  2. sudo apt-get install rsync

  3. 产生ssh key

    1. ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

  4. 将产生的key放到许可证文件中

    1. cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

下载hadoop 2.6.4版本

https://archive.apache.org/dist/hadoop/common/hadoop-2.6.4/hadoop-2.6.4.tar.gz

  1. 解压Hadoop
    1. sudo tar -zxvf hadoop-2.6.4.tar.gz
  2. 将其移动到/usr/local/hadoop
    1. sudo mv hadoop-2.6.4 /usr/local/hadoop

设置Hadoop环境变量

sudo vim ~/.bashrc
把下面写进去

export JAVA_HOME=你的JAVA路径
export HADOOP_HOME=/usr/local/hadoop 
export PATH=$PATH:$HADOOP_HOME/bin 
export PATH=$PATH:$HADOOP_HOME/sbin 
export HADOOP_MAPRED_HOME=$HADOOP_HOME 
export HADOOP_COMMON_HOME=$HADOOP_HOME 
export HADOOP_HDFS_HOME=$HADOOP_HOME 
export YARN_HOME=$HADOOP_HOME 
export HADOOP_COMMON_HOME=$HADOOP_HOME 
export HADOOP_HDFS_HOME=$HADOOP_HOME 
export YARN_HOME=$HADOOP_HOME 
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native 
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib" 
export JAVA_LIBRARY_PATH=$HADOOP_HOME/lib/native:$JAVA_LIBRARY_PATH

让以上的环境变量生效
source ~/.bashrc

设置 Hadoop配置

  1. 设置Hadoop配置文件
    1. sudo vim /usr/local/hadoop/etc/hadoop/hadoop-env.sh
      1. 修改export JAVA_HOME=你的JAVA路径
  2. 修改core-sit.xml, 设置HDFS默认名称
    1. sudo vim /usr/local/hadoop/etc/hadoop/core-site.xml
    2. 在<configuration></<configuration>里添加
<property>
    <name>fs.default.name</name>
    <value>hdfs://localhost:9000</value>
</property>

<property>
    <name>hadoop.tmp.dir</name>
    <value>/hadoop/hadoop-hduser</value>
</property>
  1. 设置YARN-site.xml, 含有MapReduce2(YARN)相关的配置
    1. sudo vim /usr/local/hadoop/etc/hadoop/yarn-site.xml
    2. 在<configuration></<configuration>里添加
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>

<property>
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
  1. 设置mapred-site.xml, 用于设置监控Map与Reduce程序的JobTracker任务分配情况以及TaskTracker任务运行的情况, Hadoop提供了设置的模板文件
    1. sudo cp /usr/local/hadoop/etc/hadoop/mapred-site.xml.template /usr/local/hadoop/etc/hadoop/mapred-site.xml
    2. sudo vim /usr/local/hadoop/etc/hadoop/mapred-site.xml
    3. 在<configuration></<configuration>里添加
<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>
  1. 设置hdfs-site.xml, 用于设置HDFS分布式文件系统
    1. sudo vim /usr/local/hadoop/etc/hadoop/hdfs-site.xml
    2. 在<configuration></<configuration>里添加
<property>
    <name>dfs.replication</name>
    <value>3</value>
</property>

<property>
    <name>dfs.namenode.name.dir</name>
    <value>file:/usr/local/hadoop/hadoop_data/hdfs/namenode</value>
</property>

<property>
    <name>dfs.datanode.data.dir</name>
    <value>file:/usr/local/hadoop/hadoop_data/hdfs/datanode</value>
</property>

默认的blocks副本备份数量是每一个文件在其他node的备份数量, 默认值为3

创建并格式化HDFS目录

  1. 创建namenode数据存储目录
    1. sudo mkdir -p /usr/local/hadoop/hadoop_data/hdfs/namenode
  2. 创建datanode数据存储目录
    1. sudo mkdir -p /usr/local/hadoop/hadoop_data/hdfs/datanode
  3. 将Hadoop目录的所有者更改为hduser
    1. sudo chown hduser:hduser -R /usr/local/hadoop/

格式化HDFS

hadoop namenode -format

启动Hadoop

  1. 启动HDFS
    1. start-dfs.sh
  2. 启动Hadoop MapReduce框架Yarn
    1. start-yarn.sh
  3. 同时启动(可以跳过1,2)
    1. start-all.sh

Hadoop集群

设置data1服务器

  1. 编辑interfaces网络配置文件
    1. sudo vim /etc/network/interfaces
    2. 我们必须设置data1虚拟主机每次开机都是使用固定IP:192.168.56.101
    3. 设置网卡1
      1. 设置为’NAT网卡’, 可以通过Host主机连接至外部网络(internet), 设置为eth0, 并设置dhcp自动获取ip地址
    4. 设置网卡2
      1. 设置为’仅主机(Host-Only)适配器’, 用于建立内部网络, 内部网络连接虚拟主机(master, data1, data2, data3)与Host主机. 设置为eth1, 并设置为static, 即指定固定ip
# 网卡1
# NAT interface
auto eth0		# eth0是教程里的网卡名, 实际上填写自己的网卡名
iface eth0 inet dhcp

# 网卡2
# host only interface
auto eth1
iface eth1 inet static
address		192.168.56.101
netmask		255.255.255.0
network		192.168.56.0
broadcast	192.168.56.255
  1. 设置hostname
    1. sudo vim /etc/hostname
    2. 设置为data1
  2. 编辑hosts文件
    1. sudo vim /etc/hosts
192.168.56.100 master
192.168.56.101 data1
192.168.56.102 data2
192.168.56.103 data3
  1. 编辑core-stie.xml
    1. 修改HDFS默认名称(master)
    2. sudo vim /usr/local/hadoop/etc/hadoop/core-site.xml
<property>
    <name>fs.default.name</name>
    <value>hdfs://master:9000</value>
</property>
  1. 编辑YARN-site.xml
    1. sudo vim /usr/local/hadoop/etc/hadoop/yarn-site.xml
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>
<property>
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>


<property>
    <name>yarn.resourcemanager.resource-tracker.address</name>
    <value>master:8025</value>
</property>
<property>
    <name>yarn.resourcemanager.scheduler.address</name>
    <value>master:8030</value>
</property>
<property>
    <name>yarn.resourcemanager.address</name>
    <value>master:8050</value>
</property>
  1. 编辑mapred-site.xml
    1. sudo vim /usr/local/hadoop/etc/hadoop/mapred-site.xml
<property>
    <name>mapred.job.tracker</name>
    <value>master:54311</value>
</property>
  1. 修改hdfs-site.xml
    1. sudo vim /usr/local/hadoop/etc/hadoop/hdfs-site.xml
<property>
    <name>dfs.replication</name>
    <value>3</value>
</property>

<property>
    <name>dfs.datanode.data.dir</name>
    <value>file:/usr/local/hadoop/hadoop_data/hdfs/datanode</value>
</property>

设置data2服务器

第一步, sudo vim /etc/network/interfaces变成192.168.56.102
第二步, sudo vim /etc/hostname更改为data2

设置data3服务器

第一步, 变成192.168.56.103
第二步, 更改为data3

设置master服务器

第一步, 变成192.168.56.100
第二步, 更改为master
第七步, sudo vim /usr/local/hadoop/etc/hadoop/hdfs-site.xml只改动下面那个

<property>
    <name>dfs.datanode.data.dir</name>
    <value>file:/usr/local/hadoop/hadoop_data/hdfs/namenode</value>
</property>
  1. 编辑master文件
    1. sudo vim /usr/local/hadoop/etc/hadoop/masters
      1. 更改为master
  2. 编辑slaves文件
    1. sudo vim /usr/local/hadoop/etc/hadoop/slaves
data1
data2
data3

创建data1, data2, data3的HDFS目录

  1. 删除HDFS所有目录
    1. sudo rm -rf /usr/local/hadoop/hadoop_data/hdfs
  2. 创建DataNode存储目录
    1. mkdir -p /usr/local/hadoop/hadoop_data/hdfs/datanode
  3. 将目录的所有者改为hduser
    1. sudo chown -R hduser:hduser /usr/local/hadoop

创建并格式化NameNode HDFS

  1. 删除之前的HDFS目录
    1. sudo rm -rf /usr/local/hadoop/hadoop_data/hdfs
  2. 创建NameNode目录
    1. mkdir -p /usr/local/hadoop/hadoop_data/hdfs/namenode
  3. 将目录的所有者更改为hduser
    1. sudo chown -R hduser:hduser /usr/local/hadoop
  4. 格式化NameNode HDFS目录
    1. hadoop namenode -format
  5. 启动Hadoop集群
    1. start-dfs.sh
    2. start-YARN.sh
    3. 或start-all.sh
    4. 关闭hadoop集群stop-all.sh

Hadoop HDFS命令

命令说明
hadoop fs -mkdir -p HDFS路径创建多级HDFS目录
hadoop fs -ls -R HDFS路径一次查看所有HDFS目录
hadoop fs -copyFromLocal 本地 HDFS路径复制本地文件到HDFS
hadoop fs -put 本地 HDFS路径强制覆盖本地文件到HDFS(忽略已存在文件, 并且可以接受stdin, 比如管道输出)
hadoop fs -cat HDFS路径列出HDFS目录下的文件内容
hadoop fs -copyToLocal HDFS路径 本地路径从HDFS上拷贝文件到本地路径
hadoop fs -get HDFS路径 本地路径从HDFS上拷贝文件强制到本地路径(忽略已存在路径)
hadoop fs -cp HDFS路径 HDFS路径复制HDFS文件
hadoop fs -rm -R HDFS路径删除HDFS文件
葬爱程序员
关注
专栏目录
handoop安装（centos6.5+HDFS+YARN）
csdn_flying97的博客
06-03 1176
Hadoop安装并分为以下几个步骤： 1 准备阶段--hadoop软件安装包(rpm,tar.gz)，jdk安装包/系统自带jdk 2.解压安装：tar zxcfhadoop2.7.1.tar.gz 3.修改配置文件：文件目录--  /home/zq/soft/hadoop-2.7.1/etc/hadoop 更改主机名：sudo gedit /etc/sysconfig/network
Hadoop下载 hadoop-2.9.2.tar.gz
07-06
Hadoop 是一个处理、存储和分析海量的分布式、非结构化数据的开源框架。最初由 Yahoo 的工程师 Doug Cutting 和 Mike Cafarella Hadoop 是一个处理、存储和分析海量的分布式、非结构化数据的开源框架。最初由 Yahoo...
Hadoop介绍
weixin_34236497的博客
05-18 228
Hadoop  优点: 　　Hadoop 是一个能够对大量数据进行分布式处理的软件框架。但是 Hadoop 是以一种可靠、高效、可伸缩的方式进行处理的。Hadoop 是可靠的，因为它假设计算元素和存储会失败，因此它维护多个工作数据副本，确保能够针对失败的节点重新分布处理。Hadoop 是高效的，因为它以并行的方式工作，通过并行处理加快处理速度。Hadoop 还是可伸缩的，能够处理...
hadoop exporter编译
最新发布
longxibo的博客
10-11 740
hadoop exporter编译
Hadoop到底能做什么？怎么用hadoop？
lykangjia的专栏
02-10 3539
hadoop是什么？ (1)Hadoop是一个开源的框架，可编写和运行分不是应用处理大规模数据，是专为离线和大规模数据分析而设计的，并不适合那种对几个记录随机读写的在线事务处理模式。Hadoop=HDFS（文件系统，数据存储技术相关）+ Mapreduce（数据处理），Hadoop的数据来源可以是任何形式，在处理半结构化和非结构化数据上与关系型数据库相比有更好的性能，具有更灵活的处理能力，不管任
Hadoop 简介
热门推荐
weixin_45967421的博客
10-10 4万+
hadoop 特点 扩容能力 能可靠(reliably)地存储和处理PB级别的数据。如果数据量更大，存储不下了,再增加节点就可以了。 成本低 可以通过普通机器组成的服务器集群来分发以及处理数据.这些服务器集群可达数千个节点。 高效率 通过分发计算程序,hadoop可以在数据所在节点上(本地)并行地(parallel)处理他们,这使得处理非常的迅速 可靠性 hadoop能够自动地维护数据的多份副本,并且在任务失败后能够自动地重新部署(redeploy)计算任务. hadoop 是一个适合海量数据的分布式存储和
Hadoop下载 hadoop-3.3.3.tar.gz
07-06
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不...
基于Hadoop的电影影评数据分析
04-04
【基于Hadoop的电影影评数据分析】是一项大数据课程的大作业，旨在利用Hadoop的分布式处理能力来分析电影影评数据。Hadoop是一个由Apache软件基金会开发的开源框架，专为处理和存储大规模数据而设计。它由四个核心...
hadoop-3.3.6.tar.gz - hadoop 3.3.6 安装包
07-19
文件名: hadoop-3.3.6.tar.gz 这是 Hadoop 3.3.6 版本的安装包(即二进制版,不是源码)，文件格式为 tar.gz,解压后直接使用. Hadoop 是一个由 Apache 基金会所开发的分布式系统基础架构，用户可以在不了解分布式底层...
hadoop-3.3.4 版本（最新版）
12-14
Apache Hadoop （hadoop-3.3.4.tar.gz）项目为可靠、可扩展的分布式计算开发开源软件。官网下载速度非常缓慢，因此将hadoop-3.3.4 版本放在这里，欢迎大家来下载使用！ Hadoop 架构是一个开源的、基于 Java 的编程...
Hadoop--海量文件的分布式计算处理方案
happysofter的专栏
02-09 1297
作者：江南白衣，原文出处：http://www.blogjava.net/calvin/archive/2007/02/08/98688.html，转载请保留。     Hadoop 是Google MapReduce的一个Java实现。MapReduce是一种简化的分布式编程模式，让程序自动分布到一个由普通机器组成的超大集群上并发执行。就如同java程序员可以不考虑内存泄露一样， Map
Hadoop
Boxing_Champion的博客
03-13 2898
hadoop优势： 高可靠性：Hadoop底层维护多个数据副本，所以即使Hadoop某个计算元素或存储出现故障，也不会导致数据的丢失。 高扩展性：在集群间分配任务数据，可方便的扩展数以千计的节点。 高效性：在MapReduce的思想下，Hadoop是并行工作的，以加快任务处理速度。 高容错性：能够自动将失败的任务重新分配。 hadoop组成： HDFS： HDFS（Hadoop Distributed File System），它是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是.
Hadoop权威指南
"Hadoop.The.Definitive.Guide" 《Hadoop：权威指南》是由Tom White编写的关于Hadoop技术的详细教程。这本书是Hadoop学习者的必备参考书，旨在为读者提供全面深入的Hadoop知识。书中涵盖了Hadoop生态系统的核心组件...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

葬爱程序员

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值