Hadoop-2.5.0-cdh5.3.2 搭建单机伪分布

最新推荐文章于 2022-02-02 16:00:28 发布
最新推荐文章于 2022-02-02 16:00:28 发布
阅读量3.9k 收藏 1
点赞数
分类专栏： Hadoop学习专辑
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u011414200/article/details/49245579
版权
本文详细介绍了如何在CentOS6.5系统中，使用open-jdk-1.7.0_45搭建Hadoop-2.5.0-cdh5.3.2的单机伪分布环境。内容包括创建hadoop用户、网络与JAVA配置、SSH免密码登陆，以及Hadoop的下载、解压、配置和启动过程。特别地，文章提到了在没有本地库文件的情况下，通过编译Hadoop-2.5.0-cdh5.2.0或直接下载资源来解决这一问题。
摘要由CSDN通过智能技术生成

搭建环境介绍

  • 系统为 Centos6.5 （影响不大）
  • JDK 为open-jdk-1.7.0_45
  • 在 hadoop 用户权限下完成
  • IP 地址为 10.6.2.102
  • hadoop 软件压缩包位于 /home/hadoop/softwares
  • hadoop 解压之后安装于 /home/hadoop/
  • -

配置安装环境

配置 Hadoop

从官网上下载 Hadoop-2.5.0-cdh5.3.2.tar.gz : http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.5.0-cdh5.3.2-src.tar.gz

解压 hadoop 压缩包：

tar -zxvf /home/hadoop/softwares/Hadoop-2.5.0-cdh5.3.2.tar.gz   -C /home/hadoop/

通过查看可得知目录结构：

这里写图片描述

图中的 /etc 目录即为 Apache Hadoop 里的 /conf 目录

修改一系

最低0.47元/天 解锁文章
该昵称已经被占用
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hadoop cdh5单机安装
zwf1732289600的专栏
03-21 2856
1，安装jdk     解压：tar -zvxf jdk-7u51-linux-x64.gz     配置环境变量：vi /etc/profile             添加： JAVA_HOME=/opt/beh/jdk1.7.0_51                         PATH=$PATH:$JAVA_HOME/bin     重新加载环境变量：source /etc
手把手教Hadoop环境搭建，学不会你咬我～
程序IT圈
11-28 339
之前后台小伙伴私信我想了解hadoop的单机环境安装，以方便用于hadoop学习，今天给大家安排上了，废话不多说，直接上干货。目录前置条件配置 SSH 免密登录Hadoop(HDFS)环...
初识Hadoop之Hadoop单机版搭建
myhome
11-19 3231
Hadoop，集群，单机
centos 安装 CDH（2020-10-31）
尤托匹亚的博客
10-31 532
CDH单机版安装 机器的磁盘分配至少100G 机器的内存分配至少8G 机器的核数至少4个核 配置主机名 域名映射 /etc/hostname /etc/hosts 配置免密 ssh-keygen ssh-copy-id doit 配置ip地址 /etc/sysconfig/network-scripts/ifcfig-ens33 IPADDR GATEWAY NERMASK DNS1 关闭防火墙 *** systemctl stop|disable|status firewalld 时
hadoop单机搭建
lydia88的专栏
02-01 1311
hadoop平台搭建有三种：单机，伪分布式，完全分布式，本篇文章主要介绍单机搭建。 总共三步： 1.配置JDK  将下载后的目录解压到 /opt/Java/目录下（Java目录自己创建： sudo mkdir /opt/Java) 解压命令： sudo tar -zxvf jdk1.8.0_161.tar.gz  配置： sudo gedit /etc/profile  添加配置信息：
hadoop-2.5.0-cdh5.3.6集群搭建-附件资源
03-05
hadoop-2.5.0-cdh5.3.6集群搭建-附件资源
hadoop-2.5.0-cdh5.3.6-src.rar
最新发布
03-01
hadoop-2.5.0-cdh5.3.6-src.rarhadoop-2.5.0-cdh5.3.6-src.rarhadoop-2.5.0-cdh5.3.6-src.rarhadoop-2.5.0-cdh5.3.6-src.rarhadoop-2.5.0-cdh5.3.6-src.rarhadoop-2.5.0-cdh5.3.6-src.rarhadoop-2.5.0-cdh5.3.6-src....
编译hadoop-2.5.0-cdh5.3.6 + snappy 源码的native包
12-20
本文将详细讲解如何在CentOS 6.5系统上编译Hadoop 2.5.0 - CDH5.3.6与Snappy的源码，以生成适用于该环境的native库。 首先，我们要了解Hadoop的native库是什么。Hadoop的native库是一组C++编译的库，它们提供了与...
hadoop-2.5.0-cdh5.3.6 编译native包
06-07
标题提到的“hadoop-2.5.0-cdh5.3.6 编译native包”正是这个过程的实践，它涉及到对特定版本的Hadoop（CDH5.3.6）进行编译，以便在CentOS 6.5操作系统上构建和使用本地库。 Hadoop的native库是一组用C和C++编写的库...
大数据学习系列之一 ----- Hadoop环境搭建(单机)
热门推荐
虚无境的博客
11-26 1万+
一、环境选择1，服务器选择阿里云服务器:入门型(按量付费) 操作系统:linux CentOS 6.8 Cpu：1核 内存：1G 硬盘:40G ip:39.108.77.250 2，配置选择JDK:1.8 （jdk-8u144-linux-x64.tar.gz） Hadoop:2.8.2 (hadoop-2.8.2.tar.gz)3，下载地址官网地址: JDK：
大数据-Hadoop环境搭建(单机)
09-18
大数据-Hadoop环境搭建(单机)文档，供大家参考学习使用！，附详细安装配置过程，以及问题处理等
Hadoop99：大数据平台安装部署--CDH6.2版本单机
weixin_40612128的博客
02-02 3043
一、CDH介绍 CDH 是一个拥有集群自动化安装、中心化管理、集群监控、报警功能的一个工具（软件），使得集群的安装可以从几天的时间缩短为几个小时，运维人数也会从数十人降低到几个人，极大的提高了集群管理的效率。 二、本地单机安装测试，资源有限 操作系统：CentOS7.5 内存：8g 硬盘 ：80G cpu：2core ...
大数据平台搭建------CDH单机部署
一个编码爱好者的博客
04-27 1978
转载https://blog.csdn.net/sinat_32176947/article/details/79591449?utm_source=blogxgwz3 一、部署前的准备 1、检查jdk是否安装：参考jdk安装配置文档（jdk7或jdk8，所有节点都要一致） 2、兼容性建议：CentOS6.8+CDH5.11.x(x>1)+mysql5.x+jdk1.7u80 ...
Hadoop集群单机版搭建
ningyunrui的博客
10-22 306
1.准备 Java和hadoop环境都已经配置好 2.修改主机名和ip映射 vi /etc/hosts 192.168.233.128 zhiyou 3.修改配置文件 注意：hadoop2.x的配置文件$HADOOP_HOME/etc/hadoop /usr/hadoop/hadoop-2.7.3/etc/hadoop 伪分布式需要修改5个配置文件 3.1配置hadoop 3.1. 第一...
大数据：Hadoop：单机搭建(2.0+)
Dr.Pandora's Box
08-26 594
一、Linux准备 1.1虚拟机vmnet1配置 host-only 192.168.8.88 255.255.255.0 1.2修改ip 192.168.8.101 255.255.255.0 1.3修改主机名 vim /etc/sysconfi...
cdh-5.16.1单机安装
weixin_39063426的博客
04-04 498
1.固定ip，ping www.baidu.com是否通，修改hosts和hostname，重启服务，修改hosts的时候，不要删除127.0..0.1，否则启动的时候报错 2.安装jdk配置环境变量，在安装jdk之前，删除卸载openjdk 3.安装mysql，切换到mysql数据库，创建需要的数据库和复制权限 4.安装linux所需要的命令 yum -y install psmisc gcc python-devel cyrus-sasl* 5.上传mysql驱动，并且要修改驱动不带版本..
阿里云上cdh5 hbase搭建（单机版）
linz的博客
08-28 693
一、简介 HBase是一种构建在HDFS之上的分布式、面向列的存储系统。在需要实时读写、随机访问超大规模数据集时，可以使用HBase。 尽管已经有许多数据存储和访问的策略和实现方法，但事实上大多数解决方案，特别是一些关系类型的，在构建时并没有考虑超大规模和分布式的特点。许多商家通过复制和分区的方法来扩充数据库使其突破单个节点的界限，但这些功能通常都是事后增加的，安装和维护都和复杂。同时，也会影...
cdh hadoop2单机安装
hadoop
10-29 1234
cdh hadoop2单机安装tar安装hadoop2软硬件准备 准备硬件（linux） 准备软件安装包，并安装基础软件（主要jdk） 将hadoop安装包分发到各个节点的同一个目录下，并解压 修改配置文件 启动服务 验证是否启动成功 http://archive.cloudera.com/cdh5/cdh/5/hdfs安装方式启动Namenode 在各个JournalNode节点上，输入以下命令启
CDH单机版搭建
qq_40919536的博客
04-08 3765
1.centos7查看ip命令 先将/etc/sysconfig/network-scripts/ifcfg-eno16777736下的 ONBOOT=no改为：ONBOOT=yes 重启服务 service network restart 用ip addr 方式查看 2.设置静态ip： 参考地址：https://www.cnblogs.com/hongdada/p/666693...
/hadoop-2.5.0/lib/native中没有文件，操作系统为centOS 6
06-02
在 CentOS 6 中，您需要安装一些必要的依赖项和工具来编译 Hadoop 的本地库文件。您可以尝试运行以下命令安装这些依赖项： ``` sudo yum install gcc gcc-c++ autoconf automake libtool cmake zlib-devel openssl-devel krb5-devel ``` 安装完成后，您可以进入 Hadoop 源代码目录中的 `hadoop-common-project/hadoop-common/src/native` 目录，运行以下命令来编译本地库文件： ``` mvn package -Pdist,native -DskipTests -Dtar ``` 编译完成后，您可以在 `hadoop-common-project/hadoop-common/target/native` 目录中找到编译好的本地库文件。将这些文件复制到 Hadoop 的 `lib/native` 目录中即可。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值