![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
Daw3on
崇拜是距离了解最遥远的感情
展开
-
Hadoop高可用HA搭建
hadoop2.0已经发布了稳定版本了,增加了很多特性,比如HDFS HA、YARN等。最新的hadoop-2.6.4又增加了YARN HA 注意:apache提供的hadoop-2.6.4的安装包是在32位操作系统编译的,因为hadoop依赖一些C++的本地库, 所以如果在64位的操作上安装hadoop-2.6.4就需要重新在64操作系统上重新编译 1.修改Linux主机名 2.修改IP 3.修改主机名和IP的映射关系 /etc/hosts ######注意######如果你们公司是租用的服务器或是使用的原创 2020-12-21 10:03:18 · 220 阅读 · 0 评论 -
nginx 负载均衡
一 准备条件 三台虚拟机 nginx 192.168.137.5 Tomcat 192.168.137.6 Tomcat 192.168.137.7 配置 IP hostname 关闭防火墙 其中两台启动tomcat 部署项目 第三台安装nginx 安装nginx: 1: 安装:缺少GCC编辑器: yum -y install pcre* yum -y install openssl* yum -y install gcc yum -y install gcc-c++ yum -原创 2020-12-21 09:53:30 · 181 阅读 · 0 评论 -
Hadoop 集群搭建(3)
hadoop基本配置。 1三台主机。 192.168.137.44 master MAC地址不同 192.168.137.45 server01 MAC地址不同 192.168.137.46 server02 MAC地址不同 1.1主机配置: 1.1.1IP地址 #vi /etc/sysconfig/network-scripts/ifcfg-eth0 重启网卡: #service network restart 查看网卡 #ifconfig原创 2020-12-03 17:52:55 · 148 阅读 · 0 评论 -
Hadoop核心模块——HDFS详解(2)
1.HDFS前言 2.HDFS( Hadoop distributed File System ) 设计思想 分而治之:将大文件、大批量文件,分布式存放在大量服务器上,以便于采取分而治之的方式对海量数据进行运算分析; 在大数据系统中作用: 为各类分布式运算框架(如:mapreduce,spark,hive , tez,……)提供数据存储服务 重点概念:文件切块,副本存放,元数据 HDFS的概念和特性 首先,它是一个文件系统,用于存储文件,通过统一的命名空间——目录树来定位文件 其次,它是原创 2020-12-03 17:47:18 · 469 阅读 · 0 评论 -
Hadoop 入门 基础概念及讲解(1)
1.1 什么是HADOOP 1.HADOOP是apache旗下的一套开源软件平台 2.HADOOP提供的功能:利用服务器集群,根据用户的自定义业务逻辑,对海量数据进行分布式处理 3.HADOOP的核心组件有 A.HDFS(分布式文件系统) B.YARN(运算资源调度系统) C.MAPREDUCE(分布式运算编程框架) 4.广义上来说,HADOOP通常是指一个更广泛的概念——HADOOP生态圈 1.2 HADOOP产生背景 1.HADOOP最早起源于Nutch。Nutch的设计目标是构建一个大型的全网搜索引擎原创 2020-12-03 17:42:17 · 331 阅读 · 0 评论