hadoop
Daw3on
崇拜是距离了解最遥远的感情
展开
-
Hadoop高可用HA搭建
hadoop2.0已经发布了稳定版本了,增加了很多特性,比如HDFS HA、YARN等。最新的hadoop-2.6.4又增加了YARN HA注意:apache提供的hadoop-2.6.4的安装包是在32位操作系统编译的,因为hadoop依赖一些C++的本地库,所以如果在64位的操作上安装hadoop-2.6.4就需要重新在64操作系统上重新编译1.修改Linux主机名2.修改IP3.修改主机名和IP的映射关系 /etc/hosts######注意######如果你们公司是租用的服务器或是使用的原创 2020-12-21 10:03:18 · 213 阅读 · 0 评论 -
nginx 负载均衡
一 准备条件三台虚拟机nginx 192.168.137.5Tomcat 192.168.137.6Tomcat 192.168.137.7配置 IP hostname 关闭防火墙其中两台启动tomcat 部署项目第三台安装nginx安装nginx:1: 安装:缺少GCC编辑器:yum -y install pcre*yum -y install openssl*yum -y install gccyum -y install gcc-c++yum -原创 2020-12-21 09:53:30 · 174 阅读 · 0 评论 -
Hadoop 集群搭建(3)
hadoop基本配置。1三台主机。192.168.137.44 master MAC地址不同192.168.137.45 server01 MAC地址不同192.168.137.46 server02 MAC地址不同1.1主机配置:1.1.1IP地址#vi /etc/sysconfig/network-scripts/ifcfg-eth0重启网卡:#service network restart查看网卡#ifconfig原创 2020-12-03 17:52:55 · 139 阅读 · 0 评论 -
Hadoop核心模块——HDFS详解(2)
1.HDFS前言2.HDFS( Hadoop distributed File System )设计思想分而治之:将大文件、大批量文件,分布式存放在大量服务器上,以便于采取分而治之的方式对海量数据进行运算分析;在大数据系统中作用:为各类分布式运算框架(如:mapreduce,spark,hive , tez,……)提供数据存储服务重点概念:文件切块,副本存放,元数据HDFS的概念和特性首先,它是一个文件系统,用于存储文件,通过统一的命名空间——目录树来定位文件其次,它是原创 2020-12-03 17:47:18 · 461 阅读 · 0 评论 -
Hadoop 入门 基础概念及讲解(1)
1.1 什么是HADOOP1.HADOOP是apache旗下的一套开源软件平台2.HADOOP提供的功能:利用服务器集群,根据用户的自定义业务逻辑,对海量数据进行分布式处理3.HADOOP的核心组件有A.HDFS(分布式文件系统)B.YARN(运算资源调度系统)C.MAPREDUCE(分布式运算编程框架)4.广义上来说,HADOOP通常是指一个更广泛的概念——HADOOP生态圈1.2 HADOOP产生背景1.HADOOP最早起源于Nutch。Nutch的设计目标是构建一个大型的全网搜索引擎原创 2020-12-03 17:42:17 · 330 阅读 · 0 评论