![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop大数据集群技术
文章平均质量分 93
凉城凉心凉忆悲
运维工程师使用的运维平台和工具包括:
Web服务器:apache、tomcat、nginx、lighttpd
监控:nagios、ganglia、cacti、zabbix
自动部署:ansible、sshpt、salt
配置管理:puppet、cfengine
负载均衡:lvs、haproxy、nginx
传输工具:scribe、flume
备份工具:rsync、wget
数据库:mysql、oracle、sqlserver
分布式平台:hdfs、mapreduce、spark、storm、hive
分布式数据库:hbase、cassandra、redis、MongoDB
容器:lxc、doc
展开
-
HIVE 双机集群HA-部署
HIVE双机HA-部署1.1、系统环境初始化防火墙关闭:server iptables stopchkconfig iptables off selinux关闭: 用户创建:vim yonghu.txthbase hdfs hive impala Impala kudu Kudu spark wxl zookeeper #!/bin/sh原创 2018-01-10 15:20:16 · 1077 阅读 · 0 评论 -
CDH集群离线部署
CDH集群部署 离线安装CDH-5.7.5版本关于CDH和Cloudera ManagerCDH (Cloudera's Distribution, including Apache Hadoop),是Hadoop众多分支中的一种,由Cloudera维护,基于稳定版本的Apache Hadoop构建,并集成了很多补丁,可直接用于生产环境。Cloudera原创 2018-01-10 15:10:17 · 951 阅读 · 0 评论 -
Hadoop集群部署2.7
Hadoop集群部署原理一、Hadoop技术原理Hdfs主要模块:NameNode、DataNodeYarn主要模块:ResourceManager、NodeManager常用命令:1)用hadoop fs 操作hdfs网盘,使用Uri的格式访问(URI格式:secheme://authority/path ,默认是hdfs://namenode:namenod原创 2018-01-10 15:13:26 · 282 阅读 · 0 评论 -
hbase集群部署1.0.3
hbase部署HBase简介HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBase技术可在廉价PC Server上搭建大规模结构化的存储集群。HBase的目标是存储并处理大型数据,具体来说是仅需使用普通的硬件配置,就能够处理由成千上万的行和列所组成的大型数据。设计思路:HBase是一个分布式的数据库,使用Zookeeper管理集群,使用HDFS原创 2018-01-10 15:14:13 · 230 阅读 · 0 评论 -
zookeeper集群部署3.4.6
zk部署原理ZooKeeper是一个分布式开源框架,提供了协调分布式应用的基本服务,它向外部应用暴露一组通用服务——分布式同步(Distributed Synchronization)、命名服务(Naming Service)、集群维护(Group Maintenance)等,简化分布式应用协调及其管理的难度,提供高性能的分布式服务。ZooKeeper本身可以以Standalo原创 2018-01-10 15:14:39 · 9163 阅读 · 1 评论 -
Spark集群部署2.X
Spark部署原理Spark本身是Master/Slaves结构的,有一个中心节点(Master),Master负责Spark集群的资源调度和分配。其余的是Worker。Worker管理单个节点上的资源状况。这里说的资源主要指CPU、内存,当然也包括disk IO,网络IO等。在生产环境下,由于Spark集群是Master/Slaves结构的,所以一定存在单点故障。就是说Mas原创 2018-01-10 15:15:24 · 301 阅读 · 0 评论 -
kafka单机安装2.8.0
kafka本地单机安装部署原理Kafka是一款分布式消息发布和订阅的系统,具有高性能和高吞吐率。1、 消息的发布称为 producer,即生产者。消息的订阅称作 consumer,即消费者。一台 kafka服务器就是一个broker。一个集群由多个broker组成。2、Producer和broker之间没有负载均衡机制。broker和consumer之间利用zook原创 2018-01-10 15:16:12 · 3157 阅读 · 2 评论 -
HDFS双机集群HA-部署
HDFS双机HA-部署1.1、系统环境初始化防火墙关闭:server iptables stopchkconfig iptables off selinux关闭: 用户创建:vim yonghu.txthbase hdfs hive impala Impala kudu Kudu spark wxl zookeeper #!/bin/sh原创 2018-01-10 15:18:33 · 574 阅读 · 0 评论 -
HBASE双机集群HA-部署
HBASE双机HA-部署1.1、系统环境初始化防火墙关闭:server iptables stopchkconfig iptables off selinux关闭: 用户创建:vim yonghu.txthbase hdfs hive impala Impala kudu Kudu spark wxl zookeeper #!/bin/sh原创 2018-01-10 15:19:34 · 1130 阅读 · 0 评论 -
ambari本地源自动化安装
ambari本地源自动化安装hortonworks hadoop环境配置HostnameIPOSAmbari192.168.174.174Centos X64 base installMaste.hadoop192.168.174.175Cento原创 2018-01-08 18:16:36 · 2878 阅读 · 0 评论