大数据生态圈
文章平均质量分 95
记录大数据生态圈组件学习、使用过程和经验
一花一世界~
记录学习、使用过程和经验,希望能对您有所帮助!
展开
-
记一次 Centos7.x Hadoop3.x 集群安装部署 Flume v1.9.0
基本信息官网http://flume.apache.org/(1):Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。(2):Flume可以采集文件,socket数据包等各种形式源数据,又可以将采集到的数据输出到HDFS、hbase、hive、kafka等众多外部存储系统中(3):一般的采集需求,通过对flume的简单配置即可实现(4):Flume针对特殊场景也具备良好的自定义扩展能力,因此,flume可以适用于大部分的日常数据采集场景Flume是一个分布式、可靠、高可用原创 2021-01-26 00:31:11 · 789 阅读 · 0 评论 -
记一次 Centos7.x 安装部署 Hue
https://gethue.com/https://github.com/cloudera/hue[root@master ~]# yum install -y git[root@master ~]# cd /usr/bigdata/[root@master bigdata]# git clone https://github.com/cloudera/hue.git[root@master ~]# cd /usr/bigdata/hue[root@master ~]# cd /usr.原创 2020-12-29 15:23:02 · 758 阅读 · 0 评论 -
记一次 Hadoop Hive 集群 新建 Hive 表
一hive (default)> show databases;OKdatabase_namedb_testdefaultTime taken: 0.667 seconds, Fetched: 2 row(s)hive (default)> use db_test;OKTime taken: 0.037 secondshive (db_test)> create table students(id int,name string,age int);OKTime原创 2020-12-23 12:16:14 · 635 阅读 · 0 评论 -
记一次 Centos7.x 搭建部署 Hive 3.1.2 分布式集群
操作目的基础集群安装基于 Hadoop 3.x 集群搭建部署 HiveHive 分布式集群部署[root@slave1 ~]# scp -r /usr/bigdata/apache-hive-3.1.2-bin root@slave2:/usr/bigdata/[root@slave1 ~]# scp -r /usr/bigdata/apache-hive-3.1.2-bin root@slave3:/usr/bigdata/[root@slave1 ~]# cat /etc/profilee原创 2020-12-23 09:50:10 · 1268 阅读 · 0 评论 -
记一次 Centos7.x 基于 Hadoop 3.x 集群搭建部署 Hive
编写目的:提示:这里可以添加学习目标例如:一周掌握 Java 入门知识学习内容:提示:这里可以添加要学的内容例如:1、 搭建 Java 开发环境2、 掌握 Java 基本语法3、 掌握条件语句4、 掌握循环语句学习时间:提示:这里可以添加计划学习的时间例如:1、 周一至周五晚上 7 点—晚上9点2、 周六上午 9 点-上午 11 点3、 周日下午 3 点-下午 6 点学习产出:提示:这里统计学习计划的总量例如:1、 技术笔记 2 遍2、CSDN 技术博客原创 2020-12-22 12:50:44 · 1227 阅读 · 0 评论 -
记一次 Centos7.4 编译安装 Kafka-manager(v2.0.0.2)(Kafka集群可视化管理)
一、基本信息说明下载地址https://github.com/yahoo/kafka-manager/releases二、系统、工具配置信息1、系统版本:CentOS-7-x86_64-Minimal-1708 2、工具:xshell53、VMware 版本:VMware Workstation Pro15三、安装部署1、安装基本工具[root@localh...原创 2019-07-01 14:30:51 · 2189 阅读 · 0 评论 -
记一次 Centos7.4 搭建 Kafka 集群 (v2.12-2.3.0)
一、基本信息说明官网:http://kafka.apache.org快速开始:http://kafka.apache.org/quickstart官网下载:http://kafka.apache.org/downloads http://apache.fayea.com/kafka/中文文档:http://kafka.apachecn.org/W3CSchool:https...原创 2019-07-01 13:18:40 · 1921 阅读 · 0 评论 -
记一次 Centos7.4 搭建 Hadoop 3.2.0(HA) YARN(HA)集群
一、基本信息官网 http://hadoop.apache.org/快速入门 http://hadoop.apache.org/docs/r1.0.4/cn/quickstart.html在线文档 http://tool.oschina.net/apidocs/apidoc?api=hadoop易百教程 https://www.yiibai.com/hadoop/W3C...原创 2019-07-09 09:04:21 · 1561 阅读 · 0 评论 -
Ambari 安装常见问题
QQ交流群:64655993文章转自:https://blog.csdn.net/xfg0218/article/details/78067541hortonworks问题总结:https://community.hortonworks.com/questions/118453/ambari-not-using-available-repos.html?page=2&pageSi...转载 2018-12-28 09:46:57 · 5025 阅读 · 0 评论 -
完全卸载HDP和Ambari
QQ交流群:64655993文章转载自:https://blog.csdn.net/github_38358734/article/details/79029692简介: 在不需要重装操作系统的情况下完全卸载HDP,并准备好自动安装HDP2.6的环境。文章: 升级HDP失败后,我被迫彻底清除HDP 2.4,Ambari 2.5并安装HDP 2.6。 我想避免重新安装操作系统,所以执...转载 2018-12-28 09:45:00 · 724 阅读 · 0 评论 -
Flink Configuration简介
QQ交流群:64655993转发自:https://blog.csdn.net/lmalds/article/details/53736836本文主要翻译自官方文档中Configuration的部分:Flink1.1.3 configuration。Common Optionsenv.java.home : java安装路径,如果没有指定则默认使用系统的$JAVA_HOME环境变...转载 2019-01-02 10:11:01 · 8361 阅读 · 0 评论 -
CentOS7.5搭建Flink1.6.1分布式集群
转发自:https://www.cnblogs.com/frankdeng/p/9400627.html一. Flink的下载安装包下载地址:http://flink.apache.org/downloads.html ,选择对应Hadoop的Flink版本下载[admin@node21 software]$ wget http://mirrors.tuna.tsinghua....转载 2018-12-29 14:06:22 · 814 阅读 · 0 评论 -
基于Ambari2.5 Centos 6 安装 Flink
QQ交流群:64655993说明:以下使用的主机名以及文件版本和放置路径仅做参考,实际操作以当前环境为主! 希望能对您有所帮助!1、安装一些基础的工具(每个节点均安装)[root@node1 ~]# yum install -y vim lrzsz wget tree net-tools2、JDK安装(本环境使用JDK 1.8 x64)安装过程: h...原创 2019-01-02 14:12:12 · 3225 阅读 · 0 评论 -
kafka 学习 非常详细的经典教程
一、基本概念介绍Kafka是一个分布式的、可分区的、可复制的消息系统。它提供了普通消息系统的功能,但具有自己独特的设计。这个独特的设计是什么样的呢?首先让我们看几个基本的消息系统术语:Kafka将消息以topic为单位进行归纳。将向Kafka topic发布消息的程序成为producers.将预订topics并消费消息的程序成为consumer.Kafka以集群的方式运行,可以由一...转载 2018-12-29 21:47:10 · 436 阅读 · 0 评论 -
Hadoop集群中添加硬盘
本文转发自:https://www.cnblogs.com/whtydn/p/4331733.htmlHadoop工作节点扩展硬盘空间接到老板任务,Hadoop集群中硬盘空间不够用,要求加一台机器到Hadoop集群,并且每台机器在原有基础上加一块2T硬盘,老板给力啊,哈哈。这些我把完成这项任务的步骤和我遇到的问题和解决方法总结一下,分享给大家。1. 首先,介绍一下用到的基本命...转载 2019-01-03 17:04:03 · 692 阅读 · 0 评论 -
Flume基本环境搭建以及原理
系统:CentOS6.5JDK:1.8.0_144Flume:flume-ng-1.6.0-cdh5.12.0一、什么是Flume flume 作为 cloudera 开发的实时日志收集系统,受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume OG(original generation),属于 cloudera。但随着 FLume 功能的扩展,Flume...转载 2018-12-29 17:25:41 · 665 阅读 · 0 评论 -
Hbase 基础
2006 年10 月Google 发布三架马车之一的《Bigtable:A Distributed Storage System for Strctured Data》论文之后,Powerset 公司就宣布 HBase 在 Hadoop 项目中成立,作为子项目存在。后来,在2010 年左右逐渐成为 Apache 旗下的一个顶级项目。可能是实际应用中包装得太好,很多人对于 HBase 的认识止步于 ...转载 2019-04-19 21:50:58 · 285 阅读 · 0 评论