![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 78
一花一世界~
记录学习、使用过程和经验,希望能对您有所帮助!
展开
-
记一次 Centos7.x 编译打包 Oozie 5.2.0
Centos7.x 安装OpenJDK1.8https://blog.csdn.net/llwy1428/article/details/111144659Centos配置Maven环境https://blog.csdn.net/llwy1428/article/details/86438839[root@master ~]# wget -P /usr/local/ http://archive.apache.org/dist/maven/maven-3/3.6.3/binaries/apache-原创 2021-01-26 17:46:27 · 531 阅读 · 0 评论 -
记一次 Centos7.x Hadoop3.x集群安装部署 Pig 0.17.0
Pig是一个基于Hadoop的大规模数据分析平台,它提供的SQL-LIKE语言叫Pig Latin,该语言的编译器会把类SQL的数据分析请求转换为一系列经过优化处理的MapReduce运算。Pig为复杂的海量数据并行计算提供了一个简单的操作和编程接口。Pig包括两部分:用于描述数据流的语言,称为Pig Latin。用于执行Pig Latin程序的执行环境,当前有两个环境:单JVM中的本地执行环境和Hadoop集群上的分布式执行环境。 Pig内部,每个操作或变换是对输入进行数据处理,然后产生输出结果原创 2021-01-10 13:21:53 · 767 阅读 · 0 评论 -
记一次 基于 Hadpoop 3.3.0 完全分布式集群 Spark 3.0.0 集成 Hive 3.1.2
[root@master ~]# cp /usr/bigdata/apache-hive-3.1.2-bin/conf/hive-site.xml /usr/bigdata/spark-3.0.0-bin-hadoop3.2/conf//usr/bigdata/spark-3.0.0-bin-hadoop3.2/conf[root@master conf]# cp spark-defaults.conf.template spark.conf[root@slave1 ~]# hdfs dfs -mkd原创 2021-01-14 00:46:34 · 1422 阅读 · 1 评论 -
记一次 基于 Hadoop 3.3.0 集群 安装、部署 Nifi 1.12.1
https://www.apache.org/dyn/closer.lua?path=/nifi/1.12.1/nifi-1.12.1-bin.tar.gzhttps://mirror.bit.edu.cn/apache/nifi/1.12.1/nifi-1.12.1-bin.tar.gzhttps://mirrors.bfsu.edu.cn/apache/nifi/1.12.1/nifi-1.12.1-bin.tar.gzhttps://mirrors.tuna.tsinghua.edu.cn/ap原创 2021-01-08 09:41:43 · 651 阅读 · 0 评论 -
记一次 Hadoop 3.3.0 集群 Hive 3.1.2 启动 hiveserver2 连接 jdbc:hive2://localhost:10000
[root@master ~]# vim /usr/bigdata/hadoop-3.3.0/etc/hadoop/core-site.xml <property> <name>hadoop.proxyuser.root.hosts</name> <value>*</value> </property> <propert原创 2021-01-07 20:05:31 · 801 阅读 · 0 评论 -
记一次 Hadoop、Hbase集群中Flume 启动报错 找不到或无法加载主类 org.apache.flume.tools.GetJavaProperty
报错内容错误:找不到或无法加载主类 org.apache.flume.tools.GetJavaProperty如下图:集群背景1、Hadoop 3.3.0 HDFS基础环境(非高可用集群)https://blog.csdn.net/llwy1428/article/details/1111445242、安装部署 Zookeeper 3.6.2 集群https://blog.csdn.net/llwy1428/article/details/1116015673、基于 Hadoop3.3.原创 2021-01-04 11:35:09 · 1509 阅读 · 1 评论 -
记一次 Flume v1.9.0启动报错ERROR - org.apache.flume.sink.hdfs.HDFSEventSink.process(HDFSEventSink.java:459)
报错内容ERROR - org.apache.flume.sink.hdfs.HDFSEventSink.process(HDFSEventSink.java:459)java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument(ZLjava/lang/String;Ljava/lang/Object;)报错如下图集群背景(基于 Hadoop 3.3.0 集群安装部署 Flume 1.9.0)1、H原创 2021-01-04 11:12:03 · 5100 阅读 · 1 评论 -
记一次HDFS Web报错Couldn‘t preview the file. NetworkError: Failed to execute ‘send‘ on ‘XMLHttpRequest‘
报错内容Couldn’t preview the file. NetworkError: Failed to execute ‘send’ on ‘XMLHttpRequest’: Failed to load ‘http://slave1:9864/webhdfs/v1/HelloHadoop.txt?op=OPEN&namenoderpcaddress=master:9820&offset=0&_=1609724219001’.Hadoop 集群背景https://blo原创 2021-01-04 09:52:43 · 11954 阅读 · 0 评论 -
记一次 Centos7.x 安装、部署 Zeppelin v0.9.0 并配置 PostgreSql 数据库
一、基本信息官网 http://zeppelin.apache.org/官方下载 http://zeppelin.apache.org/download.htmlhttps://mirror.bit.edu.cn/apache/zeppelin/zeppelin-0.9.0/zeppelin-0.9.0-bin-all.tgzhttps://mirrors.bfsu.edu.cn/apache/zeppelin/zeppelin-0.9.0/zeppelin-0.9.0-bin-all.tgzh.原创 2020-12-31 13:57:57 · 2876 阅读 · 8 评论 -
记一次 Centos7.6 安装部署基于 zookeeper 3.6.2 集群的 Storm 2.2.0 集群
http://storm.apache.org/http://storm.apache.org/downloads.htmlhttps://mirror.bit.edu.cn/apache/storm/apache-storm-2.2.0/apache-storm-2.2.0.tar.gzhttps://mirrors.bfsu.edu.cn/apache/storm/apache-storm-2.2.0/apache-storm-2.2.0.tar.gzhttps://mirrors.tuna.原创 2020-12-27 16:31:58 · 395 阅读 · 0 评论 -
记一次 Centos7.x Hadoop 3.x 部署 YARN 集群及基本操作
操作目的:1、如何搭建 YARN 分布式集群2、使用 YARN 集群提交一些简单的任务学习内容:提示:这里可以添加要学的内容例如:1、 搭建 Java 开发环境2、 掌握 Java 基本语法3、 掌握条件语句4、 掌握循环语句学习时间:[root@master ~]# vim /usr/bigdata/hadoop-3.3.0/etc/hadoop/yarn-site.xml<configuration> <property>原创 2020-12-21 09:39:43 · 1378 阅读 · 0 评论 -
记一次 Centos7.x Hadoop 3.x HDFS 读取文件
集群搭建集群搭建过程在客户端节点上 上传实例文件提示:这里可以添加要学的内容例如:1、 搭建 Java 开发环境2、 掌握 Java 基本语法3、 掌握条件语句4、 掌握循环语句学习时间:提示:这里可以添加计划学习的时间例如:1、 周一至周五晚上 7 点—晚上9点2、 周六上午 9 点-上午 11 点3、 周日下午 3 点-下午 6 点学习产出:提示:这里统计学习计划的总量例如:1、 技术笔记 2 遍2、CSDN 技术博客 3 篇3、 学习的 vlog 视频 1原创 2020-12-20 22:17:36 · 407 阅读 · 0 评论 -
记一次 Centos7.x 安装部署 Hadoop 3.x HDFS基础环境(非高可用集群)
一、基础信息官网 http://hadoop.apache.org/快速入门 http://hadoop.apache.org/docs/r1.0.4/cn/quickstart.html在线文档 http://tool.oschina.net/apidocs/apidoc?api=hadoop易百教程https://www.yiibai.com/hadoop/W3Cschool教程https://www.w3cschool.cn/hadoop/?二、环境、工具说明1...原创 2020-12-17 23:50:24 · 3276 阅读 · 0 评论 -
Hbase架构全解
物理上,Hbase 是由三种类型的 server 组成的的主从式(master-slave)架构:Region Server,负责处理数据的读写请求,客户端请求数据时直接和 Region Server 交互。 HBase Master,负责 Region 的分配,DDL(创建,删除 table)等操作。 Zookeeper,作为 HDFS 的一部分,负责维护集群状态。当然底层的存储都是基于 Hadoop HDFS 的:Hadoop DataNode 负责存储 Region Server 所管理转载 2020-06-15 23:11:25 · 1025 阅读 · 0 评论 -
记一次 Centos7 安装配置 zkui
一、简介zkui 提供了一个管理界面,可以针对zookeepr的节点值进行CRUD操作,同时也提供了安全认证。二、环境、工具说明1、操作系统 Centos7.4 x64 Minimal1708安装3台虚拟机安装过程参考https://blog.csdn.net/llwy1428/article/details/893283812、基本配置Node :3台 ...原创 2019-08-21 15:02:10 · 1301 阅读 · 0 评论 -
记一次 Centos7.4 手动搭建Zookeeper v3.4.14(Apache)集群
一、基本信息说明官网:http://zookeeper.apache.org官网部署:http://zookeeper.apache.org/doc/r3.5.5/zookeeperStarted.html官网下载:https://www.apache.org/dyn/closer.cgi/zookeeper/其他下载地址:https://mirrors.tuna.tsingh...原创 2019-07-21 20:37:57 · 359 阅读 · 0 评论 -
记一次 Centos7 安装 Elasticsearch-head ( Elasticsearch 可视化工具)
QQ交流群:64655993 希望能对您有所帮助!!!一、基础环境说明1、系统说明系统:CentOS-7-x86_64-Minimal-1708下载地址:http://archive.kernel.org/centos-vault/7.4.1708/isos/x86_64/ 2、使用工具工具:xshell5VMware 版本:VMware Worksta...原创 2019-10-09 16:53:51 · 880 阅读 · 0 评论 -
记一次 Centos7.4 搭建 Hadoop 3.2.0(HA) YARN(HA)集群
一、基本信息官网 http://hadoop.apache.org/快速入门 http://hadoop.apache.org/docs/r1.0.4/cn/quickstart.html在线文档 http://tool.oschina.net/apidocs/apidoc?api=hadoop易百教程 https://www.yiibai.com/hadoop/W3C...原创 2019-07-09 09:04:21 · 1617 阅读 · 0 评论 -
记一次 Centos7.4 手动搭建 Elasticsearch 7.4.0 集群
QQ交流群:64655993 希望能对您有所帮助!!!官方网站:https://www.elastic.co/cn/products/elasticsearch一、基础环境说明1、系统说明系统:CentOS-7-x86_64-Minimal-1708下载地址:http://archive.kernel.org/centos-vault/7.4.1708/iso...原创 2019-10-07 18:46:42 · 8561 阅读 · 0 评论 -
记一次 Centos7.4 手动搭建Zookeeper(CDH)集群
QQ交流群:64655993 希望能对您有所帮助!!!说明:1、本示例仅供学习,所以使用root用户搭建。2、生产环境中,为了数据安全要严格控制权限,为不同的组件创建不同的用户。一、基本信息说明官网:http://zookeeper.apache.org官网部署:http://zookeeper.apache.org/doc/r3.5.5/zookeeperStarte...原创 2019-01-16 09:04:25 · 646 阅读 · 0 评论 -
kafka 学习 非常详细的经典教程
一、基本概念介绍Kafka是一个分布式的、可分区的、可复制的消息系统。它提供了普通消息系统的功能,但具有自己独特的设计。这个独特的设计是什么样的呢?首先让我们看几个基本的消息系统术语:Kafka将消息以topic为单位进行归纳。将向Kafka topic发布消息的程序成为producers.将预订topics并消费消息的程序成为consumer.Kafka以集群的方式运行,可以由一...转载 2018-12-29 21:47:10 · 449 阅读 · 0 评论 -
Hbase 基础
2006 年10 月Google 发布三架马车之一的《Bigtable:A Distributed Storage System for Strctured Data》论文之后,Powerset 公司就宣布 HBase 在 Hadoop 项目中成立,作为子项目存在。后来,在2010 年左右逐渐成为 Apache 旗下的一个顶级项目。可能是实际应用中包装得太好,很多人对于 HBase 的认识止步于 ...转载 2019-04-19 21:50:58 · 294 阅读 · 0 评论 -
记一次 Centos7.4 安装配置 ElasticHD ( Elasticsearch 可视化工具)
QQ交流群:64655993 希望能对您有所帮助!!!一、基础环境说明1、系统说明系统:CentOS-7-x86_64-Minimal-1708下载地址:http://archive.kernel.org/centos-vault/7.4.1708/isos/x86_64/ 2、使用工具工具:xshell5VMware 版本:VMware Worksta...原创 2019-10-10 10:18:44 · 549 阅读 · 0 评论 -
Flume基本环境搭建以及原理
系统:CentOS6.5JDK:1.8.0_144Flume:flume-ng-1.6.0-cdh5.12.0一、什么是Flume flume 作为 cloudera 开发的实时日志收集系统,受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume OG(original generation),属于 cloudera。但随着 FLume 功能的扩展,Flume...转载 2018-12-29 17:25:41 · 673 阅读 · 0 评论