::: :: : Big Data : :: :::
文章平均质量分 70
大数据组件安装包含但不限于 Hadoop、Hive、HBase、Spark、Flink、ElasticSearch、ClickHouse、Kafka、Zookeeper、Sqoop、Azkaban、SuperSet、Flume ...
シ風
大数据学习记录与分享!博客已迁移到 https://yuanzhengme.blog.csdn.net/?type=blog Java+大数据
展开
-
InfluxData【环境搭建 01】时序数据库 InfluxDB 最新版本安装启动验证
InfluxDB 是一个开源的时间序列数据库。它在一个二进制文件中拥有你需要的时间序列平台的一切——多租户的时间序列数据库、UI和仪表板工具、后台处理和监控代理。所有这些都使得部署和设置变得轻而易举,而且更容易保护。InfluxDB 平台还包括APIs、工具和一个生态系统,其中包括10个客户端和服务器库、Telegraf 插件、与Grafana、谷歌 Data Studio 的可视化集成,以及与谷歌 Bigtable、BigQuery 等数据源的集成。转载 2022-02-17 08:18:01 · 386 阅读 · 4 评论 -
Presto【环境搭建 01】Presto服务安装配置启动验证及客户端web工具Yanagishima安装配置验证(详细配置说明+Yanagishima已编译文件分享)
Presto服务安装配置启动验证及客户端web工具Yanagishima安装配置验证(详细配置说明+Yanagishima已编译文件分享)原创 2021-12-07 16:32:26 · 2108 阅读 · 8 评论 -
Elasticsearch【环境搭建 02】最新版 elasticsearch + kibana(7.15.0)安装、配置、启动(多个问题处理 + kibana仪表盘使用)
本文的安装文件是 2021.09.23 最新发布的【elasticsearch-7.15.0-linux-x86_64.tar.gz】和【kibana-7.15.0-linux-x86_64.tar.gz】以下内容均以 7.15.0 版本进行说明。1 ElasticSearch1.1 环境elasticsearch 的运行依赖 JDK,支持的最低版本为 Java 8。Elasticsearch requires at least Java 8. Specifically as of this wr转载 2021-09-23 18:03:32 · 986 阅读 · 0 评论 -
HBase【环境搭建 01】CentOS 7.5 部署 hbase-2.4.5 单机版standalone模式(详细安装+配置+增删改查测试脚本)(附开源镜像站地址)
HBase的 官网 内容还是挺多的,如果要下载安装包还是使用 清华大学开源软件镜像站 会快一些 ⚡️ 本文的安装文件为:hbase-2.4.5-bin.tar.gz1.前置条件HBase 是一个构建在 Hadoop 文件系统之上的面向列的数据库管理系统。运行时不仅需要 Hadoop 还依赖 JDK 环境,HBase 2.0+ 以上版本不再支持 JDK 1.7 ,需要JDK 1.8+【1.8永远嘀神 ????】# 只贴出版本信息[root@tcloud ~]# hadoop versionHadoo原创 2021-09-14 15:04:47 · 1846 阅读 · 18 评论 -
Sqoop【环境搭建 01】CentOS Linux release 7.5 安装配置 sqoop-1.4.7 解决警告并验证(附Sqoop1+Sqoop2最新版安装包+MySQL驱动包资源)
目前 Sqoop 有 Sqoop1 和 Sqoop2 两个版本,但是截至到目前,官方并不推荐使用 Sqoop2,因为其与 Sqoop1 并不兼容,且功能还没有完善,所以这里优先推荐使用 Sqoop 1。本次安装的文件是【Sqoop1的最新版本】 sqoop-1.4.7.bin-hadoop-2.6.0.tar.gz 以下内容均以此版本进行说明。1.资源分享链接:https://pan.baidu.com/s/1XRZs2PngAnrMczuD7Dn7Kg提取码:w7b9包含资源:(Sqoop1最新版原创 2021-09-08 17:07:53 · 1163 阅读 · 14 评论 -
Greenplum【问题记录 01】CentOS 7.5 greenplum-db-6.13.0 单机版 重启实录(5️⃣ 次报错问题解决+日志文件查看)
GP数据库安装后正常运行,服务器被恶意连接故修改密码后重启,GP数据库也需要重新启动,这个重新启动的过程坑坑洼洼 ???? 打印的日志信息进行了处理,删除了一些冗余。5次报错及解决第 1️⃣ 次报错# 服务器重启后 启动GP[gpadmin@tcloud /]$ /usr/local/greenplum-db/bin/gpstartTraceback (most recent call last): File "./bin/gpstart", line 12, in <module>转载 2021-09-01 13:44:27 · 1320 阅读 · 4 评论 -
Greenplum【环境搭建 01】CentOS Linux release 7.5 环境单机版详细安装配置步骤+问题解决(含安装包资源)
Greenplum 环境搭建 CentOS Linux release 7.5 环境单机版详细安装配置步骤+问题解决(含安装包资源)转载 2021-09-01 13:40:58 · 600 阅读 · 4 评论 -
Flink【环境搭建 01】(flink-1.9.3 集群版安装、配置、验证)
我使用的安装文件是 flink-1.9.3-bin-scala_2.12.tgz ,以下内容均以此版本进行说明。说明搭建集群首先要进行集群的规划【哪台做主节点,哪些做从节点】,这里简单搭建一个 3 节点的 Flink Standalone 集群,其中三台主机均为 worker 节点 和 Flink1 为 master 节点。1.配置免密登录【每台服务器】Flink 组件之间需要基于 SSH 进行通讯。1.1 配置映射配置 ip 地址和主机名映射:很关键通过ifconfig查询本机的ip地址,这原创 2021-08-11 11:33:10 · 714 阅读 · 0 评论 -
Flume【环境搭建 01】CentOS Linux release 7.5 安装配置 apache-flume-1.9.0 并验证
我使用的安装文件是 apache-flume-1.9.0-bin.tar.gz ,以下内容均以此版本进行说明。也可查看官网的《安装指南》 ???? Flume 需要依赖 JDK 1.8+[root@tcloud bin]# java -versionjava version "1.8.0_251"Java(TM) SE Runtime Environment (build 1.8.0_251-b08)Java HotSpot(TM) 64-Bit Server VM (build 25.251-b原创 2021-08-08 18:43:30 · 458 阅读 · 4 评论 -
Kafka【环境搭建 02】kafka_2.11-2.4.1 基于 zookeeper 搭建高可用伪集群(一台服务器实现三个节点的 Kafka 集群)
kafka_2.11-2.4.1 基于 zookeeper 搭建高可用伪集群(一台服务器实现三个节点的 Kafka 集群)原创 2021-08-07 18:17:24 · 917 阅读 · 2 评论 -
Kafka【环境搭建 01】kafka_2.12-2.6.0 单机版安装+参数配置及说明+添加到service服务+开机启动配置+验证+chkconfig配置说明(一篇入门kafka)
kafka_2.12-2.6.0 单机版安装+参数配置及说明+添加到service服务+开机启动配置+验证+chkconfig配置说明(一篇入门kafka)原创 2021-08-06 16:59:52 · 1317 阅读 · 0 评论 -
Spark【环境搭建 01】spark-3.0.0-without 单机版(安装+配置+测试案例)(Linux环境 腾讯云 CentOS Linux release 7.5.1804)
我使用的安装文件是 spark-3.0.0-bin-without-hadoop.tgz ,以下内容均以此版本进行说明。使用without 版本的安装包要进行 spark 和 hadoop 的关联配置。1.1 解压我是使用的之前下载的安装包,也可以去官网下载,选择 Spark 版本【最新版本已经是3.1.2】和对应的 Hadoop 版本后再下载。# 解压安装包并移动到/usr/local/下[root@tcloud spark]# tar -zxvf spark-3.0.0-bin-without-原创 2021-07-30 15:29:10 · 3740 阅读 · 4 评论 -
Elasticsearch【环境搭建 01】【elasticsearch-6.4.3 单机版】(含 安装包+分词插件 云盘资源)
一下安装过程是针对 elasticsearch-6.4.3.tar.gz 版本的,不同版本的安装配置可能存在差异。官网也有安装方法,官网安装的是 6.0.1 版本的。1.环境elasticsearch 的运行依赖 jdk,支持的最低版本为 Java 8。Elasticsearch requires at least Java 8. Specifically as of this writing, it is recommended that you use the Oracle JDK versi转载 2021-07-31 14:05:10 · 295 阅读 · 0 评论 -
Elasticsearch【问题记录 01】启动服务&停止服务的2类方法【及 java.nio.file.AccessDeniedException: xx/pid 问题解决】(含shell脚本文件)
我使用的是腾讯的云服务器1核心2G内存,安装的有MySQL数据库,elasticsearch 启动后剩余的内存就捉襟见肘了,为了运行其他服务,需要停止 elasticsearch 服务,这个时候我才发现 elasticsearch 根本就不希望大家停止掉自己【没有停止服务的命令】这里总结一下:1. 直接启动与停止启动:# 切换到 elasticsearch 用户[root@tcloud ~]# su elasticsearch# 一般启动bash-4.2$ /usr/local/elastic转载 2021-08-03 17:45:47 · 495 阅读 · 0 评论 -
Elasticsearch【问题记录 02】【不能以root运行es + max virtual memory areas vm.max_map_count [65530] is too low处理】
问题一Caused by: java.lang.RuntimeException: can not run elasticsearch as root问题一解决添加 elasticsearch 用户组和用户:[root@tcloud ~]# groupadd elasticsearch [root@tcloud ~]# useradd -g elasticsearch elasticsearch# 设置密码[root@tcloud ~]# echo "elasticsearch" | pas转载 2021-07-31 14:07:12 · 239 阅读 · 2 评论