- 博客(22)
- 收藏
- 关注
RSS订阅
原创 ES集群搭建
ES集群搭建一、安装软件准备系统：Centos7-2003软件版本：JDK15.x、ES7.11.X。官方下载地址：https://www.elastic.co/cn/downloads/社区镜像下载http://dl.elasticsearch.cn/华为镜像下载https://mirrors.huaweicloud.com/Docker容器下载可选择ES官方镜像或者国内阿里云/网易等镜像二、操作系统设置生产环境必须部署在Linux，并需要一些系统配置才可生效。个人环境可以选择W
2021-05-31 09:38:13
943
原创 Kafka 2.5.0单机版CentOS下安装
Kafka2.5单机版将下载好的kafka_2.13-2.5.0.tgz安装文件拖拽到此路径下，并解压进入解压后的文件夹三、启动Zookeeperkafka需要依赖ZK，安装包中已经自带了一个ZK，也可以改成指定已运行的ZK。如果改成指定的ZK需要修改修改 kaf...
2022-07-09 11:23:54
355
原创 Apache HBase 1.2.12在CentOS下的集群部署
Apache HBase 1.2.12在CentOS下的集群部署一、依赖环境前置依赖及安装CentOS7.x、JDK、Hadoop2.7.7集群、zookeeper-3.4.14集群此次部署三节点的zookeeper，对应的机器hostname分别为：bigdata02、bigdata03、bigdata04集群规划如下表：机器ZookeeperHMasterHRegionServerbigdata02√√bigdata03√√bigdata0
2021-10-25 00:22:30
940
原创 Zookeep 3.4.14 在CentOS下的集群部署
Zookeep 3.4.14 的集群部署一、依赖环境CentOS7.x、JDK、zookeeper-3.4.14部署机器依赖此次部署三节点的zookeeper，对应的机器hostname分别为：bigdata02、bigdata03、bigdata04下载zookeeper-3.4.14地址：http://mirrors.hust.edu.cn/apache/zookeeper/版本号：zookeeper-3.4.14.tar.gz二、安装zookeeper创建安装路径在
2021-10-24 23:09:49
762
原创 Apache Hive 2.3.6在CentOS下的部署
Hive安装部署一、单节点安装Apache-Hive1、环境依赖CentOS7，JDK8，启动Apache Hadoop，启动Mysql5.7（MySql配置远程连接权限）2、软件下载下载Apache Hive 2.3.6版本Apache Hive各个版本下载地址 http://archive.apache.org/dist/hive/创建 /hive文件路径，并上传apache-hive-2.3.6-bin.tar.gz到此路径下解压hive安装包# tar -zx
2021-10-16 10:34:25
396
原创 Java判断webservice的wsdl是否可达（网络是否连通）
Java简单判断webservice的wsdl是否可达（网络是否连通）import java.net.HttpURLConnection;import java.net.URL;public class TestWebservice { public static void main(String[] args) { // TODO Auto-generated method stub String url = "http://192.168.129.15:8088/NationTran
2021-07-17 02:18:01
1212
2
原创 Java操作Redis各种操作简单工具类
Java（springboot形式）操作Redis简单工具类如不使用springboot可将对应注解去掉，将方法改为静态方法去调用即可，或者用spring依赖注入等等。RedisTemplate如没注入请配置注入import org.springframework.data.redis.core.RedisTemplate;import org.springframework.stereotype.Component;import org.springframework.util.Collec
2021-07-17 02:09:18
350
原创 Java操作HDFS简单工具类
Java操作HDFS简单工具类包含如下方法在HDFS系统上创建文件夹判断文件是否存在向HDFS系统写入文件删除HDFS文件系统目录删除HDFS文件系统文件主方法main可根据实际情况放开注释及传参数import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FSDataOutputStream;import org.apache.hadoop.fs.FileSystem;import org.apa
2021-07-17 02:00:57
347
原创 ES+PrestoDB
ES + PrestoDB主题目的Elastic Stack架构概要与应用场景PrestoDB架构概要与应用场景搭建PrestoDB运行环境ES与Presto混搭使用Elastic Stack 架构概要Beats以轻量化方式收集、解析和传输数据。Elasticsearch 分布式、RESTful 风格的搜索和分析及存储。Kibana 实现数据可视化。在 Elastic Stack 中进行导航。Logstash 采集、转换、充实，然后输出。Elastic
2021-07-08 20:43:02
919
3
原创 Metricbeat和Filebeat的安装及配置
Beats的安装及配置一、Metricbeat的安装配置环境准备下载与es同版本的metricbeat，这里为 metricbeat-7.11.1-linux-x86_64.tar.gz这里使用root用户进行配置及启动metricbeat已启动对应的ES服务及Kibana服务metricbeat的安装这里在/路径下建立beats文件夹，将metricbeat-7.11.1-linux-x86_64.tar.gz拷贝进去并解压[root@elkserver beats]#
2021-07-04 18:13:00
1062
原创 RabbitMQ单机版(3.8.4)在CentOS下的安装
RabbitMQ单机版(3.8.4)在CentOS下的安装准备环境CentOS7，erlang21.3，RabbitMQ 3.8.4在RabbitMQ中需要注意两点：1、RabbitMQ依赖于Erlang，需要先安装Erlang2、Erlang和RabbitMQ版本有对应关系http://www.rabbitmq.com/which-erlang.html安装Erlang 21.3安装环境依赖因操作系统安装的环境是不一样的，缺少的依赖不同，根据提示安装即可[root@bi
2021-06-19 00:07:08
158
原创 Apache Hadoop 2.7.7在CentOS下分布式集群安装
Apache Hadoop在CentOS下分布式集群安装分布式集群规划节点名称IPHDFSYARNbigdata02192.168.237.132NameNode + DataNode 主节点NodeManagerbigdata03192.168.237.133DataNode + SecondaryNamenodeNodeManagerbigdata04192.168.237.134DataNodeNodeManager + ResourceMan
2021-06-16 22:41:59
307
6
原创 Mycat学习笔记
Mycat学习笔记Mycat基础基于Mycat 1.6.7.3版本数据库优化方案对比SQL与索引优化应用端的sql，目的是用到索引表与存储引擎数据是存放在表里面的，表又是以不同的格式存放在存储引擎中，所以我们可以选用特定的存储引擎，或对表进行分区，对表结构进行拆分或者冗余处理，或对表结构比如字段的定义进行优化。架构如只有一台数据库的服务器，则可以运行多个实例，做集群的方案，负载均衡等。或者基于主从复制实现读写分离，让写的服务都访问master服务器，读的请求都访问从服务器，slave服务
2021-06-02 00:10:41
334
原创 Redis学习笔记
Redis学习笔记（基于版本：5.0.5 ）基础理论关系型数据库的特点：它以表格的形式，基于行存储数据，是一个二维的模式。它存储的是结构化的数据，数据存储有固定的模式（schema），数据需要适应表结构。表与表之间存在关联（Relationship）。大部分关系型数据库都支持 SQL（结构化查询语言）的操作，支持复杂的关联查询。通过支持事务（ACID 酸）来提供严格或者实时的数据一致性。ACID： 原子性、一致性、隔离性、持久性。关系型数据库限制：要实现扩容的话，只能向上（垂直）
2021-06-02 00:06:14
353
原创 Apache Spark 2.4.8在CentOS下的安装（单节点及集群环境）
Apache Spark在CentOS下的安装（单节点及集群环境）环境依赖CentOS7，JDK8，spark-2.4.8-bin-hadoop2.7.tgz关闭防火墙#关闭命令service firewalld stopchkconfig firewalld off关闭SELINUX#SELINUX=enforcingSELINUX=disabled单节点安装下载并安装Spark下载地址https://spark.apache.org/downloads.
2021-06-01 23:46:23
630
3
原创 Apache Spark在CentOS下单节点的安装
Apache Spark在CentOS下单节点的安装环境依赖CentOS7，JDK8，spark-2.4.8-bin-hadoop2.7.tgz关闭防火墙#关闭命令service firewalld stopchkconfig firewalld off关闭SELINUX#SELINUX=enforcingSELINUX=disabled单节点安装下载并安装Spark下载地址https://spark.apache.org/downloads.html 选择
2021-05-31 23:36:12
221
5
原创 Prometheus及Grafana的安装
Prometheus概述特征一种多维数据模型，其中包含通过 metric 名称和键/值对标识的时间序列数据可利用各种维度的灵活的查询语句不依赖分布式存储；单服务节点是自治的时间序列通过 HTTP 拉取方式进行收集支持通过中间网关通过服务发现或静态配置发现目标多种图形和仪表板支持模式组件用于采集和存取时间序列数据的 Prometheus server用于监测应用的客户端库用于支持短期的作业的 push gateway诸如 HAProxy，StatsD，Graph
2021-05-31 10:12:40
245
原创 hadoop单机版安装说明
管理环境Ambari/cdh拷贝hadoop-2.7.7.tar.gz卸载原OpenJDK输入java -version可查看当前安装的jdk版本# java -versionjava version "1.7.0_75"OpenJDK Runtime Environment (rhel-2.5.4.2.el7_0-x86_64 u75-b13)OpenJDK 64-Bit Server VM (build 24.75-b04, mixed mode)查询系统自带的jdk：#
2021-05-31 09:59:53
166
原创 Centos7卸载openjdk并安装JDK8
卸载原OpenJDK输入java -version可查看当前安装的jdk版本# java -versionjava version "1.7.0_75"OpenJDK Runtime Environment (rhel-2.5.4.2.el7_0-x86_64 u75-b13)OpenJDK 64-Bit Server VM (build 24.75-b04, mixed mode)查询系统自带的jdk：# rpm -qa | grep javajavapackages-tools
2021-05-31 09:25:06
248
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人