大数据
文章平均质量分 63
hapoop clickhouse hbase
不想做咸鱼的王富贵
到底是活了一年,还是356个一天。
——选自散文集《我在人间凑数的日子》
展开
-
Flink之转换算子和一些计算案例(Transformation)
Flink之转换算子和一些计算案例(Transformation)原创 2023-01-11 10:06:18 · 584 阅读 · 0 评论 -
Flink实时计算引擎入门教程
Flink实时计算引擎入门教程原创 2023-01-10 15:50:08 · 1698 阅读 · 0 评论 -
influxdb可视化工具及使用
influxdb可视化工具及使用nfluxDB是一个由InfluxData开发的开源时序型数据。它由Go写成,着力于高性能地查询与存储时序型数据。InfluxDB被广泛应用于存储系统的监控数据,IoT行业的实时数据等场景。1.新建连接,填写用户名和密码(默认都是root),不要填Database,填了的话只连接到那个数据库rw_influxdb2.创建连接后,展开数据库可进行sql操作(只能通过sql语句操作数据)这一部分可以查看一个表的tag、field等字段下载链接:https://原创 2022-01-26 15:19:22 · 9485 阅读 · 6 评论 -
linux下的influxdb的安装
linux下的influxdb的安装一、influxdb数据库官网的下载链接:https://portal.influxdata.com/downloadslinux版本的1.8.4版本具体参考链接:wget https://dl.influxdata.com/influxdb/releases/influxdb-1.8.4.x86_64.rpmsudo yum localinstall influxdb-1.8.4.x86_64.rpm二、安装和运行:1)如果用RPM安装.rpm软件包,最原创 2022-01-26 15:09:20 · 8442 阅读 · 1 评论 -
可视化工具Grafana:简介及安装
可视化工具Grafana:简介及安装随着业务的越发复杂,对软件系统的要求越来越高,这意味着我们需要随时掌控系统的运行情况。因此,对系统的实时监控以及可视化展示,就成了基础架构的必须能力。官网地址:Grafana官方文档:Grafana文档官网下载地址: https://grafana.com/grafana/download?platform=linux一、Grafana介绍Grafana是一个跨平台的开源的度量分析和可视化工具,可以通过将采集的数据查询然后可视化的展示,并及时通知。它主要有以原创 2022-01-26 14:55:50 · 771 阅读 · 0 评论 -
prometheus(普罗米修斯) - linux安装
prometheus - linux安装集成了Micrometer框架的JVM应用使用到Micrometer的API收集的度量数据位于内存之中,因此,需要额外的存储系统去存储这些度量数据,需要有监控系统负责统一收集和处理这些数据,还需要有一些UI工具去展示数据,「一般情况下大佬或者老板只喜欢看炫酷的仪表盘或者动画」。常见的存储系统就是时序数据库,主流的有Influx、Datadog等。比较主流的监控系统(主要是用于数据收集和处理)就是Prometheus(一般叫普罗米修斯,下面就这样叫吧)。而展示的UI目原创 2022-01-26 14:36:47 · 3069 阅读 · 1 评论 -
zipkin的安装与搭建(最新)
zipkin的安装与搭建(最新)下载官网: https://zipkin.io/pages/quickstart.html启动nohup java -jar zipkin-server-2.23.16-exec.jar 浏览http://youip:9411/zipkin/原创 2022-01-25 11:05:18 · 265 阅读 · 0 评论 -
clickhouse常用命令
clickhouse常用命令TRUNCATE table 表名 ON CLUSTER cluster_name;select COUNT(*) from 表名 ALTER TABLE 表名 ON CLUSTER cluster_name DELETE WHERE 1=1;ALTER TABLE 表名 DROP PARTITION 0drop table IF EXISTS 表名drop table IF EXISTS 表名 on CLUSTER cluster_name;DROP原创 2021-12-17 10:06:32 · 1225 阅读 · 0 评论 -
Clickhouse通过jdbc连接phoenix获取hbase数据(clickhouse-jdbc-bridge组件基于配置)
Clickhouse通过jdbc连接phoenix获取hbase数据(clickhouse-jdbc-bridge组件基于配置)部署请参考Clickhouse通过jdbc连接获取Mysql/Oracle数据(clickhouse-jdbc-bridge组件基于配置)这里只是换一下jsonckjdbc.json 如下 /server/hbase/drivers/phoenix-server-hbase-2.1-5.1.2.jar 所需要对应phoenix的依赖位置{ "$schema": "原创 2021-12-02 17:42:51 · 1731 阅读 · 0 评论 -
Clickhouse通过jdbc连接获取Mysql/Oracle数据(clickhouse-jdbc-bridge组件基于配置)
如何通过JDBC将mysql导入Clickhouse1. 部署clickhouse-jdbc-bridgeclickhouse-jdbc-bridge是通过jdbc将Clickhouse与其他数据沟通的桥梁,可将其他数据库数据导入clickhouse中,也可以直接在clickhouse中访问其他数据库。1.2 重新编译bridgegit clone https://github.com/ClickHouse/clickhouse-jdbc-bridge.git cd clickhouse-jdbc原创 2021-12-01 11:31:40 · 1631 阅读 · 0 评论 -
Clickhouse通过jdbc连接获取Mysql/Oracle数据(clickhouse-jdbc-bridge组件)
Clickhouse通过jdbc连接获取Mysql/Oracle数据引言Clickhouse连接获取Mysql/Oracle数据的方式主要为jdbc和odbc两种。jdbc: 通过jdbc的方式来连接到外部数据库,为实现这连接,需要借助clickhouse-jdbc-bridge这一组件clickhouse-jdbc-bridge clickhouse-jdbc-bridge主要充当无状态代理,主要作用为将查询从clickhouse传递到外部数据。通过这一扩展,可在clickhouse上实原创 2021-11-30 10:56:52 · 2012 阅读 · 0 评论 -
通过DBeaver连接Phoenix操作hbase
通过DBeaver连接Phoenix操作hbase前言本文介绍常用一种通用数据库工具Dbeaver,DBeaver 可通过 JDBC 连接到数据库,可以支持几乎所有的数据库产品,包括:MySQL、PostgreSQL、MariaDB、SQLite、Oracle、Db2、SQL Server、Sybase、MS Access、Teradata、Firebird、Derby 等等。商业版本更是可以支持各种 NoSQL 和大数据平台:MongoDB、InfluxDB、Apache Cassandra、Redi原创 2021-11-30 10:22:48 · 3448 阅读 · 0 评论 -
springboot 整合 hbase
springboot 整合 hbase要确定这三个端口外包可以访问如果是127.0.0.1 可以参考修改Linux下Hbase安装配置<property><name>hbase.master.ipc.address</name><value>0.0.0.0</value></property><property><name>hbase.regionserver.ipc.address</n原创 2021-11-26 18:39:32 · 1999 阅读 · 0 评论 -
Linux下Hbase安装配置
Linux下Hbase安装配置首先要安装HadoopLinux Hadoop 2.7.3 安装搭建1. Hbase安装包下载点击进入Hbase官网页面下载 http://hbase.apache.org/downloads.html2. 安装将下载好的Hbase安装包上传到服务器指定目录(无限制,根据实际情况来)并解压。3. 配置JAVA_HOME环境变量在hbase安装目录下找到conf/hbase-env.sh文件,取消文件里JAVA_HOME那一行的注释并修改为本机jdk实际路径原创 2021-11-26 18:31:38 · 2742 阅读 · 0 评论 -
ClickHouse在Linux上安装和配置
ClickHouse在Linux上安装和配置基于脚本的安装1.1.1 确保curl已安装在系统上sudo yum install -y curl让我们下载并运行packagecloud.io提供的安装shell脚本curl -s https://packagecloud.io/install/repositories/altinity/clickhouse/script.rpm.sh | sudo bash检查是否有可用于安装的ClickHouse软件包sudo yum list 'cli原创 2021-11-26 18:06:46 · 1913 阅读 · 2 评论 -
Linux Hadoop 2.7.3 安装搭建
Linux Hadoop 2.7.3 安装搭建Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序。HDFS放宽了(relax)POSIX的要求,可以以流的形式访问(streaming access)文件系统中的数据。Hado原创 2021-11-26 18:03:39 · 373 阅读 · 0 评论