- 博客(67)
- 资源 (4)
- 收藏
- 关注
原创 【starRocks-docker 部署问题汇总】
starrocks基于docker-compose部署的3节点分布式(3FE,3BE),遇到的问题也都是基于当前环境。
2024-08-07 16:55:20 292
原创 【windows-搭建Ubuntu22LTS】
至少Windows 10 2020年5月(2004) 版, Windows 10 2019年5月(1903) 版,或者 Windows 10 2019年11月(1909) 版。
2024-04-19 11:59:51 518
原创 【运维】-gitlab docker-compose部署,并进行备份
services:gitlab:#宿主机访问地址#默认一天备份一次ports:- '80:80'- '22:22'volumes:- 本地备份目录:/var/opt/gitlab/backups。
2024-03-14 14:19:53 440
原创 【StarRocks-1.简介】
starRocks起源于开源软件Doris,其相对Doris的社区环境,starRcoks有商业团队维护、快速版本迭代和dockerHub高支持,让我在生产环境中更加偏向于starRocks,而不是拥抱Doris开源社区。StarRocks的版本更新速度、学习文档和论坛都让小白更加容易入手。starRocks一般的定位都是实时数仓,它的应用场景和它的数据模型有着密不可分的关系。(主键不重复,通过主键修改数据),四大模型使StarRocks支持更多的业务场景。(常用于存储历史数据,不更新数据业务场景)、
2023-12-12 15:38:41 786
原创 【docker-compose 跨节点部署 kafka-kraft SASL用户加密集群】全网最新!
docker 跨节点部署 kafka3.5.1 kraft集群
2023-09-15 15:42:20 1227 3
原创 【Grafana-常见问题】
2、降低grafana服务端版本,博主选择7.5.11。3、内网本地机器时间调整为当前时区东八区北京时间。解决:浏览器和Grafana版本不兼容。1、升级内网浏览器版本,全换高版本。
2023-07-24 10:34:13 1394
原创 Docker Desktop简介
Docker Desktop一、简介Docker Desktop是可以部署在windows运行docker的应用服务,其基于windos的Hyper-V服务和WSL2内核在windos上创建一个子系统(linux),从而实现其在windows上运行docker。二、部署1.开启Hyper-V(自行百度)2.安装WSL2内核https://docs.microsoft.com/zh-cn/windows/wsl/install-manual#step-4---download-the-linux-
2022-05-25 16:07:31 28122 1
原创 Docker常用命令
Docker 常用命令一、docker 镜像(images)1.单个或少量镜像离线迁移(需要先具备docker环境),大量镜像建议使用镜像仓库。1.镜像导出:docker save命令docker save image_id > image-save.tar2.将导出的压缩包拷贝至目标服务器,使用导入功能:docker load命令docker load < image-save.tar3.默认导入的镜像无名无标签需要使用打标签:docker tag命令docker tag im
2022-05-23 10:41:28 114
原创 Java Map与List的应用
Java Map与List的应用来源:力扣(LeetCode)链接:https://leetcode-cn.com/problems/insert-delete-getrandom-o1实现RandomizedSet 类:RandomizedSet() 初始化 RandomizedSet 对象bool insert(int val) 当元素 val 不存在时,向集合中插入该项,并返回 true ;否则,返回 false 。bool remove(int val) 当元素 val 存在时,从集合
2022-04-13 16:16:20 291
原创 Flink_Clickhouse_Sink
Flink SinkFlink-clickhouse JDBC sink:1.若是没有接触过clickhouse的同学可以先看下java连接clickhouse的方法。@Testpublic void clickhouseTest(){ //使用clickhouse官网推荐的JDBC连接方式,使用了官网推荐的连接驱动 String url = "jdbc:clickhouse://xxxxxx:8123/secisland"; ClickHouseProperties p
2021-11-25 14:01:18 2085
原创 Kubernates1.21.2-deploy
Kubernates1.21.2-deploy一、Kubernates安装未标明master执行的,则全部节点都执行!1.系统初始化#./bin 目录下提供了文章中所需的脚本,下面贴出$ sh init_conditions.sh$ vim /etc/fstab # 注释永久下swap2.依赖软件安装$ sh init_docker.sh #脚本中有详细注释,多去理解哈。3.控制节点Master部署(仅管理节点运行)注意:先配置镜像#下载镜像,可以先查看需要的镜像版本,然后下载国内
2021-07-12 17:24:41 127
原创 Kubernetes fabric8 JavaAPI
Kubernetes fabric8 JavaAPI一、依赖准备<dependency> <groupId>io.fabric8</groupId> <artifactId>kubernetes-client</artifactId> <version>4.9.0</version></dependency>下列展示代码中可能包含演示需要的依赖包,需要手动导入。全文手动原创,非其他博客及官方转载。
2021-04-13 20:21:51 767
原创 Kubeedge-mapper 实现
应用场景:利用GitHub上的温度传感器的例子作为讲解,实现从云端获取设备终端状态及使用Java模拟设备数据。需要使用的文件及技术1.Kubeedge:device.yaml //案例中的设备配置devicemodel.yaml ...
2020-05-09 14:43:27 1700 1
原创 Solr-常见问题汇总(持续更新)
本文主要记录solr使用中遇到的一些常见问题及命令关于solrConfig.xml的配置博客:https://blog.csdn.net/yuh_LLllccy/article/details/88552673solr查询报错:问题1:solr查询三万条以上的数据时报错"error": { "msg": "Expected mime type application/o...
2020-04-20 15:56:27 698
原创 hadoop(hbase)副本数修改
一、需求场景随着业务数据的快速增长,物理磁盘剩余空间告警,需要将数据备份从3份修改为1份,从而快速腾出可用磁盘容量。二、解决方案1. 修改hdfs的副本数Hbase 的数据是存储在 hdfs 上的,Hbase的副本数是默认读取hdfs的配置进行副本备份的,所以需要修改hdfs上的副本数据。2.删除重复数据修改hdfs-site.xml的副本数,只能对以后的数据有效,不能修改...
2020-04-13 18:22:26 3581
原创 Hive-拉链表
一、问答介绍1.什么是拉链表? 维护历史状态,以及最新状态数据的一种表,拉链表根据拉链粒度的不同,实际上相当于快照,只不过做了优化,去除了一部分不变的记录,通过拉链表可以很方便的还原出拉链时点的客户记录。记录一个事物从开始,一直到当前状态的所有变化的信息(生命周期)。核心字段为生效开始日期与生效结束日期(粒度)。2.为什么用拉链表(应用场景决定)?1)原数据量很大(查询费劲...
2020-01-14 09:36:30 341
原创 JAVA-POI
import java.io.FileNotFoundException;import java.io.FileOutputStream;import java.io.IOException;import java.util.HashMap;import java.util.List;import java.util.Map;import org.apache.poi.hssf.u...
2020-01-08 18:10:40 182
原创 GreenPlum-数据存储目录迁移及常用操作
一、环境介绍Greenplum5 3节点集群,Centos7.2虚拟机,二、需求因为/home目录磁盘空间已满,需要将Greenplum的数据存储目录转移到新的分区/opt目录下,虚拟机磁盘管理没有用LVM逻辑卷管理,无法动态扩容/home。动态扩容分区博客教程:https://blog.csdn.net/qq_40570699/article/details/8897533...
2020-01-08 18:05:45 1853
原创 CDH6 高版本hbase+solr实现二级索引
之前的环境是单独下载的CDH组件包搭建的集群,但是因为hadoop版本过低导致漏洞无法修复,重新搭建高版本集群环境。新集群环境:主要组件:hadoop,hbase,zookeeper,Key-Value Store Indexer1.创建hbase表:hbase shellcreate 'users', { NAME => 'info', REPLICATION...
2019-12-17 17:24:47 351
原创 GreenPlum执行gpfdist报错:libssl.so.1.0.0: cannot open shared object file: No such file or directory
当你报这个错时,是因为你执行 ./gpfdist 时默认去找寻/usr/lib64的环境依赖,没有去找寻你gpfdist安装目录中lib的目录。解决方法:根据报错提示,将你gpfdist安装目录中lib目录下的对应文件拷贝到/usr/lib64。再执行命令,就ok了。...
2019-12-02 09:47:41 1360
原创 rasdaman介绍及安装
一、分布式介绍 Rasdaman中的主节点称为Rasdaman的主机,它充当中央Rasdaman请求分派器并且控制所有服务器进程。Rasdaman管理器接收客户机请求并将这些请求分配给服务器进程。服务器进程解析和分配请求,然后生成对数据库主机上的关系服务器的调用。根据调用,关系服务器从关系数据库存储中检索指定的数据。检索到的数据通过网络发送到客户机的节点。 ...
2019-10-29 14:34:13 893
原创 Hbase-二级索引 Hbase+Hbase-indexer+solr (CDH)
最近一段时间工作涉及到hbase sql查询和可视化展示的工作,hbase作为列存储,数据单一为二进制数组,本身就不擅长sql查询;而且有hive来作为补充作为sql查询和存储,但是皮皮虾需要低延迟的sql及复杂sql的查询(根据值查找数据的情况),这就要用到hbase的二级索引。这里的二级索引方式采用的Hbase+Hbase-indexer+solr,还有Phoenix等方式。...
2019-09-10 16:44:30 801
原创 Hbase2.0-源码阅读环境
最近准备开始研究Hbase源码,因为第一次研究源码,所以做片笔记,踩坑踩的很耗时。1.我用的IDE是IDEA,本地window需要配置JDK,MAVEN,HADOOP环境2.上GitHub下载Hbase源码(可以使用git或直接下载):https://github.com/apache/hbase,并解压到电脑3.在解压后的目录中执行命令:mvn clean package -...
2019-07-31 09:44:37 426
原创 关于hadoop3.x MR报错:找不到或无法加载主类 org.apache.hadoop.mapreduce.v2.app.MRAppMaster
用的apache Hadoop3.X,今天运行MR报错:找不到或无法加载主类 org.apache.hadoop.mapreduce.v2.app.MRAppMaster关键需要配置两个配置:mapred-site.xml 和 yarn-site.xml下面配置hadoop classpath。先运行shell命令:hadoop classpath复制输出到上面两个文件中...
2019-07-26 15:22:47 621
原创 Jenkins-Sonar集成配置及注意点
首先说说关于Jenkins集成Sonar的相关配置:我jenkins与Sonar不在同一个服务器上!先现在SonarQube Scanner 插件。SonarQube Servers:系统配置全局工具配置:SonarQube Scanner官网下载地址:https://docs.sonarqube.org/display/SCAN/Analyzing+with+Sonar...
2019-07-04 14:16:01 1415 1
原创 Jenkins-gogs安装及使用
很多同学可能第一次了解什么是ci-cd,什么是Jenkins,首先会介绍下cicd的概念及应用场景,之后再详细介绍下Jenkins的概念、安装及使用。什么是CI-CD?首先明确CI-CD是一种技术,而并不是指一个软件。CI:可持续集成(简单将就是通过公用代码仓库将开发人员的代码进行统一集成管理,与集中测试)CD:可持续部署(将集成测试后的代码自动部署到你需要的地方)注意:这...
2019-07-03 10:13:08 1172
原创 Jenkins-插件开发(简单demo)
推荐:官网创建插件案例:https://jenkins.io/doc/developer/tutorial/run/官方的这篇文章讲的很详细了,我就补充补充其中遇到的一些问题。前置条件:maven3.0以上、jdk1.81.配置setting.xml需要按照上面的配置否则会报错找不到hip插件,主要用于配置jenkins仓库。<?xml version="1.0" enco...
2019-07-03 09:23:29 520
原创 Jenkins-插件开发-BUG-Messages类编译报错
注意:下载Jenkins插件源码后报错Messages这个类怎么导包都报编译错误的问题!今天从GitHub下载了Jenkins的一些插件源码,准备自己研究研究写个插件。但是发现每个源码中都存在一个编译错误。那就是'Messages'这个类怎么导包,都在报编译错误。百度也没找到合适的答案,只好goole了。之后发现一个帖子说需要:发现使用mvn package打包下,就会出现这样...
2019-07-02 10:23:05 516
原创 apache.zookeeper-3.4与apache.kafka-2.11的安装
zookeeper与Kafka集群安装集群安装以三台机器(虚拟机,物理机等等)为例子:192.168.200.100 kafka01 (主节点)192.168.200.101 kafka02 (从节点)192.168.200.102 kafka03 (从节点)一、进入集群kafka01(...
2019-06-06 10:19:40 415
原创 Json转化与ExtJS树(后台处理)
一、JSON对格式化数据的操作:1.导入依赖包:import org.json.JSONArray;import org.json.JSONException;import org.json.JSONObject;2.Map转化为JSON数组://声明一个Hash对象并添加数据Map params = new HashMap();params.put("userna...
2019-05-23 17:45:17 288
原创 shell脚本定时执行|关闭jar文件
编写shell脚本,用于启动、关闭jar程序:#!/bin/bash#description: 启动重启server服务 #需要配置环境变量后才能直接使用java这些变量export JAVA_HOME=/data/jdk1.8.0_111export PATH=$PATH:$JAVA_HOME/bin #启动命令所在目录 HOME='/data/dingtalk' #...
2019-05-14 11:01:07 808
全球国家/城市详细信息下载
2023-11-28
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人