fct2001140269的博客

如今你的气质里，藏着你走过的路，读过的书和爱过的人。” ——《卡萨布兰卡》
私信 关注
fct2001140269
码龄5年

大数据架构、地理信息系统

  • 335,257
    被访问量
  • 185
    原创文章
  • 14,833
    作者排名
  • 112
    粉丝数量
  • 于 2016-04-25 加入CSDN
获得成就
  • 获得160次点赞
  • 内容获得107次评论
  • 获得375次收藏
荣誉勋章
兴趣领域
  • #大数据
    #storm#ETL#数据仓库#hadoop#spark
TA的专栏
  • Linux
    2篇
  • 元数据
    1篇
  • metacat
    1篇
  • 数据仓库
    2篇
  • Hive
    1篇
  • OLAP
    1篇
  • 程序人生
    1篇
  • 架构
    5篇
  • 云服务
    3篇
  • K8S
    1篇
  • Redis
    10篇
  • jira
    2篇
  • confluence
    2篇
  • docker
    4篇
  • zookeeper
    2篇
  • nexus
    1篇
  • web分类
    2篇
  • java基础
    20篇
  • java
    40篇
  • 大数据技术
    82篇
  • GIS
    5篇
  • scala
    17篇
  • 设计模式
    1篇
  • 面试题
    14篇
  • 集群
    13篇
  • 地理信息计算
    1篇
  • 数据库
    24篇
  • spark
    27篇
  • hbase
    5篇
  • hadoop
    4篇
  • Flink
    22篇
  • 数据结构
    2篇
  • 算法
    19篇
  • 并发
    5篇
  • mongodb
    5篇
  • 消息中间件
    8篇
  • kafka
    19篇
  • 工具
    24篇
  • 计算机理论
    6篇
  • Storm
    1篇
  • Flume
    6篇
  • S3
    7篇
  • ELK
    10篇
  • ElasticSearch
    8篇
  • 最近
  • 文章
  • 资源
  • 问答
  • 课程
  • 帖子
  • 收藏
  • 关注/订阅

vmware虚拟机配置centos7.6静态IP地址

https://www.cnblogs.com/yyee/p/12781991.html
转载
61阅读
0评论
0点赞
发布博客于 6 月前

metacat-生态与架构

[20201127]-metacat1.metacat组件之提问接触一个新的组件的时候，我们需要首先提取一般共性需要解决发问的问题，例如metacat的问题如下：metacat是什么？matacat能干什么？metacat的组织架构是怎样的；metacat的请求响应的流程是什么？matacat为什么要用它？对比；预期带来的收益是什么？metacat适用的场景和一般使用方式是什么？metacat的搭建方式：有哪些？主流的是什么？怎样搭建、使用？metacat的运行状态监控（自带的web
原创
449阅读
2评论
2点赞
发布博客于 6 月前

hive在linux下的搭建测试

hive在linux下的搭建测试参考文章：https://www.cnblogs.com/makeryan/p/11358953.html1.前言在linux环境(Ubuntu环境)构建hive的测试环境，方便本地客户端链接测试；环境准备：linux环境、需要hive安装包、mysql安装等；2.搭建过程安装 docker 过程https://blog.csdn.net/ljx1528/article/details/864248642.1搭建一个mysql系统docker run -
原创
120阅读
0评论
0点赞
发布博客于 7 月前

LRU 缓存淘汰算法

如何实现 LRU 缓存机制1. 参考链接：如何实现 LRU 缓存机制 https://mp.weixin.qq.com/s?__biz=MzAxODQxMDM0Mw==&mid=2247484500&idx=1&sn=83f4df1253f597898b2f74ea9dca9fd9&chksm=9bd7fa5caca0734ad182ba67651882647a71264938eaa98e49c5ff43369b807a094ad16efcd4&scene=21#
原创
95阅读
4评论
0点赞
发布博客于 8 月前

从初级工程师发展到高级工程师，需要跨越的鸿沟

转载地址：https://www.toutiao.com/a6878215946150871559/程序员是吃青春饭的吗？等我们老了，技术过时了，公司有什么理由不裁掉我们，去雇一些既有活力、薪资要求又低的年轻人呢？这个老生常谈的问题困扰着诸多渐入中年的程序员。本文告诉你如何增强自己的核心竞争力，在知识飞速更新的行业中站稳脚跟，跨过“初级工程师”和“高级工程师”之间的鸿沟。我曾在 CS 职业论坛 /r/cscareerquestions 上回答了一个问题，该回答描述了我在程序员职业道路早期 必须 要涉足
转载
364阅读
0评论
0点赞
发布博客于 8 月前

【生产上线】监控告警体系设计方案

【生产上线】监控告警体系设计方案Created by arch | Time：2020/02/19一、系统监控的目的和范围：1.1 监控的目的在生产环境中，保证系统服务运行的稳定性、可靠性十分重要。一方面，要求在服务运行过程中，对服务的运行状态、负载情况有时刻的掌握；另一方面在服务中断或者错误报出后，及时告警并发现问题，获取日志、还原问题场景、排除bug；1.2监控的范围纵向的监控体系从上往下分为4个层次的监控（最大外延和最小内涵）：第1层：业务级业务的监控对象包括业务关心的各项指标，例如关
原创
170阅读
0评论
0点赞
发布博客于 8 月前

将指定的groupid相关kafka的topic中的offset更新到latest的最新位置

将指定的groupid相关kafka的topic中的offset更新到latest的最新位置如果使用java api的方式，将offset更新到特定位置(此处为最新的数据位置)，详见下面的代码；package mykafka.gainoffset;import org.apache.kafka.clients.consumer.KafkaConsumer;import org.apache.kafka.common.TopicPartition;import java.util.ArrayLi
原创
233阅读
1评论
1点赞
发布博客于 8 月前

shell更新kafka的offset到最新的位置

更新kafka的offset到最新的位置1.进入docker容器，用来执行kafka相关的更新offset的命令；docker ps | grep kafka | awk '{print $1}'2.执行如下命令，用来将执行kafka集群中的groupId的offset更新为最新；/opt/kafka/bin/kafka-consumer-groups.sh --bootstrap-server 172.19.32.116:9192 --group fang-groupid-105 --res
原创
215阅读
0评论
0点赞
发布博客于 8 月前

kafka传递大消息体时的配置

kafka传递大消息体时的配置created by cms/fangchangtan | 2020/09/301.生产端设置//数据太大，发送失败，设置 max.request.sizeprops.put("max.request.size", "300000000");/*socket 在读写数据时用到的TCP 缓冲区也可以设置大小。如果它们被设为-1 ，就使用操作系统的默认值。如果生产者或消费者与broker 处于不同的数据中心内，可以适当增大这些值，因为跨数据中心的网络一般都有比较高的延迟
原创
296阅读
0评论
1点赞
发布博客于 8 月前

docker部署ftp服务器

docker部署ftp服务器1.背景​ FTP是一种传输协议，FTP服务器可以有客户端通过FTP协议访问，上传或下载文档。有什么用，其实就是很多人公用存储资料。2.拉取构建ftp服务器查看官网提供的ftp说明https://hub.docker.com/r/fauria/vsftpd使用最新的fauria/vsftpd镜像即可。官网提供的搭建建议：（生产环境中可用，已经绑定账户，挂载目录，启动了 FTP 的主动和被动模式）docker run -d -v /my/data/dire
原创
370阅读
0评论
0点赞
发布博客于 8 月前

kafka的相关参数

kafka的相关参数https://www.cnblogs.com/51python/p/10966757.html
转载
78阅读
0评论
0点赞
发布博客于 8 月前

二叉树知识点

二叉树知识点1.1二叉树的前序、中序、后序遍历二叉树的前序、中序、后序遍历（递归与非递归）/**前序:递归方式*/public void preOrder( TreeNode root){ if(root == null) return; System.out.println(root.val); preOrder(root.left); preOrder(root.right); }/**前序:非递归方式*结果放入ArrayList中*/public
原创
52阅读
0评论
0点赞
发布博客于 9 月前

手撕 排序算法

归并排序//归并排序--采用分治法，先分后治，递归的解决问题/***分：将大问题拆分为小问题。具体来说，将数组氛围左右两个数组，然后递归的调用治理* 治：采用合并有序数组的方式*/public void mergeSort(int[] arr, int left, int right){ if(left < right){ int mid = left +right; mergeSort(arr, left,mid); mergeSo
原创
217阅读
1评论
0点赞
发布博客于 9 月前

K8S部署elasticsearch

在k8s上部署elasticsearchhttps://staight.github.io/2019/09/16/%E5%9C%A8k8s%E4%B8%8A%E9%83%A8%E7%BD%B2elasticsearch/
转载
499阅读
0评论
0点赞
发布博客于 9 月前

数据仓库

https://www.cnblogs.com/zhoufei2514/category/1367647.html数据仓库的系列文章，值得一看
转载
47阅读
0评论
0点赞
发布博客于 9 月前

Spark心跳存活-延迟处理-异常日志告警

Spark心跳存活-延迟处理-异常日志告警1.目录大纲spark异常日志告警spark存活心跳告警spark批次处理延迟告警2.任务背景2.1问题背景​ 生成中针对spark steaming的程序进行告警的设置，生产上线需要监控spark streaming的异常日志的告警，及时发现生产线中的异常问题，方便快速定位问题；同时对spark 通过心跳机制对spark的异常下线问题告警，方便运维人员及时通知运维人员跟进，恢复程序运行。2.2 技术路线1.基于以往的告警研究，监控日志
原创
230阅读
0评论
0点赞
发布博客于 10 月前

java批量创建删除Kafka的topic

java批量创建删除Kafka的topic一、前言参考资料：Kafka 0.11客户端集群管理工具AdminClienthttps://blog.csdn.net/u012501054/article/details/805943742.批量创建删除Kafka的topic2.集群管理工具AdminClient （新版本kafka）较为新的版本：Kafka 0.11以上版本上测试的,新的API集群管理工具AdminClientpackage zktest.navinfo;import or
原创
222阅读
0评论
0点赞
发布博客于 10 月前

干货！操作系统基础知识汇总！转给要面试的同学吧

干货！操作系统基础知识汇总！转给要面试的同学吧https://mp.weixin.qq.com/s?__biz=MzU1NTkwODE4Mw==&mid=2247484950&idx=1&sn=3d2a21ed48d2348485c0ac1404c21b2d&chksm=fbcc6b2eccbbe2387cc197fe5dbadbd927bc9361411993481b5014b0da9cb49c0c923841da03&mpshare=1&scene=1&
转载
61阅读
0评论
0点赞
发布博客于 10 月前

Spark history UI历史监控构建

typora-copy-images-to: …\typora-pictureSpark history UI历史监控构建created by fangchangtan | 202006091 构建历史spark ui回放功能的目的​ spark steaming运行过程中，如果spark streamming程序异常终止，则spark ui后台线程立即消失，导致后期追踪恢复spark问题现场困难，此时只能通过spark的日志来发现问题，但是spark的日志本身保存时间短（2天），日志中可.
原创
216阅读
0评论
0点赞
发布博客于 1 年前

confluence迁移，与jira同步账户遇到的权限问题

一、问题场景需要将外网中的confluence和jira全部迁移到内网中，即在内网中安装jira和confluence，激活，并迁移外网数据到内网中；二、问题描述：在将confluence中，将jira的账户同步到confluence中的时候，出现同步失败的问题。三 解决方法：第一步：（1）在jira中要使用管理员用户设置允许连接的用户目录，（以往随机创建的非管理员用户是不行的）；（2） 同时设置对应的允许连接的ip。可以设置多个，这个允许ip也很关键！同时在confluence中用户
原创
567阅读
0评论
0点赞
发布博客于 1 年前

docker安装redis-dump工具

离线安装redis-dump工具1 场景和问题1.1 redis-dump工具作用​ redis-dump可以将redis数据库中的各个slot中的数据导出到文本中，方便迁移备份数据；1.1 为什么采用redis-dump容器的方式​ 使用普通的物理机直接安装redis-dump工具，需要下载各种各样的依赖，相对都比较麻烦（例如安装ruby2.2以上版本的依赖），各种rvm依...
原创
276阅读
0评论
0点赞
发布博客于 1 年前

安装redis-dump命令

安装redis-dump命令1.安装redis-dump执行的shell脚本如下：#!/bin/bash#首先到tmp下，用来存放下载的安装文件cd /tmpmkdir rvmcd rvm# 开始安装RVMgpg --keyserver hkp://keys.gnupg.net --recv-keys 409B6B1796C275462A1703113804BB82D39DC0...
原创
243阅读
0评论
0点赞
发布博客于 1 年前

大数据组件监控体系构建

大数据监控体系构建基于开源xxx_exporter+promethues+grafana的构建监控系统1.概况其中，exporter一般是使用来采集各种组件运行时的指标数据；promethues构建指标时序数据库；grafana构建指标显示面板；目前已有各种docker容器方便的构建各种监控体系；2.详细构建过程其中我的promethues的配置如下：#全局配置信息：glob...
原创
471阅读
0评论
0点赞
发布博客于 1 年前

Kafka保证消息不丢失

Kafka保证消息不丢失kafka保证消息不丢失，需要从三个方面考虑：生产者端消息不丢失kafka服务器broker本身消息不丢失消费者端消息不丢失这篇文章对最新发送kafka数据丢失的情况做一个总结。1.为什么要出这样一个文档首先，部门很多人都kafka的使用不太懂，主要集中才kafka参数的设置使用，比如producer、server下的topic参数、consumer使用，...
原创
201阅读
0评论
1点赞
发布博客于 1 年前

spark监控streamingListener使用与监控告警

Spark-steaming监控设计与验证方案​ created by fangchangtan | 2020/2/24原创不易，谢绝白嫖，好的话就点个赞吧!1总览1.1参考文献：对spark steaming运行中的批处理过程的监控https://blog.csdn.net/qq475781638/art...
原创
812阅读
0评论
2点赞
发布博客于 1 年前

安装elasticalert配置验证文档

docker 安装、配置、验证ElasticAlert​ created by fangchangtan | 2020/2/241.elastalert的场景用途​ elastalert组件作为elk中日志关键词的告警组件。基本的流程是，通过elk日志获取程序发出的不间断的心跳、错误日志关键词ERROR抓取等 ，获得对程序的健康状态和稳定性的监控告警。2.安装elast...
原创
922阅读
0评论
2点赞
发布博客于 1 年前

redis导入导出工具-redis-dump,centos7安装使用

redis导入导出工具-redis-dump,centos7安装使用在centos7上安装redis的备份工具redi-dump注意事项：因为多数系统自带的ruby版本是2.0.0的版本，但是redis-dump需要2.2.2以上的版本支持。redis-dump使用ruby语言编写的。直接安装的话，就会提升版本过低。需要跟高的2.2.2版本以上的支持。具体的命令如下：安装 redi...
原创
1074阅读
0评论
2点赞
发布博客于 1 年前

为什么synchronized无法禁止指令重排，却能保证有序性？

转发：https://www.toutiao.com/i6795075486847336963/为什么synchronized无法禁止指令重排，却能保证有序性？据说这位读者前面的很多问题会的都还可以，属于那种可过可不过的类型的，面试官出了最后一道题，就是回答的满意就可以给Offer，回答的不好就不让过的意思。那么这道题到底应该如何回答呢？首先我们要分析下这道题，不得不说这个面试官还是有一定...
转载
267阅读
0评论
1点赞
发布博客于 1 年前

elasticsearch的知识点归纳

es的基本概念：索引、类型、文档；倒排索引的原理；elasticsearch集群节点、分片；对es的写过程（写入【重要】、删除、更新）、读过程（重要）；es中搜索中涉及的算法；...
原创
73阅读
0评论
0点赞
发布博客于 1 年前

Elasticsearch关键知识点总结

Elasticsearch，在笔记本上写下了如下记录：反向索引又叫倒排索引，是根据文章内容中的关键字建立索引。搜索引擎原理就是建立反向索引。Elasticsearch 在 Lucene 的基础上进行封装，实现了分布式搜索引擎。Elasticsearch 中的索引、类型和文档的概念比较重要，类似于 MySQL 中的数据库、表和行。Elasticsearch 也是 Master-slave...
转载
166阅读
0评论
0点赞
发布博客于 1 年前

Spark streaming动态调整资源-调研报告

Spark streaming动态调整资源调研报告一、需求背景:我们希望spark streaming根据不同时间段的数据量不同（例如高峰期和低谷期），自动调整spark的计算资源（包含CPU和memory大小）。从而，可以在高峰期自动增加计算资源以提升处理能力，在数据量低谷时候自动缩减所需资源量，减少资源浪费。二、 调研情况：2.1 spark on mesos的资源伸缩原理spark...
原创
212阅读
0评论
0点赞
发布博客于 1 年前

elk消费kafka数据延迟过大的问题

elk消费kafka数据延迟过大的问题1.问题现象表述：当前elk作为日志系统消费kafka日志数据有很大的延迟，即elk的消费kafka中日志的速度（200条/s）远远低于maplearning生产日志的速度（平均3000条/s）（吐出的日志topic：log_trialproducetion）；导致从kibana中查询最新的es日志数据的时间远远低于当前时间，在实际生产环境或【预上线】...
原创
1609阅读
0评论
1点赞
发布博客于 1 年前

sonarqube中 项目名称 问题

关于使用sonarqube中的注意事项（1）如果项目中的名称不是你想要的名称​ 图1 两个tms项目，将tms改为CSS-TMS注意修改代码中的工程项目名称即可（2）如果想要设置同一个项目在sonarqube中分别显示两栏如图1所示,只要在打包的时候，idea中terminal中键入如下即可：F:\bigdata\gitlab-workspace\CM-TMS&g...
原创
1253阅读
1评论
1点赞
发布博客于 1 年前

SonarQube + Maven分析代码质量

SonarQube + Maven分析代码质量1.1. sonarqube简介SonarQube是个开源的代码质量管理平台，可以通过多种工具和维度对代码质量进行分析，部分功能还支持可视化，对于代码缺陷一目了然。SonarQube比较开放，支持通过插件扩展功能。支持众多计算机语言，比如 java, C#, go，C/C++, PL/SQL, Cobol, JavaScrip, Groovy 等。...
原创
177阅读
0评论
0点赞
发布博客于 1 年前

docker下es的堆内存设置

由于需要增大es的内存，从1g到2gdocker下es的堆内存设置网上搜到的是这个但是不生效啊，后期使用如下:(若是在dcos云平台上使用的)提示注意：不能加等号=符号；并且不能双引号""。特此记一下。...
原创
1555阅读
0评论
0点赞
发布博客于 1 年前

在VMware中设置CentOS7的网络

在VMware中设置CentOS7的网络https://www.linuxidc.com/Linux/2017-07/145845.htm
转载
51阅读
0评论
0点赞
发布博客于 2 年前

记一次spark中task卡顿引发的血案

记一次spark中task卡顿引发的血案前言提要：（1）当前spark采用粗粒度的执行方式，资源申请都是一次性的完成；不存在后期申请不到资源的情况；（2）数据量很小，每秒100条左右，基本不存在数据倾斜的问题，但是执行的业务流程很复杂；(3)采用spark on mesos的组粒度模式运行1.问题描述：2019年12月24日ML处理30个文件时间很异常超过10h；xx中部分t...
原创
1218阅读
0评论
1点赞
发布博客于 2 年前

(executor 1 exited caused by one of the running tasks) Reason: Executor heartbeat timed out after

WARN TaskSetManager: Lost task 44.0 in stage 1368.0 (TID 17283, 172.19.32.66, executor 1): ExecutorLostFailure (executor 1 exited caused by one of the running tasks) Reason: Executor heartbeat timed o...
原创
821阅读
0评论
0点赞
发布博客于 2 年前

14 ，java 操作 s3 ( 详细教程 )

14 ，java 操作 s3 ( 详细教程 )https://blog.csdn.net/qq_34319644/article/details/101072107ceph s3 对象的上传和删除(JAVA demo)https://blog.csdn.net/yangkang1122/article/details/100095868...
转载
322阅读
0评论
0点赞
发布博客于 2 年前

漫画：如何用Zookeeper实现分布式锁？

漫画：如何用Zookeeper实现分布式锁？漫画：如何用Zookeeper实现分布式锁？ 程序员BUG 2019-11-19 10:00:00 作者：小灰 来源：关注程序员小灰如何用Zookeeper来实现分布式锁呢？这一次我们会为大家详细讲述。什么是临时顺序节点？让我们来回顾一下Zookeeper节点的概念：Zookeeper的数据存储结构就像一棵树，这棵树由节点组成，这种节点叫做Znode...
转载
66阅读
0评论
0点赞
发布博客于 2 年前

Java 程序员常用资源工具集合（建议收藏）

转载：https://www.toutiao.com/i6764747345151132172/搜索资源网站工具类思维导图工具文档笔记平台搜索资源网站学习技术过程我们经常需要使用搜索引擎来检索资料，国内常用的也就是某度了。当然有条件的话，搜索引擎首先还是推荐使用 Google，如果没办法使用，可以使用以下几个作为备用：BingBing 国际版：https://cn.bing.com/比某度好用...
转载
52阅读
0评论
0点赞
发布博客于 2 年前

java批量创建删除Kafka的topic

java批量创建删除Kafka的topic一、前言参考资料：Kafka 0.11客户端集群管理工具AdminClienthttps://blog.csdn.net/u012501054/article/details/805943742.批量创建删除Kafka的topic2.集群管理工具AdminClient （新版本kafka）较为新的版本：Kafka 0.11以上版本上测试的,新的...
原创
643阅读
0评论
0点赞
发布博客于 2 年前

DCOS搭建zookeeper集群搭建

dcos上zookeeper集群搭建参考地址：https://my.oschina.net/dslcode/blog/19447751.在docs上构建zookeeper服务的json脚本{ "id": "/component-test-space/env-test/msg-queue", "groups": [{ "id": "/component-test-space/env-t...
原创
96阅读
2评论
0点赞
发布博客于 2 年前

JedisConnectionException Connection Reset

在使用redis的过程常见错误总结1.JedisConnectionException Connection Reset参考这边文章：Connection reset原因分析和解决方案https://blog.csdn.net/cwclw/article/details/527971311.1问题描述Exception in thread "main" redis.clients....
原创
933阅读
0评论
0点赞
发布博客于 2 年前

为什么要用Redis？Redis为什么这么快？

2019.9.16更新：增加了对缓存雪崩，缓存穿透，缓存击穿的描述。并附上本人对Redis单线程，多线程实现的理解。评论区有一些争执，但是大家都很友善，比如这个单线程是否能让Redis更快尤其是大家争论的重点。（以下单线程仅指Redis负责存取这块的线程只有一个，而非Redis中只有一个进程）我先给个我的结论，单线程的Redis在瓶颈是cpu的io时（这不是大多数应用的实际应用场景），确实速度会比...
转载
264阅读
0评论
0点赞
发布博客于 2 年前

redis-stat监控

redis-stat监控一、参考文献：聊聊redis的监控工具https://www.jianshu.com/p/831bf6c8af4f二、搭建redis-stat1.监控单个redis实例docker run --name redis-stat -p 8080:63790 -d insready/redis-stat --server 192.168.99.100:63791 5 ...
原创
114阅读
0评论
0点赞
发布博客于 2 年前

淘宝双11，亿级流量高并发是怎么抗住的？看完这篇你就明白了

转载自：https://www.toutiao.com/i6757580992090735117/前言双 11 即将来临，本文以设计淘宝网的后台架构为例，介绍从一百个并发到千万级并发情况下服务端的架构的演进过程同时列举出每个演进阶段会遇到的相关技术，让大家对架构的演进有一个整体的认知。文章最后汇总了一些架构设计的原则。基本概念在介绍架构之前，为了避免部分读者对架构设计中的一些概念不了解，下面对...
转载
194阅读
0评论
2点赞
发布博客于 2 年前

docker下postgis12+postgis3.0搭建

docker下postgis12+postgis3.0搭建1.目的本来想找一个postgis3.0的镜像，由于postgis3.0是最新的版本（2019/10/20发布正式版），网上镜像很少，写出来放置自己忘了。2.过程geographica/postgishttps://hub.docker.com/r/geographica/postgisVersionsThis Docker...
原创
1562阅读
2评论
1点赞
发布博客于 2 年前

docker搭建postgresql9.4主从同步复制集群

docker搭建postgresql9.4主从同步复制集群参考文章：Docker + PostgreSQL 主从环境搭建​ https://yq.aliyun.com/articles/641773postgresql9.5主从复制部署文档​ https://blog.51cto.com/wn2100/2238996PostgreSQL建立H...
原创
332阅读
0评论
0点赞
发布博客于 2 年前

docker搭建postgresql9.4主从同步复制集群

docker搭建postgresql9.4主从同步复制集群参考文章：Docker + PostgreSQL 主从环境搭建​ https://yq.aliyun.com/articles/641773postgresql9.5主从复制部署文档​ https://blog.51cto.com/wn2100/2238996PostgreSQL建立H...
原创
976阅读
3评论
2点赞
发布博客于 2 年前

com.mongodb.MongoSocketReadException: Prematurely reached end of stream

异常情况描述com.mongodb.MongoSocketReadException: Prematurely reached end of stream一、异常发生场景当使用mongodb的一主一从一备节点构建的集群，使用java代码连接集群时候，测试主节点master和备用节点slave切换的时候；2019-10-23 20:21:05,972 WARN [org.mongodb.dri...
原创
872阅读
0评论
0点赞
发布博客于 2 年前

docker搭建mongodb高可用集群

docker搭建mongodb集群参考资料：基于 Docker 的 MongoDB 主从集群http://www.imooc.com/article/details/id/258885mongodb: docker-compose一主两从一仲裁副本集模式https://blog.csdn.net/weixin_34117522/article/details/94609770...
原创
1720阅读
2评论
1点赞
发布博客于 2 年前

Redis5.0集群 ： JedisClusterMaxAttemptsException: No more cluster attempts left

问题3 ：JedisClusterMaxAttemptsException: No more cluster attempts left.测试redis5.0 cluster集群高可用性的时候，当杀死master节点之后，java连接rediscluster的代码出现如下错误！具体参见我的博客，这个问题很典型，欢迎解决的朋友们给出解决的办法！https://blog.csdn.net/fct...
原创
2316阅读
0评论
0点赞
发布博客于 2 年前

Redis Cluster 集群模式搭建

Redis集群模式搭建1.集群模式选型redis集群模式的选型https://dl.lenses.stream/d/?id=550f16d9-14ee-458e-97d8-8ecfcbb695e9https://dl.lenses.stream/d/?id=ac2a62f3-1fa5-41ac-95ec-fcbb33eb37fd2.文献参考搭建redis5.0集群https://ww...
原创
65阅读
0评论
0点赞
发布博客于 2 年前

使用java代码连接RedisCluster集群实现

Redis集群学习须知1.redis集群的常见搭建方式：划分大概是5种方式2.Redis集群的原理和机制3.学会搭建一个Redis集群4.测试搭建好的集群：连接测试，高可用性测试已经建设好的集群类似如下方式：采用对key做hash后，分到不同区段的slot的方式，同时master节点宕机，slave节点切换顶替。实现redis高负载和高可用。3.1 使用java代码连接RedisC...
原创
2857阅读
2评论
0点赞
发布博客于 2 年前

掌握Docker高频操作

掌握Docker高频操作以Docker为代表的轻量级容器技术的角度来审视完全虚拟化技术，虚拟机系统既浪费资源又难以管理，更重要的是还不安全。让Docker为我们工作没有Docker镜像，Docker什么也干不了，幸运的是，Docker默认有Docker Hub这个镜像仓库可用。简而言之，让Docker工作并不复杂，只需搜索并选择合适的Docker镜像，然后pull下来并基于该镜像创建和运行...
原创
59阅读
0评论
0点赞
发布博客于 2 年前

小米面试题

转载：https://www.aboutyun.com/thread-25626-1-1.html小米面试题1、java面向对象的三大特征是什么？2、jvm垃圾回收机制3、进程和线程的区别：4、排序算法你会多少种，时间复杂度和稳定性是怎样的？怎样判定稳定性？5、HashMap的底层原理：6、红黑树的原理：7、hive的原理：8、zookeeper的原理，数据一致性怎样保证9、j...
转载
71阅读
0评论
0点赞
发布博客于 2 年前

使用docker搭建kafka-lenses

今天发现一个好东西！一键搭建kafka+zookeeper+kafka监控；kafka-lenses实现一键搭建kafka+zookeeper+kafka监控一、问题背景常规的搭建方法，需要分别搭建kafka服务、zookeeper服务，然后是监控kafka的服务，例如kafka-eagle.kafka-Monitor等监控组件。使用docker搭建kafka-lenses之后，完全都拥...
原创
1051阅读
0评论
1点赞
发布博客于 2 年前

jira-confluence-openfire集成、迁移与消息提醒

jira-confluence安装与关联一、目的根本目的：该总做隶属于“高效团队计划”工作一部分，jira作为任务分派与任务节点控制系统软件，confluence作为文档、图片等资源共享的wiki计划的一部分（部门知识库），openfire作为jira插件，完成即时消息通知功能；一、安装与连接：1.安装jira参考：https://www.jianshu.com/p/b95ceabd3e...
原创
265阅读
0评论
1点赞
发布博客于 2 年前

docker使用步骤

docker使用步骤：会学习的人，都是站在巨人的肩膀上。此处，找到几篇docker好文章，分享一下！1.基础篇Docker(一)：Docker入门教程Docker(二)：Dockerfile 使用介绍Docker(三)：Dockerfile 命令详解ps加上这个：docker常用命令入门https://www.runoob.com/docker/docker-hello-world....
原创
63阅读
0评论
0点赞
发布博客于 2 年前

redis-dump导入导出Redis数据

使用redis-dump导入导出Redis数据一、环境说明1.我们是在docker虚拟机中搭建的redis，所以此处设计的导入导出分为两种情况：导入导出Redis中单个solt中数据；（目前我操作的是这种，可以指定要导出哪一个solt）导入导出所有solt中所有数据（是上面的特殊情况）2.redis库的备份与还原（这个暂时不讨论）涉及Redis持久化和相应命令（dump.rdb）...
原创
627阅读
0评论
0点赞
发布博客于 2 年前

docker安装nexus3.0配置、使用

Nexus创建Maven私服说明参考文献;https://blog.csdn.net/trustyourself1/article/details/80423569https://www.jb51.net/article/152942.htm一、私服介绍私服是指私有服务器，是架设在局域网的一种特殊的远程仓库，目的是代理远程仓库及部署第三方构建。有了私服之后，当 Maven 需要下载构件时，...
原创
2938阅读
0评论
0点赞
发布博客于 2 年前

Docker安装最新nexus3.18初始账号密码登录失败问题

Docker安装最新nexus3.18初始账号密码登录失败问题参考文章：https://www.cnblogs.com/wbl001/p/11154828.html安装常规的docker搭建nexus过程启动容器之后是这样，其实还没有登录进入（之前刚开始我以为我已经不需要登录了，已经进入nexus操作界面了），使用账号admin和密码admin123登录，发现登录失败。后期参考文章http...
原创
1593阅读
0评论
0点赞
发布博客于 2 年前

个别task导致spark任务整体变慢的问题总结

个别task导致spark任务整体变慢的问题总结问题：个别task速度慢而拖慢整体任务的问题现象描述：1.stage1阶段中的kafka的receiver接受kafka中不同partiton中的相同批次中拉取的记录条数record不同，导致同一个批次的不同task处理时间偏长(处理任务时间倾斜)这个要结合业务进行优化（是否可以对kafka分区中对key做hash分区的时候离散化？）2....
原创
1799阅读
0评论
1点赞
发布博客于 2 年前

Spark-steamming性能变慢的问题分析-内存分析

Spark-steamming性能变慢的问题分析知识背景：需要从spark的DAG优化、内存、CPU、序列化、shuffle磁盘读写、GC回收情况请角度考虑相应的问题。1.在集群中spark内存现状：[外链图片转存失败(img-bL8CCXXb-1566547586815)(C:\Users\user\AppData\Roaming\Typora\typora-user-images\156...
原创
355阅读
0评论
0点赞
发布博客于 2 年前

spark streaming无缝切换job之实践

spark streaming无缝切换job之实践**方案主要内容：**通过并行运行两个job，同时保证数据不丢失和中间状态相同，并行运行自然无缝切换；最终保证的是结果计算的最终一致性。1.该方案需要解决的问题：1.保证kafka中数据不丢失（at last once）；2.对增量更新状态的保存（Redis已经做了）。3.生产中首次消费积压的数据的时候，数据量过大导致OOM的...
原创
175阅读
0评论
0点赞
发布博客于 2 年前

JVM内存调优-优秀文章参考

1.JVM内存分配担保机制https://mp.weixin.qq.com/s?__biz=MzA5MzQ2NTY0OA==&mid=2650797224&idx=1&sn=5819bd097e6dabab34db382be2d0182c&chksm=885629f7bf21a0e1fe382626f8d272ee9c4066109f329ef93a205c29e...
原创
162阅读
0评论
1点赞
发布博客于 2 年前

一篇文章看懂java反射机制（反射实例化对象-反射获得构造方法,获得普通方法,获得字段属性）

一篇文章看懂java反射机制（反射实例化对象-反射获得构造方法,获得普通方法,获得字段属性）https://www.cnblogs.com/cs-lcy/p/7397955.html
转载
135阅读
0评论
0点赞
发布博客于 2 年前

记一次spark-streaming性能优化的经历

//知识，哪怕是知识的幻影，也会成为你的铠甲，保护你不被愚昧反噬记一次spark-streaming性能优化的经历记一次spark-streaming性能优化的经历：1.优化后效果：一个job执行时间有原来的3min，优化之后提升到40s，性能提升4倍；2.原因分析与解决方法优化前原始spark-steaming程序，跑的特别慢，原因分析：（1）主要问题是使用repatition函数...
原创
546阅读
0评论
3点赞
发布博客于 2 年前

Java操作es的问题与案例 demo

Java操作es的问题与案例 demo问题1：No Log4j 2 configuration file foundERROR StatusLogger No Log4j 2 configuration file found. Using default configuration (logging only errors to the console), or user programmat...
原创
828阅读
0评论
1点赞
发布博客于 2 年前

elasticsearch-head，集群健康值：未连接

es安装插件head，显示未连接一、第一步确保，当前的ES和es-head都已经启动起来了。例如检查ES启动：检查进程或启动日志；或者在浏览器中输入使用你的安装ES的主机IP:9200，直接返回浏览器返回如下字符串。{ "name" : "erFvgr_", "cluster_name" : "elasticsearch", "cluster_uuid" : "j4SXovqvR...
原创
4344阅读
0评论
3点赞
发布博客于 2 年前

Spark性能调优之合理设置并行度

转载：https://www.2cto.com/net/201801/716312.htmlSpark性能调优之合理设置并行度1.Spark的并行度指的是什么？spark作业中，各个stage的task的数量，也就代表了spark作业在各个阶段stage的并行度！当分配完所能分配的最大资源了，然后对应资源去调节程序的并行度，如果并行度没有与资源相匹配，那么导致你分配下去的资源都浪费掉了。同...
转载
305阅读
0评论
0点赞
发布博客于 2 年前

列出key：根据前缀批量查询aws S3的数据文件

java读写操作S31.根据实现批量查询并下载数据1.根据这是阿里云的S3，与aws的S3的java API基本类似http://aliyun_portal_storage.oss.aliyuncs.com/oss_api/oss_javahtml/object.html#id6可以参考aws自己的操作S3的的官方文档https://docs.aws.amazon.com/zh_cn/s...
原创
2686阅读
7评论
1点赞
发布博客于 2 年前

java作业调度系统的demo

简单作业调度系统demo思考：工程思想目标1.可配置2.稳定性2.可扩展3.高性能1.作业调度系统的需求背景：由A城的人员在web上发出http请求，从city1的aws s3上按照指定作业http请求，发起查询某时间段的数据，并将数据发送到指定的http端口地址，同时在city2使用flume获取http的数据流，并将数据转换为文件sink到本地的磁盘。2....
原创
309阅读
0评论
0点赞
发布博客于 2 年前

spark streaming中shuffling后partition数量

spark-streaming中shuffle后patitation总结使用reduceByKey时候,在shuffle阶段的reduce时候，其使用的RDD的partation数量的源码解释如下：/** * Return a new DStream by applying `reduceByKey` to each RDD. The values for each key are ...
原创
335阅读
0评论
0点赞
发布博客于 2 年前

kafka+flume+kafka中问题.pdf

flume从kafka读取数据，然后再sink到kafka中， 这种场景下会出现问题。 (1)现象表示为： flume从kafka读取数据,sink的sinkTopic中没有数据，也无法从sinkTopic中读取数据； (2)原因分析: 如果在一个Flume Agent中同时使用Kafka Source和Kafka Sink来处理events，便会遇到Kafka Topic覆盖问题，具体 表现为，Kafka Source可以正常从指定的Topic中读取数据，但在Kafka Sink中配置的目标Topic不起作用，数据仍然 会被写入到Source中指定的Topic中。
pdf
发布资源于 2 年前

aws-general.pdf

AWS 一般参考 这是 Amazon Web Services 一般参考。 内容 • AWS 区域和终端节点 (p. 2) • AWS 安全凭证 (p. 160) • Amazon 资源名称 (ARN) 和 AWS 服务命名空间 (p. 174) • 签署 AWS API 请求 (p. 212) • AWS 服务限制 (p. 248) • AWS 的 IP 地址范围 (p. 332) • AWS 中的错误重试和指数退避 (p. 340) • AWS 开发工具包对 Amazon S3 客户端加密的支持 (p. 342) • 需要 AWS 账户根用户凭
pdf
发布资源于 2 年前

使用 AWS SDK for Java 获取对象

使用 AWS SDK for Java 获取对象使用的maven包是 <dependency> <groupId>org.apache.httpcomponents</groupId> <artifactId>httpclient</artifactId> ...
原创
1000阅读
0评论
1点赞
发布博客于 2 年前

flume接受数据流并sink到aws S3

flume接受数据流并sink到aws S3一、问题描述场景问题：flume接受http中数据，并将文件名称写入flume的event中的header中(header存储时候是<key1,value1>形式)，需要flume接受source端的数据流，并解析其中的相应字段之后，sink到S3中。提示：解析出header中的filename字段要作为文件名称，并保存event消息对...
原创
900阅读
0评论
0点赞
发布博客于 2 年前

使用Ganglia监控Flume

参考资料;https://www.cnblogs.com/LXL616/p/10971229.htmlHadoop生态圈-使用Ganglia监控flume中间件使用Ganglia监控Flume注意我是用的是CentOS7.0的版本，与centos6.x之间配置有细微区别 本文是在原来作者的基础上修改的。4.1 Ganglia 的安装与部署1) 安装 httpd 服务与 php[atg...
原创
420阅读
2评论
0点赞
发布博客于 2 年前

ELK搭建过程中遇到的问题

ELK搭建过程中遇到的问题ElasticSearch+kibana+logstash监控和分析系统https://blog.csdn.net/jklfjsdj79hiofo/article/details/72355167我是用的版本组合（注意版本之间的组合）：kibana-6.0.1-linux-x86_64.tar.gzelasticsearch-6.0.1.tar.gzlogst...
原创
2018阅读
0评论
1点赞
发布博客于 2 年前

java 使用amazon s3接口访问本地ceph rgw

java 使用amazon s3接口访问本地ceph rgw参考文章：https://blog.csdn.net/wxmvp009/article/details/79854981场景区别：场景1.使用aws S3的java接口api访问ceph rgw上搭建的S3文件系统。（本文讲的是这种场景 ）场景2: 使用aws S3的API直接访问aws S3云存储的存储桶bucket使用ja...
原创
2540阅读
7评论
1点赞
发布博客于 2 年前

spark streaming从kafka接收的简单demo

准备工作，需要配置本地scala环境，配置方法见我的另外一篇博客：https://blog.csdn.net/fct2001140269/article/details/93978940一、pom.xml配置我的pom.xml也一并贴出，方便小伙伴们参考：<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="htt...
原创
289阅读
0评论
1点赞
发布博客于 2 年前

搭建运行spark streaming过程遇到的问题

搭建运行spark streaming过程遇到的问题问题描述：完成spark streaming之后执行mvn package之后出现如下错误：Failed to execute goal org.scala-tools:maven-scala-plugin:2.15.2:testCompile (default) on project ProjectXXX出现问题原因:这个问题，是...
原创
251阅读
2评论
0点赞
发布博客于 2 年前

OffsetOutOfRangeException: Offsets out of range with no configured reset policy for partitions

问题描述：OffsetOutOfRangeException: Offsets out of range with no configured reset policy for partitions运行SparkStreming程序一段时间后，发现产生了异常：19/06/26 03:05:30 ERROR JobScheduler: Error running job streaming j...
原创
6365阅读
0评论
1点赞
发布博客于 2 年前

kafka-flume-kafka模式中存在的问题

kafka-flume-kafka模式中存在的问题flume从kafka读取数据，然后再sink到kafka中，这种场景下会出现问题。(1)现象表示为：flume从kafka读取数据,sink的sinkTopic中没有数据，也无法从sinkTopic中读取数据；(2)原因分析:如果在一个Flume Agent中同时使用Kafka Source和Kafka Sink来处理events，便会...
原创
485阅读
0评论
0点赞
发布博客于 2 年前

kafka+flume+aws S3安装与配置

kafka+flume+aws S3安装与配置一、下载并解压、安装相应的版本hadoop版本为2.9.2，flume的_本为1.9.0下载hadoop地址为：https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.9.2/hadoop-2.9.2.tar.gz下载flume地址：https://mirrors.t...
原创
1434阅读
0评论
0点赞
发布博客于 2 年前

flume在win10环境上的使用（入门：监控网络端口）

flume在windows10环境上的使用一、场景问题描述【主题】使用flume监听网络的socket端口的消息变化，将flume的监控结果打印到控制台二、解决flume在windows10上运行的问题：1.windows PowerShell需要使用管理员权限 【这个可能不是必须的，只是我在测试的过程使用过而已】https://jingyan.baidu.com/article/09e...
原创
489阅读
0评论
0点赞
发布博客于 2 年前

常见bigdata面试问题总结

JS云:1.说一下hbase的读写流程，借助于zookeeper实现2.hdfs的读写流程3.flink的原理流程，整个提交执行的流程是什么样的，其中的task和DAG图构建过程，并做了哪些优化？4.kafka数据多副本备份过程节点挂了，怎么保证可靠性。挂了的节点上对应的leader和follower怎么响应；5.kafka中的优化有哪些6.大数据的集群参与的优化有哪些？比如数据倾斜...
原创
164阅读
0评论
0点赞
发布博客于 2 年前

flink运行过程中常见错误总结

错误1.flink常见错误flink错误提示：missing parameter typeError:(24, 15) reference to StreamExecutionEnvironment is ambiguous;it is imported twice in the same scope byimport org.apache.flink.streaming.api.scal...
原创
3884阅读
1评论
1点赞
发布博客于 2 年前

排序算法之：归并排序

排序算法之：归并排序归并排序的思想：归并的思想是分治法的思想，首先对已知数组自上而下递归地分割程序两份，直达最后不能再分为止，然后对已有的子数组(两个部分)比较大小后自下而上合并为一个数组，然后将合并的数组拷贝到原来的数组即可；空间复杂度为：O(n)，是因为合并的过程中需要一个辅助的数组；时间复杂度为：O(nlogn)，是一种稳定的排序算法；package suanfa.mysort;...
原创
75阅读
0评论
0点赞
发布博客于 2 年前

十余年BAT架构经验倾囊相授

原文地址：https://www.toutiao.com/a6677190794085925389/十余年BAT架构经验倾囊相授推荐阅读1、拜托！面试请不要再问我Spring Cloud底层原理！2、微服务注册中心如何承载大型系统的千万级访问？3、「性能优化之道」每秒上万并发下的Spring Cloud参数优化实战4、「“剁手党”狂欢的背后」微服务架构如何保障99.99%的高可用？5、兄弟，用...
转载
80阅读
0评论
0点赞
发布博客于 2 年前

Java中 synchronized到底锁住的是什么？

Java中 synchronized到底锁住的是什么？使用环境：多线程java程序中。作用：在多线程的环境下，控制synchronized代码段不被多个线程同时执行。synchronized既可以加在一段代码上，也可以加在方法上。使用：synchronized锁住的是括号里的对象，而不是代码。对于非static的synchronized方法，锁的就是对象本身也就是this。通过以下三个案例...
原创
244阅读
0评论
1点赞
发布博客于 2 年前

多线程死锁问题 +案例

多线程死锁问题：一、什么是死锁和原因？死锁的四个条件：（互斥、不可剥夺、请求持有、循环等待）最根本原因是：线程在获得一个锁L1的情况下再去申请另外一个锁L2，也就是锁L1想要包含了锁L2，也就是说在获得了锁L1，并且没有释放锁L1的情况下，又去申请获得锁L2，这个是产生死锁的最根本原因**。另一个原因是**默认的锁申请操作是阻塞的。二、手写一个java多线程的死锁案例？案例1：锁定类变量...
原创
103阅读
0评论
0点赞
发布博客于 2 年前

大数据疑问总结

1.Storm与Flink怎样写出符合并发的程序？静态与动态，不变缓存的尽量加载一次；2.封装与模块化思想？类与方法？示例，一次编写，到处运行（过滤港口和锚地代码）；3.对象序列化？storm与flink中的区别，各个-组件之间的序列化问题；【各个算子是否需要序列化，怎样避免序列化】4.内存中怎样减少FullGC,对象复用；5.Flink中初始化几次，开启并发的情况呢，放在A: prepa...
原创
208阅读
0评论
0点赞
发布博客于 2 年前

Could not initialize keyed state backend--Flink恢复失败

Flink从checkpoint中恢复时候出现如下错误 Could not initialize keyed state backendMap (5/5)Timestamp: 2019-03-26, 13:41:53 Location: hd6:41889java.lang.IllegalStateException: Could not initialize keyed state bac...
原创
561阅读
0评论
0点赞
发布博客于 2 年前

Flink常见的关键技术与特性详解

转载：http://bigdata.51cto.com/art/201702/531036.htm Flink常见的关键技术与特性详解 Flink项目是大数据处理领域最近冉冉升起的一颗新星，其不同于其他大数据项目的诸多特性吸引了越来越多的人关注Flink项目。本文将深入分析Flink一些关键的技术与特性，希望能够帮助读者对Fli...
转载
265阅读
0评论
0点赞
发布博客于 2 年前

为什么有人的人生跟开了挂一样？

转载知乎：《为什么有人的人生跟开了挂一样》知乎超10000赞文章！为什么有人的人生跟开了挂一样？Aug.25灼见（微信号：penetratingview)作者丨另维来源丨另维和Yellow01活到这个年纪，最该自己做决定的事都被爸妈决定了发小离婚了，27岁。我们陪他撸串喝酒。他衬衫不合身，大肚便便，头皮屑若隐若现，已经有了油腻中年的征兆。不仔细看，真看不出他是个五官精致，瘦下...
转载
577阅读
0评论
1点赞
发布博客于 2 年前

postgresql数据库表的备份与还原

postgresql数据库表的备份与还原备份pg_dump -U postgres -t shipping_shiptype_to_country -f ./shipping_shiptype_to_country.sql futures_data恢复 psql -U postgres -d futures_data_online -f ./shipping_shiptype_to_co...
原创
2112阅读
0评论
0点赞
发布博客于 2 年前

Flink检查点失败问题-汇总

flink从检查点中恢复的问题从检查点恢复的时候，命令 ./flink run -s hdfs://192.xxx.xxx.xx:port/data1/flink/checkpoint1 -c com.mymain.MyTestMain报出以下错误：java.util.concurrent.CompletionException: org.apache.flink.util.FlinkExc...
原创
6775阅读
0评论
5点赞
发布博客于 2 年前