大数据技术
文章平均质量分 89
fct2001140269
大数据架构、地理信息系统
展开
-
XX数字中台技术栈及能力
XX数字中台面向数据开发者、数据管理者和数据应用者,提供数据汇聚、融合、治理、开发、挖掘、共享、可视化、智能化等能力,实现数据端到端的全生命周期管理,以共筑数字基础底座,共享数据服务能力,数字化赋能为战略,助力企业数字化转型。原创 2024-05-20 16:14:14 · 1413 阅读 · 0 评论 -
[安装] 搭建hadoop集群
参考资料:Hadoop集群搭建,14张过程截图超详细教程目录目录hadoop集群构建 for ljgk一、基础环境准备修改主机名称配置yum源1. 局域网中配置代理环境2.或者使用私有的yum源的方式关闭防火墙配置ip映射集群免密登录修改操作系统最大打开文件数(句柄数量)设置服务器时间同步二、构建hadoop集群安装jdk添加hadoop用户,并赋予权限(强烈推荐做)修改hadoop配置文件(不完全配置)格式化hdfs的节点验证部署结果[参考文档]HDFS新增节点与删除节点待完成(非紧急)搭建集群之前的准备原创 2022-12-07 11:23:37 · 1027 阅读 · 0 评论 -
[设计] Doris血缘解析流程
当前,数据血缘大多是对SQL语句进行解析,以发现上下游调用栈等信息。主流方案可分为两种:● 运行时解析,即在任务运行时通过hook接口或者listener接口对SQL生成的逻辑技术树(AST)进行解析。● 先采集后解析,即通过采集程序把各个计算引擎的SQL统一采集到mq进行血缘解析。原创 2022-12-07 11:05:36 · 3004 阅读 · 3 评论 -
[选型] 实时数仓之技术选型
关于实时数仓的选型● 如果选择hbase,建议选择kudu● 如果选择kudu, 还可以选择doris● 如果选择doris,建议选择iceberg原创 2022-12-07 10:57:34 · 2929 阅读 · 0 评论 -
[安装] HIVE搭建环境
生产环境hive集群架构原创 2022-12-07 10:40:24 · 285 阅读 · 0 评论 -
[安装] Doris集群搭建环境
doris安装方式选择:关于两种方式的选择,使用源码安装可以在系统环境与选择二进制安装所依赖的底层操作系统差异很大的情况下,直接使用源码编译的方式,成功率更高;如果与doris官方要求的依赖环境接近,可以直接使用二进制的安装更快速、便捷;原创 2022-12-07 10:36:35 · 1780 阅读 · 0 评论 -
[2021-09-29]一文弄懂RPC/序列化
一、问题思考面对大数据系统中几乎每天都会遇到的概念,序列化协议、PRC协议的区别与联系,你真的可以分清楚吗?常见的PRC协议有哪些?常见的序列化协议有哪些?序列化协议、PRC协议有什么关系?相等or包含?thrift是序列化协议还是rpc协议?如果你的反应是这个表情,那么就一起来温故知新吧~免责声明:本文并不在于理解源码或者技术细节,而在于统一某一方面的认知。内容简介:PRC为什么PRCRPC是什么一个经典的PRC简化后的PRC的核心的组成RPC调用过程手撕PRC代码原创 2021-09-29 17:44:12 · 363 阅读 · 0 评论 -
Spark history UI历史监控构建
typora-copy-images-to: …\typora-pictureSpark history UI历史监控构建created by fangchangtan | 202006091 构建历史spark ui回放功能的目的 spark steaming运行过程中,如果spark streamming程序异常终止,则spark ui后台线程立即消失,导致后期追踪恢复spark问题现场困难,此时只能通过spark的日志来发现问题,但是spark的日志本身保存时间短(2天),日志中可.原创 2020-06-18 11:23:08 · 996 阅读 · 0 评论 -
大数据组件监控体系构建
大数据监控体系构建基于开源xxx_exporter+promethues+grafana的构建监控系统1.概况其中,exporter一般是使用来采集各种组件运行时的指标数据;promethues构建指标时序数据库;grafana构建指标显示面板;目前已有各种docker容器方便的构建各种监控体系;2.详细构建过程其中我的promethues的配置如下:#全局配置信息:glob...原创 2020-03-20 22:11:23 · 1070 阅读 · 0 评论 -
Spark streaming动态调整资源-调研报告
Spark streaming动态调整资源调研报告一、需求背景:我们希望spark streaming根据不同时间段的数据量不同(例如高峰期和低谷期),自动调整spark的计算资源(包含CPU和memory大小)。从而,可以在高峰期自动增加计算资源以提升处理能力,在数据量低谷时候自动缩减所需资源量,减少资源浪费。二、 调研情况:2.1 spark on mesos的资源伸缩原理spark...原创 2020-02-10 09:53:29 · 535 阅读 · 0 评论 -
记一次spark中task卡顿引发的血案
记一次spark中task卡顿引发的血案前言提要:(1)当前spark采用粗粒度的执行方式,资源申请都是一次性的完成;不存在后期申请不到资源的情况;(2)数据量很小,每秒100条左右,基本不存在数据倾斜的问题,但是执行的业务流程很复杂;(3)采用spark on mesos的组粒度模式运行1.问题描述:2019年12月24日ML处理30个文件时间很异常超过10h;xx中部分t...原创 2019-12-27 14:54:29 · 3302 阅读 · 0 评论 -
(executor 1 exited caused by one of the running tasks) Reason: Executor heartbeat timed out after
WARN TaskSetManager: Lost task 44.0 in stage 1368.0 (TID 17283, 172.19.32.66, executor 1): ExecutorLostFailure (executor 1 exited caused by one of the running tasks) Reason: Executor heartbeat timed o...原创 2019-12-26 20:06:15 · 3184 阅读 · 0 评论 -
漫画:如何用Zookeeper实现分布式锁?
漫画:如何用Zookeeper实现分布式锁?漫画:如何用Zookeeper实现分布式锁? 程序员BUG 2019-11-19 10:00:00 作者:小灰 来源:关注程序员小灰如何用Zookeeper来实现分布式锁呢?这一次我们会为大家详细讲述。什么是临时顺序节点?让我们来回顾一下Zookeeper节点的概念:Zookeeper的数据存储结构就像一棵树,这棵树由节点组成,这种节点叫做Znode...转载 2019-12-02 00:11:34 · 217 阅读 · 0 评论 -
Redis5.0集群 : JedisClusterMaxAttemptsException: No more cluster attempts left
问题3 :JedisClusterMaxAttemptsException: No more cluster attempts left.测试redis5.0 cluster集群高可用性的时候,当杀死master节点之后,java连接rediscluster的代码出现如下错误!具体参见我的博客,这个问题很典型,欢迎解决的朋友们给出解决的办法!https://blog.csdn.net/fct...原创 2019-10-21 16:03:59 · 4595 阅读 · 0 评论 -
在使用Flink广播变量broadcast时遇到的坑
在使用Flink广播变量遇到的坑如下代码中需要特别注意:(1)需要手动导入org.apache.flink.api.scala._(2)需要手动导入scala.collection.JavaConverters._【如果不手动导入该包,导致asScala使用隐式转换失败】package testbrocastimport org.apache.flink.api.common.fun...原创 2018-11-23 20:00:57 · 3291 阅读 · 3 评论 -
flink读取hdfs上多路径的文件
flink上多路径的文件支持似乎不太友好,目前没有找到更好的办法。在spark下可以使用的/root/data/20170101//root/data/20170102//root/data/20170103/…/root/data/20170201//root/data/20170202/…比如读取二月份的所有数据可以使用如下spark可以使用hdfs://hostname:9...原创 2018-12-29 10:07:37 · 6684 阅读 · 6 评论 -
flink on yarn模式
在flink on yarn模式中,flink yarn-session的两种提交方式两种提交方式1.yarn-session为flink app开辟公用资源在yarn中初始化一个flink集群,开辟指定的资源,以后提交任务都向这里提交。这个flink集群会常驻在yarn集群中,除非手工停止。2.每个job提供一个yarn-session每次提交都会创建一个新的flink集群,任务之间互...原创 2018-12-29 09:43:48 · 665 阅读 · 0 评论 -
在Flink集群搭建和使用中遇到的坑
一、项目概况使用Flink测试中间状态设置checkpoint和从checkpoint中恢复。二、搭建中出现的问题Flink的集群搭建中需要配置中间状态缓存的路径(项目中使用到的是在hdfs中存储中间状态)在集群中需要配置的项目是(如果需要中间状态的保存,这个必须的):##配置使用的web接口,用来访问集群。默认应该也可以jobmanager.web.address: 192.168....原创 2018-12-06 20:02:33 · 2423 阅读 · 0 评论 -
创建topic时没有设置好正确的replication-factor
参考文章:https://blog.csdn.net/russle/article/details/83421904一、问题描述实际项目中我们可能在创建topic时没有设置好正确的replication-factor,(默认情况为1份),导致kafka集群虽然是高可用的,但是该topic所在的broker宕机时,可能发生无法使用的情况。topic一旦使用又不能轻易删除重建,因此动态增加副本因...原创 2018-11-16 13:41:15 · 9625 阅读 · 0 评论 -
Flink提交运行中常见问题总结
Flink提交运行中常见问题总结一、问题11.问题描述:提交jar到Flink集群时候出现:java.util.ServiceConfigurationError: org.apache.hadoop.fs.FileSystem: Provider org.apache.hadoop.fs.viewfs.ViewFileSystem could not be instantiated可...原创 2018-12-19 16:29:10 · 7369 阅读 · 5 评论 -
运行中的Storm集群修,改配置参数后重启失败的问题
一、问题描述:对于已经搭建好的Storm集群,启动后上面已经运行很多topology,此时想要修改storm的集群配置参数(storm.yarm)后重新启动集群,虽然storm中nimbus和web-ui进程能够正常启动,但是实际后台ui的日志总是报错,而且尝试在localhost:8080打开storm ui的时候也一直刷新不出来。二、问题分析与解决办法:storm 的web-ui一直刷新...原创 2018-12-03 21:53:48 · 671 阅读 · 0 评论 -
大数据工程师面试题--7
转载自:https://blog.csdn.net/u011682879/article/details/558038479. 面试问题:1.从前到后从你教育背景(学过哪些课)到各个项目你负责的模块,问的很细(本以为他是物理学博士,但是所有的技术都懂)2.hadoop 的 namenode 宕机,怎么解决先分析宕机后的损失,宕机后直接导致client无法访问,内存中的元数据丢失,但是硬盘...转载 2018-11-28 00:19:03 · 804 阅读 · 0 评论 -
sparkSQL实战详解
转载自:https://www.cnblogs.com/hadoop-dev/p/6742677.html摘要          如果要想真正的掌握sparkSQL编程,首先要对sparkSQL的整体框架以及sparkSQL到底能帮助我们解决什么问题有一个整体的认识,然后转载 2018-11-26 14:28:35 · 182 阅读 · 0 评论 -
Storm与Flink的比较
Storm与Flink的比较比较项StormFlink状态管理无状态,需用户自行进行状态管理有状态窗口支持对事件窗口支持较弱,缓存整个窗口的所有数据,窗口结束时一起计算窗口支持较为完善,自带一些窗口聚合方法,并且会自动管理窗口状态。消息投递At Most Once At Least OnceAt Most Once At Least Once ...原创 2018-11-25 11:27:34 · 6462 阅读 · 0 评论 -
Flink中的序列化失败问题 和transent声明
最近在Flink的的map算子中使用了自义定类(实现richMapFunction)来序列化中存在的问题?一、背景介绍在编写Spark程序中,由于在map等算子内部使用了外部定义的变量和函数,从而引发Task未序列化问题。然而,Spark算子在计算过程中使用外部变量在许多情形下确实在所难免,比如在filter算子根据外部指定的条件进行过滤,map根据相应的配置进行变换等。为了解决上述Task未...原创 2018-11-28 21:56:51 · 5206 阅读 · 1 评论 -
Flink学习点
Flink 基本工作原理https://blog.csdn.net/sxiaobei/article/details/80861070Flink流计算编程–状态与检查点 (五颗星)https://blog.csdn.net/lmalds/article/details/51982696Flink原理与实现:详解Flink中的状态管理https://blog.cs...原创 2018-11-19 23:57:54 · 147 阅读 · 0 评论 -
HBase设计原则
HBase设计原则HBase是一个分布式数据库,其性能的好坏主要取决于内部表的设计和资源的分配是否合理。7.1、Rowkey设计rowkey是HBase实现分布式的基础,HBase通过rowkey范围划分不同的region,分布式系统的基本要求就是在任何时候,系统的访问都不要出现明显的热点现象,所以rowkey的设计至关重要,一般我们建议rowkey的开始部分以hash或者MD5进行散列,尽...转载 2018-11-23 23:58:23 · 593 阅读 · 0 评论 -
HBase常见面试问题
1.hbase在从StoreMemery刷新到HFile时候,是否对写有影响??memstore在不同的条件下会触发数据刷盘,那么整个数据在刷盘过程中,对region的数据写入等有什么影响?memstore的数据刷盘,对region的直接影响就是:在数据刷盘开始到结束这段时间内,该region上的访问都是被拒绝的,这里主要是因为在数据刷盘结束时,RS会对改region做一个snapshot,同时...原创 2018-11-23 23:50:33 · 903 阅读 · 0 评论 -
flink-on-yarn解读
相关参考资料: https://blog.csdn.net/wangweislk/article/details/79081769 【好文欣赏】在安装和flink相关包的机器上执行如下命令 (此处已经配置好flink环境变量):1.使用yarn-session启动相应的容器资源,初始化一个flink集群HADOOP_HOME=/hadoop/hadoop-2.7.2/ HADOOP_C...原创 2019-03-04 15:57:06 · 452 阅读 · 0 评论 -
Flink检查点失败问题-汇总
flink从检查点中恢复的问题从检查点恢复的时候,命令 ./flink run -s hdfs://192.xxx.xxx.xx:port/data1/flink/checkpoint1 -c com.mymain.MyTestMain报出以下错误:java.util.concurrent.CompletionException: org.apache.flink.util.FlinkExc...原创 2019-03-21 23:49:41 · 12564 阅读 · 0 评论 -
Flink日志输出查看方式
在网上查看flink日志查看方式,竟然查询不到,因此写下这篇文章,给有此困惑的小盆友们,也给自己做个总结!前情提要:我是通过flink web ui提交的flink任务的,因此通过flink ui查看自身控制台打印输出的。第一步:打开flink的Dashboard看到TaskManager的控制面板之后,点击右侧的具体job所在的taskManager主机进入如下界面,点迹Stdou...原创 2019-03-08 10:28:52 · 40579 阅读 · 18 评论 -
shell脚本启动与关闭zookeeper集群
zookeeper集群shell脚本启动与关闭提示:适用于使用shell脚本控制zookeeper集群的启动与关闭:使用前准备工作介绍脚本介绍启动与关闭zk集群一、使用前准备工作介绍: 1.zookeeper安装目录/hadoop/zookeeper-3.4.10 2.配置好环境变量 3.三台主机(或者是虚拟机)修改了主机名、关闭了防火墙、并配...原创 2018-07-01 22:05:08 · 1941 阅读 · 0 评论 -
docker安装nexus3.0配置、使用
Nexus创建Maven私服说明参考文献;https://blog.csdn.net/trustyourself1/article/details/80423569https://www.jb51.net/article/152942.htm一、私服介绍私服是指私有服务器,是架设在局域网的一种特殊的远程仓库,目的是代理远程仓库及部署第三方构建。有了私服之后,当 Maven 需要下载构件时,...原创 2019-09-04 18:49:53 · 4093 阅读 · 0 评论 -
Docker安装最新nexus3.18初始账号密码登录失败问题
Docker安装最新nexus3.18初始账号密码登录失败问题参考文章:https://www.cnblogs.com/wbl001/p/11154828.html安装常规的docker搭建nexus过程启动容器之后是这样,其实还没有登录进入(之前刚开始我以为我已经不需要登录了,已经进入nexus操作界面了),使用账号admin和密码admin123登录,发现登录失败。后期参考文章http...原创 2019-09-04 15:16:28 · 2033 阅读 · 0 评论 -
spark streaming无缝切换job之实践
spark streaming无缝切换job之实践**方案主要内容:**通过并行运行两个job,同时保证数据不丢失和中间状态相同,并行运行自然无缝切换;最终保证的是结果计算的最终一致性。1.该方案需要解决的问题:1.保证kafka中数据不丢失(at last once);2.对增量更新状态的保存(Redis已经做了)。3.生产中首次消费积压的数据的时候,数据量过大导致OOM的...原创 2019-08-23 15:58:14 · 333 阅读 · 0 评论 -
个别task导致spark任务整体变慢的问题总结
个别task导致spark任务整体变慢的问题总结问题:个别task速度慢而拖慢整体任务的问题现象描述:1.stage1阶段中的kafka的receiver接受kafka中不同partiton中的相同批次中拉取的记录条数record不同,导致同一个批次的不同task处理时间偏长(处理任务时间倾斜)这个要结合业务进行优化(是否可以对kafka分区中对key做hash分区的时候离散化?)2....原创 2019-08-23 18:59:11 · 3556 阅读 · 0 评论 -
Spark-steamming性能变慢的问题分析-内存分析
Spark-steamming性能变慢的问题分析知识背景:需要从spark的DAG优化、内存、CPU、序列化、shuffle磁盘读写、GC回收情况请角度考虑相应的问题。1.在集群中spark内存现状:[外链图片转存失败(img-bL8CCXXb-1566547586815)(C:\Users\user\AppData\Roaming\Typora\typora-user-images\156...原创 2019-08-23 16:12:54 · 779 阅读 · 0 评论 -
Java操作es的问题与案例 demo
Java操作es的问题与案例 demo问题1:No Log4j 2 configuration file foundERROR StatusLogger No Log4j 2 configuration file found. Using default configuration (logging only errors to the console), or user programmat...原创 2019-07-30 15:57:53 · 1264 阅读 · 0 评论 -
记一次spark-streaming性能优化的经历
//知识,哪怕是知识的幻影,也会成为你的铠甲,保护你不被愚昧反噬记一次spark-streaming性能优化的经历记一次spark-streaming性能优化的经历:1.优化后效果:一个job执行时间有原来的3min,优化之后提升到40s,性能提升4倍;2.原因分析与解决方法优化前原始spark-steaming程序,跑的特别慢,原因分析:(1)主要问题是使用repatition函数...原创 2019-08-02 17:28:26 · 809 阅读 · 0 评论 -
spark streaming中shuffling后partition数量
spark-streaming中shuffle后patitation总结使用reduceByKey时候,在shuffle阶段的reduce时候,其使用的RDD的partation数量的源码解释如下:/** * Return a new DStream by applying `reduceByKey` to each RDD. The values for each key are ...原创 2019-07-16 16:52:46 · 636 阅读 · 0 评论