- 博客(49)
- 资源 (1)
- 收藏
- 关注
RSS订阅转载 数据仓库和数据集市建模体系化总结
点击上方蓝色字体，选择“设为星标”回复”资源“获取更多资源来源:穆晨作者:http://suo.im/5ZcDu2大数据技术与架构点击右侧关注，大数据开发领域最强公众号！暴走大数据点击右...
2020-07-31 00:00:00
307
转载 数据仓库和数据集市建模体系化总结
点击上方蓝色字体，选择“设为星标”回复”资源“获取更多资源来源:穆晨作者:http://suo.im/5ZcDu2大数据技术与架构点击右侧关注，大数据开发领域最强公众号！暴走大数据点击右...
2020-07-31 00:00:00
315
转载 Hive小知识之分桶抽样
点击上方蓝色字体，选择“设为星标”回复”资源“获取更多资源大数据技术与架构点击右侧关注，大数据开发领域最强公众号！暴走大数据点击右侧关注，暴走大数据！先把大家都知道的分桶抽样查询 的语法...
2020-07-30 08:30:00
425
转载 Hive小知识之分桶抽样
点击上方蓝色字体，选择“设为星标”回复”资源“获取更多资源大数据技术与架构点击右侧关注，大数据开发领域最强公众号！暴走大数据点击右侧关注，暴走大数据！先把大家都知道的分桶抽样查询 的语法...
2020-07-30 08:30:00
323
转载 Kafka消费者分区分配策略及自定义分配策略
点击上方蓝色字体，选择“设为星标”回复”资源“获取更多资源大数据技术与架构点击右侧关注，大数据开发领域最强公众号！暴走大数据点击右侧关注，暴走大数据！kafka消费者如何分配分区以及分配...
2020-07-29 23:23:42
510
转载 Sqoop 使用shell命令的各种参数的配置及使用方法
点击上方蓝色字体，选择“设为星标”回复”资源“获取更多资源本文作者：Sheep Sun本文链接：https://www.cnblogs.com/yangxusun9/p/12558683...
2020-07-29 23:23:42
792
转载 Yarn 使用 Cgroup 实现任务资源限制
点击上方蓝色字体，选择“设为星标”回复”资源“获取更多资源本文作者：http://suo.im/5DcrnH大数据技术与架构点击右侧关注，大数据开发领域最强公众号！暴走大数据点击右侧关注...
2020-07-28 22:31:48
317
1
转载 分析和定位线上作业 OOM 问题利器-MAT
点击上方蓝色字体，选择“设为星标”回复”资源“获取更多资源大数据技术与架构点击右侧关注，大数据开发领域最强公众号！暴走大数据点击右侧关注，暴走大数据！本文作者：学无止境原文链接：htt...
2020-07-28 22:31:48
266
转载 别再叫我 Sql boy！
自从阿里Blink 开源，Flink 就因天然流式计算特性和强大处理性能，打破了Spark 独霸实时计算领域的现状，一跃成为炙手可热的大数据处理框架。目前，包括阿里在内的很多公司都对 ...
2020-07-27 08:30:00
382
转载 查看YARN任务日志的几种方式
点击上方蓝色字体，选择“设为星标”回复”资源“获取更多资源大数据技术与架构点击右侧关注，大数据开发领域最强公众号！暴走大数据点击右侧关注，暴走大数据！通过history server通过...
2020-07-27 08:30:00
1021
转载 Redis中的管道Pipeline操作
点击上方蓝色字体，选择“设为星标”回复”资源“获取更多资源大数据技术与架构点击右侧关注，大数据开发领域最强公众号！暴走大数据点击右侧关注，暴走大数据！Redis默认每次执行请求都会创建和...
2020-07-27 08:30:00
618
转载 MySql的Binlog日志工具分析：Canal、Maxwell、Databus、DTS
点击上方蓝色字体，选择“设为星标”回复”资源“获取更多资源大数据技术与架构点击右侧关注，大数据开发领域最强公众号！暴走大数据点击右侧关注，暴走大数据！Canal定位：基于数据库增量日志解...
2020-07-26 12:42:17
447
转载 Kafka面试题系列(进阶篇2)
点击上方蓝色字体，选择“设为星标”回复”资源“获取更多资源大数据技术与架构点击右侧关注，大数据开发领域最强公众号！暴走大数据点击右侧关注，暴走大数据！Kafka中的事务是怎么实现的？Ka...
2020-07-25 12:46:43
319
转载 MySQL中InnoDB及索引深入剖析
点击上方蓝色字体，选择“设为星标”回复”资源“获取更多资源大数据技术与架构点击右侧关注，大数据开发领域最强公众号！暴走大数据点击右侧关注，暴走大数据！InnoDB页将数据划分为若干个页，...
2020-07-25 12:46:43
296
转载 Kafka面试题系列(进阶篇)
点击上方蓝色字体，选择“设为星标”回复”资源“获取更多资源大数据技术与架构点击右侧关注，大数据开发领域最强公众号！暴走大数据点击右侧关注，暴走大数据！Kafka目前有哪些内部topic，...
2020-07-24 23:12:29
1778
转载 三年前薪资10K，三年后薪资10K……
最近后台有很多粉丝反应——拥有三年工作经验的大数据开发，现在面试成功率非常低！脉脉上也在反应找不到工作????面试过程中，面试官首先会问一些底层原理问题，如HBase是如何存数据的、为什...
2020-07-23 08:30:00
349
转载 Kafka面试题系列(基础篇)
点击上方蓝色字体，选择“设为星标”回复”资源“获取更多资源大数据技术与架构点击右侧关注，大数据开发领域最强公众号！暴走大数据点击右侧关注，暴走大数据！Kafka的用途有哪些？使用场景如何...
2020-07-23 08:30:00
346
转载 Kafka笔记—可靠性、幂等性和事务
点击上方蓝色字体，选择“设为星标”回复”资源“获取更多资源大数据技术与架构点击右侧关注，大数据开发领域最强公众号！暴走大数据点击右侧关注，暴走大数据！可靠性如何保证消息不丢失Kafka只...
2020-07-22 22:32:24
292
转载 Kafka体系架构详细分解
点击上方蓝色字体，选择“设为星标”回复”资源“获取更多资源作者：luozhiyun地址：http://suo.im/5uYoJ0大数据技术与架构点击右侧关注，大数据开发领域最强公众号！暴...
2020-07-22 22:32:24
292
转载 Redis6.0主从、哨兵、集群搭建和原理
点击上方蓝色字体，选择“设为星标”回复”资源“获取更多资源大数据技术与架构点击右侧关注，大数据开发领域最强公众号！暴走大数据点击右侧关注，暴走大数据！由于单机Redis存储能力受单机限制...
2020-07-21 22:14:21
2434
转载 Kafka三种可视化监控管理工具Monitor/Manager/Eagle
点击上方蓝色字体，选择“设为星标”回复”资源“获取更多资源大数据技术与架构点击右侧关注，大数据开发领域最强公众号！暴走大数据点击右侧关注，暴走大数据！1.Kafka Monitor下载链...
2020-07-21 22:14:21
1434
转载 Kafka工作流程及文件存储机制
点击上方蓝色字体，选择“设为星标”回复”资源“获取更多资源大数据技术与架构点击右侧关注，大数据开发领域最强公众号！暴走大数据点击右侧关注，暴走大数据！文章目录一,Kafka工作流程二,文...
2020-07-20 22:28:00
308
转载 Redis系列 | 缓存穿透、击穿、雪崩、预热、更新、降级
点击上方蓝色字体，选择“设为星标”回复”资源“获取更多资源大数据技术与架构点击右侧关注，大数据开发领域最强公众号！暴走大数据点击右侧关注，暴走大数据！Redis是高性能的分布式内存数据库...
2020-07-20 22:28:00
321
转载 HBase操作组件：Hive、Phoenix、Lealone
点击上方蓝色字体，选择“设为星标”回复”资源“获取更多资源大数据技术与架构点击右侧关注，大数据开发领域最强公众号！暴走大数据点击右侧关注，暴走大数据！1、Hive是什么hive是基于Ha...
2020-07-19 08:30:00
597
原创 Spark常见错误问题汇总
一.SparkSQL相关 在执行insert 语句时报错，堆栈信息为：FileSystem closed。常常出现在ThriftServer里面。 原因：由于hadoop FileSystem.get 获得的FileSystem会从缓存加载，如果多线程一个线程closedFileSystem会导致该BUG 解决方法：hdfs存在不从缓存加载的解决方式，在hdfs-site.xml 配置 fs.hdfs.impl.disable.cache=true即可 ...
2020-07-18 12:37:42
1988
转载 Kafka数据可靠性保证三板斧-ACK/ISR/HW
点击上方蓝色字体，选择“设为星标”回复”资源“获取更多资源大数据技术与架构点击右侧关注，大数据开发领域最强公众号！暴走大数据点击右侧关注，暴走大数据！为保证producer发送的数据，能...
2020-07-17 01:02:31
750
转载 Spark-submit 参数调优完整攻略
点击上方蓝色字体，选择“设为星标”回复”资源“获取更多资源大数据技术与架构点击右侧关注，大数据开发领域最强公众号！暴走大数据点击右侧关注，暴走大数据！--sparksubmit--num...
2020-07-16 08:30:00
708
转载 Kafka常见的导致重复消费原因和解决方案
点击上方蓝色字体，选择“设为星标”回复”资源“获取更多资源大数据技术与架构点击右侧关注，大数据开发领域最强公众号！暴走大数据点击右侧关注，暴走大数据！问题分析导致kafka的重复消费问题...
2020-07-15 22:31:27
11155
1
转载 10小时，这回一次搞定 Kafka 源码！
Kafka因其优越的特性广泛用于日志收集、用户活动跟踪等方面，也得到越来越多企业的青睐，很多 IT 界前辈更是在技术层面不断深挖。目前，如果你还局限在 Kafka 的基本应用，将很难 ...
2020-07-13 08:30:00
304
转载 Write-Ahead Log(WAL预写日志)的工作原理
点击上方蓝色字体，选择“设为星标”回复”资源“获取更多资源大数据技术与架构点击右侧关注，大数据开发领域最强公众号！暴走大数据点击右侧关注，暴走大数据！前言在存储系统的运行过程中，每时每刻...
2020-07-13 08:30:00
1393
转载 元数据存储系统管理演变升级
点击上方蓝色字体，选择“设为星标”回复”资源“获取更多资源大数据技术与架构点击右侧关注，大数据开发领域最强公众号！暴走大数据点击右侧关注，暴走大数据！前言我们知道在一个存储系统中，不光光...
2020-07-12 20:00:38
288
转载 数据之眼 | 数据探查服务的设计
点击上方蓝色字体，选择“设为星标”回复”资源“获取更多资源本文作者：林意群原文地址：http://suo.im/5Xcmci大数据技术与架构点击右侧关注，大数据开发领域最强公众号！暴走大...
2020-07-12 20:00:38
1020
1
转载 冷热数据分离 | Alluxio元数据管理策略
点击上方蓝色字体，选择“设为星标”回复”资源“获取更多资源本文作者：林意群原文地址：http://suo.im/5Xcmci大数据技术与架构点击右侧关注，大数据开发领域最强公众号！暴走大...
2020-07-11 10:21:16
775
1
转载 干掉ELK | 使用Prometheus+Grafana搭建监控平台
点击上方蓝色字体，选择“设为星标”回复”资源“获取更多资源大数据技术与架构点击右侧关注，大数据开发领域最强公众号！暴走大数据点击右侧关注，暴走大数据！什么是Prometheus?Prom...
2020-07-11 10:21:16
3315
转载 Hadoop Namenode元数据持久化机制与SecondaryNamenode的作用详解
点击上方蓝色字体，选择“设为星标”回复”资源“获取更多资源大数据技术与架构点击右侧关注，大数据开发领域最强公众号！暴走大数据点击右侧关注，暴走大数据！我们都知道namenode是用来存储...
2020-07-10 22:06:06
907
转载 SparkSQL用UDAF实现Bitmap函数
点击上方蓝色字体，选择“设为星标”回复”资源“获取更多资源大数据技术与架构点击右侧关注，大数据开发领域最强公众号！暴走大数据点击右侧关注，暴走大数据！创建测试表使用phoenix在HBa...
2020-07-10 22:06:06
580
原创 从B+树到LSM树，及LSM树在HBase中的应用
点击上方蓝色字体，选择“设为星标”回复”资源“获取更多资源大数据技术与架构点击右侧关注，大数据开发领域最强公众号！暴走大数据点击右侧关注，暴走大数据！前言在有代表性的关系型数据库如MyS...
2020-07-10 22:06:06
296
转载 ZooKeeper在HBase集群中的作用
点击上方蓝色字体，选择“设为星标”回复”资源“获取更多资源大数据技术与架构点击右侧关注，大数据开发领域最强公众号！暴走大数据点击右侧关注，暴走大数据！ZooKeeper作为分布式协调组件...
2020-07-09 08:30:00
1376
转载 经典限流方法——漏桶、令牌桶与Guava RateLimiter的实现
点击上方蓝色字体，选择“设为星标”回复”资源“获取更多资源大数据技术与架构点击右侧关注，大数据开发领域最强公众号！暴走大数据点击右侧关注，暴走大数据！高并发的业务系统经常要接受大流量的考...
2020-07-09 08:30:00
586
转载 Spark SQL自定义函数UDF、UDAF聚合函数以及开窗函数的使用
点击上方蓝色字体，选择“设为星标”回复”资源“获取更多资源大数据技术与架构点击右侧关注，大数据开发领域最强公众号！暴走大数据点击右侧关注，暴走大数据！一、UDF的使用1、Spark SQ...
2020-07-08 21:56:08
588
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人