大数据
盼望成长
当你对一个事情掌控不足的时候,你需要做的就是“梳理”,并制定相应的规章制度,并使资源各司其职。
如果一件事情你觉得难的完不成,你可以把它分为若干步,并不断寻找合适的方法。最后你会发现你是个超人。不要给自己找麻烦,但遇到麻烦绝不怕,更不要退缩。
展开
-
设置hive 参数
set hive.execution.engine=mr; set mapreduce.map.memory.mb=4096; set mapreduce.reduce.memory.mb=8192; set hive.support.concurrency=false; set hive.exec.dynamic.partition=true; set hive.exec.dynamic.partition.mode=nonstrict; set hive.exec.max.dynamic.par原创 2022-02-28 16:54:22 · 1345 阅读 · 2 评论 -
修改hdfs权限
hadoop fs -chown flink:hdfs /user/flink 修改用户 分组原创 2022-01-13 16:04:24 · 1193 阅读 · 0 评论 -
oracle11
https://gitee.com/anliang11/annote/blob/master/1.%E5%88%A9%E7%94%A8ogg%E5%AE%9E%E7%8E%B0oracle%E5%88%B0kafka%E7%9A%84%E5%A2%9E%E9%87%8F%E6%95%B0%E6%8D%AE%E5%AE%9E%E6%97%B6%E5%90%8C%E6%AD%A5.md原创 2021-09-02 16:15:20 · 123 阅读 · 0 评论 -
Spark 性能调优
https://tech.meituan.com/2016/04/29/spark-tuning-basic.html 转转载原创 2021-06-11 17:11:31 · 192 阅读 · 2 评论 -
Kafka中的 ISR 、RAR 又代表什么? ISR 的伸缩又指什么
ISR:In-Sync Replicas 副本同步队列 AR:Assigned Replicas 所有副本 ISR 是由 leader 维护,follower 从 leader 同步数据有一些延迟(包括延迟时间 replica.lag.time.max.ms 和延迟条数 replica.lag.max.messages 两个维度, 当前最新的版 本0.10.x中只支持replica.lag.time.max.ms这个维度) , 任意一个超过阈值都会把follower 剔除出 ISR, 存入 OSR(Outo原创 2020-12-10 10:35:17 · 240 阅读 · 0 评论 -
Kafka 集群的硬盘一共多大?日志保存多久?用什么监控 的?
集群硬盘大小:数据量线上项目每天/70%*日志保存天数; 日志保存天数:7 天 监控 kafka 方式: 1:有些研发能力比较强的公司自己开发 kafka 监控;或者有些采用 cdh 配套的监控器 2:采用第三方开源监控器:Kafka Manager、KafkaOffsetMonitor、Kafka Web Conslole ...原创 2020-12-10 10:11:01 · 489 阅读 · 0 评论 -
Spark的调度模式
spark的任务调度模式 spark任务调度和资源分配 1、Spark调度模式 FIFO和FAIR Spark中的调度模式主要有两种:FIFO和FAIR。 默认情况下Spark的调度模式是FIFO(先进先出),谁先提交谁先执行,后面的任务需要等待前面的任务执行。 而FAIR(公平调度)模式支持在调度池中为任务进行分组,不同的调度池权重不同,任务可以按照权重来决定执行顺序。 2、资源分配概述 sp...原创 2020-01-17 11:27:10 · 1647 阅读 · 0 评论