![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 64
Vincer_DB
这个作者很懒,什么都没留下…
展开
-
数仓hive锁(Hive Lock)
昨天数据仓库hive中一张中间表lock,导致所有依赖这个表的任务失败。影响挺大,借此总结一下以备后面查用。1.Hive 锁的类型hive 目前主要有两种锁,SHARED(共享锁 S)和 Exclusive(排他锁 X)。共享锁 S 和 排他锁 X 它们之间的兼容性关系如下:1)查询操作使用共享锁,共享锁是可以多重、并发使用的2)修改表操作使用独占锁,它会阻止其他的查询、修改操作3)可以对分区使用锁。以下情况会触发锁,以及它的类型和锁定范围如下: Hive Comma.原创 2021-07-07 12:40:42 · 1713 阅读 · 2 评论 -
hive表锁Unable to acquire IMPLICIT, EXCLUSIVE lock
hive报错日志:[INFO] 2021-04-07 13:35:32.351 - [taskAppId=TASK-5-103-481]:[127] - -> Logging initialized using configuration in jar:file:/opt/cloudera/parcels/CDH-5.12.1-1.cdh5.12.1.p0.3/jars/hive-common-1.1.0-cdh5.12.1.jar!/hive-log4j.properties Unabl原创 2021-04-07 13:59:54 · 1292 阅读 · 0 评论 -
用hql求每天同时最大在线人数
最近划水刷京东面试题,遇到一个看似简单的手写hql,大概题意如下:给定一个表event_log,字段有date,timestamp,event_name(只有login、logout两种),user_id。用hql求每天同时最大在线人数细细琢磨,此题不简单!难度在于求的是同时在线的人数,而不是每天在线人数。原创 2021-02-25 18:20:37 · 898 阅读 · 2 评论 -
Kafka常识总结
1. Kafka的用途、使用场景?用途:异步、解耦、削峰、提速、广播场景:消息,网站活动追踪,监测指标,日志聚合,流处理,事件采集,提交日志等2. Kafka中的ISR、AR?ISR的伸缩又指什么ISR:与leader保持同步的follower集合, 副本同步队列 AR:分区的所有副本ISR:是由leader维护,follower从leader同步数据有一些延迟(包括延迟时间和延迟条数两个维度, 0.10.x版本之后只支持延迟时间),任意一个超过阈值都会把follower剔除出ISR,原创 2021-01-19 14:29:08 · 149 阅读 · 0 评论 -
Python连接MySQL数据库插入数据的代码
1.首先,导包import pymysqlimport json2.操作代码 ################################################ # 打开数据库连接(ip/数据库用户名/登录密码/数据库名) db = pymysql.connect("127...原创 2020-03-13 22:13:25 · 1182 阅读 · 0 评论 -
Flink1.9.1,scala2.12连接kafka2.11_2.40实例
1.添加相关依赖 <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-connector-kafka_2.12</artifactId> <version>1.9.1</version&...原创 2020-01-13 23:51:56 · 1854 阅读 · 2 评论 -
SparkStreaming读取配置了HDFS高可用某目录下的文件并写入到hive
//创建sparkSession val sparkConf = new SparkConf().setAppName("dwd_member_import").setMaster("local[*]") val sparkSession = SparkSession.builder().config(sparkConf).enableHiveSu...原创 2019-11-07 10:19:16 · 488 阅读 · 0 评论 -
Flink自定义aggregate聚合函数的步骤
第一步:将dataStream转换城windowedStream // 从kafka读取数据 val inputStream = env.addSource(new FlinkKafkaConsumer[String]("hotitems", new SimpleStringSchema(), properties)) .map(dat...原创 2019-10-27 21:54:58 · 8213 阅读 · 4 评论 -
Flink乱序数据处理过程解析
warter是用来定义延迟触发窗口操作的时间的,假设窗口时00:00~00:05,warter为1分钟,那么相当于将接收这个窗口中的数据的时间向后延长了1分钟,自然操作这些数据的时间也会延迟1分钟。在不添加EventTime,只有窗口操作的情况下,Flink实时性得到了最大的发挥,但是于此同时,操作结果也非常不准确,只要过来的数据有达到窗口的结束时间window_end_time的,将会马上触发窗口,那么在接收数据是乱序的情况下,将会导致此窗口的数据大部分的丢失。原创 2019-10-26 13:20:08 · 1013 阅读 · 1 评论 -
Flink的各种数据源(source)
第一步:创建流处理环境: val env = StreamExecutionEnvironment.getExecutionEnvironment第二步:读取数据第一种.从已有集合读取数据 val stream1 = env.fromCollection(List( SensorReading("sensor_1", 1547718159, 4),...原创 2019-10-23 14:40:23 · 5091 阅读 · 0 评论 -
Flink根据流式数据处理WordCount详解任务并行度
import org.apache.flink.api.java.utils.ParameterToolimport org.apache.flink.streaming.api.scala._object StreamWordCount { def main(args: Array[String]): Unit = { // 创建流处理的执行环境 ...原创 2019-10-23 11:16:57 · 899 阅读 · 0 评论 -
Flink配置参数解释
# jobManager 的IP地址jobmanager.rpc.address: hadoop102# JobManager 的端口号jobmanager.rpc.port: 6123# JobManager JVM堆大小jobmanager.heap.size: 1024m# taskmanager JVM堆大小taskmanager.heap.size: 1024m...原创 2019-10-23 10:07:58 · 841 阅读 · 0 评论 -
flume如何保证数据的可靠性
1.事务Flume使用两个独立的事务分别负责从soucrce到channel,以及从channel到sink的事件传递。一旦事务中所有的事件全部传递到channel且提交成功,那么source就将该文件标记为完成。同理,事务以类似的方式处理从channel到sink的传递过程,如果因为某种 原因使得事件无法记录,那么事务将会回滚。且所有的事件都会保持到channel中,等待重新传递。Flu...原创 2019-10-15 16:07:07 · 1678 阅读 · 0 评论 -
hadoop和spark的shuffle异同点
从 high-level 的角度来看,两者并没有大的差别。两者都是将 mapper(Spark 里是 ShuffleMapTask)的输出进行 partition,不同的 partition 送到不同的 reducer(Spark 里 reducer 可能是下一个 stage 里的 ShuffleMapTask,也可能是 ResultTask)。Reducer 以内存作缓冲区,边 shuffl...原创 2019-10-15 15:34:01 · 663 阅读 · 0 评论 -
Spark的启动部分源码解析(org.apache.spark.deploy.master.Master,org.apache.spark.deploy.master.Worker)
Master入口函数: // 启动 Master 的入口函数 def main(argStrings: Array[String]) { Utils.initDaemon(log) val conf = new SparkConf // 构建用于参数解析的实例 --host hadoop102 --port 7077 -...原创 2019-09-28 19:10:27 · 530 阅读 · 0 评论 -
spark的start-master.sh(Master 启动脚本)分析
#!/usr/bin/env bash# Starts the master on the machine this script is executed on.#在执行此脚本的计算机上启动主机。#第一步:判断是否有SPARK_HOME的环境变量,如果没有,则将当前spark所在目录定为SPARK_HOMEif [ -z "${SPARK_HOME}" ]; then expor...原创 2019-09-28 18:21:42 · 1688 阅读 · 0 评论 -
Spark中为RDD设置检查点
import org.apache.spark.rdd.RDDimport org.apache.spark.{SparkConf, SparkContext}object CheckPointDemo { def main(args: Array[String]): Unit = { // 要在SparkContext初始化之前设置, 都在无效 ...原创 2019-09-26 16:39:25 · 290 阅读 · 0 评论 -
Spark编程中函数的传递
Spark 进行编程的时候, 初始化工作是在 driver端完成的, 而实际的运行程序是在executor端进行的. 所以就涉及到了进程间的通讯,下面的实例演示函数的传递import org.apache.spark.{SparkConf, SparkContext}import org.apache.spark.rdd.RDDobject SerDemo { def mai...原创 2019-09-26 16:09:56 · 176 阅读 · 0 评论 -
大数据SparkSql创建临时表并查询数据
import org.apache.spark.sql.{DataFrame, SparkSession}import org.apache.spark.sql.types.{LongType, StringType, StructType}/** * Author Vincer * Date 2019/09/26 10:10 * Language Scala */object ...原创 2019-09-26 10:57:06 · 4494 阅读 · 0 评论