- 博客(12)
- 收藏
- 关注
RSS订阅原创 解决grafana安装clickhouse插件plugins not found问题
failed to open plugins path，因为安装插件我使用的是root用户，所以导致了grafana用户没有权限读取/var/lib/grafana/plugins的文件夹，所以才会导致插件无法正常使用。改后重启服务，数据源和插件就都可以正常使用了,最后还发现，其实不必向官网一样配一个clickhouse.yaml数据源，安装完插件，网页可以直接配置clickhouse数据源。打开网页后，clickhouse数据源无法正常使用，插件也没有正常工作。研究一段时间发现日志显示。
2024-08-13 11:11:44
186
原创 Kafka消费者策略：数据读取方式与偏移量管理
在读取的时候，就会在kafka的_consumer_offsets中就会把各分区的偏移量记录下来，这样在下一次读取的时候，如果有相同的groupId,相同的topic，就会直接在_consumer_offsets中读取到这个偏移量，然后从topic的对应偏移量往后继续读取。这样偏移量就存储在了Redis，在下一次读取的时候，先把Redis中的偏移量读取到客户端的内存中，这样客户端可以并行的读取分区和偏移量，并直接通过信息并行访问kafka相应主题继续读取数据。中读取上次的偏移量，继续从该位置开始读取数据。
2024-08-12 11:07:33
388
原创 zookeeper协同kafka工作原理的简单描述
第一步为外部请求首先到zookeeper上的(因为数据同步，到哪一个服务器都可以，不需要是leader)。第二步通过zookeeper的元数据可以找到集群内部的服务器的api接口访问，将这个结果返回到外部请求。第三步是外部请求再带着api信息就能准确的找到对应的kafka服务器并发生请求。Zookeeper是主从复制的，有一个leader，其他都是follower。Leader虽然是领导者，但是实际上所有数据和follower是一样的，是同步数据的，不过客户端的写操作只通过leader进行。
2024-08-08 10:34:43
284
原创 实时计算框架梳理(flink,kafka,hbase/redis,clickhouse)
一旦监控到有数据产生，进入kafka服务器，并建立一个topic，开始了数据处理。这样的话，dws-sec中就会包含一些“未计算”的异常数据，这样就需要进行判断数据是否被计算过，没有计算过则需要重新计算，已经完成计算的不做处理，在分级，小时级中，同样也会存在这样的情况，处理方式也一样。当传来的消息时间戳在(t,t+5)的区间中，会进入分区，如果出现一条消息的时间戳大于t+5，那么这个分区就会锁起来，随后flink把这个分区的数据进行计算聚合，然后又进入kafka服务器，形成新的主题，成为秒级聚合的结果。
2024-08-06 10:03:20
1161
原创 SparkSql API的rollup，cube函数
在学习使用sparkSQL的分组并表函数中，网上大部分人都是直接使用SQL语句使用grouping sets,rollup,cube等函数的，很少有写用api形式如何使用这些函数的，于是我来记录一下api形式的用法。如 cube(a,b,c) <=> grouping sets(,a,b,c,(a,b),(a,c),(b,c),(a,b,c))如 rollup(a,b,c) <=> grouping sets(a,(a,b),(a,b,c))如 grouping sets(a,b,c,(a,c))
2024-08-05 10:18:48
330
原创 解决sparksql在foreach操作报错：org.apache.spark.SparkException: Task not serializable
这个操作把一个spark对象变成一个普通的Array[]对象，使用的foreach也就不是spark的foreach，而是scala的foreach(同样是foreach，竟然还是有区别的)，这样就规避了这个序列化的问题，可以正常进行写入表数据了。原因是spark任务中包含了不可序列化的对象或者闭包，应该是因为SparkSession不能序列化分析。在数仓建立的最后一步，可能需要把数据从hive写入MySQL，我在学习中尝试写了一段这样的代码。
2024-08-02 11:02:11
318
原创 使用调度器运行jar包(scala代码)踩坑记录(jar包找不到主类、spark.shuffle.service.enabled未开启)
研究一段时间发现，这与maven打包插件的机制有关，因为我在写代码的时候，使用的local是一直在运行测试的，运行测试的过程中就会产生编译后的.class文件，maven在打包的时候，如果有target的文件，是直接把tartget里编译好的写入jar包里的，如果没有，maven才会重新编译打包。我把打完的jar包打开看了一下，确实没有这个类，不仅如此，我的代码甚至没有被编译成.class文件，但是在把master改成yarn前的代码，是有被编译成.class的，类都是有的。它要是再不好，我都要红温了。
2024-08-01 11:12:27
571
原创 dolphinscheduler的spark环境变量踩坑记录
得知环境变量不能像官方模板一样配SPARK_HOME，而是要配SPARK_HOME1和SPARK_HOME2(取决于调度器运行时选择的spark版本)，最终任务成功运行。尝试使用dolphinscheduler调度器跑spark任务时，一直报错spark，环境变量异常。
2024-07-31 08:49:18
287
原创 SparkSql用户自定义函数处理非标准时间(scala)
spark进行数据分析时，遇到hive中形如“2018-1-31 24:03:00”的非标准日期，由于该日期不仅位数不是标准化的，而且出现了24点03的时间，导致自带的date_format函数和 from_unixtime(unix_timestamp())都无法正常处理，最终选择用户自定义函数解决。
2024-07-30 08:48:32
173
原创 hive的优化策略
以 on,where 多条件字段顺序，建【多重】分区表，默认开启支持,以分区字段为条件筛选数据，tez引擎：动态分区剪裁支持。控制Mapper和Reducer数量，mapper的启动和初始化开销较大,【数量过多】导致开销大于逻辑处理,浪费资源。从表：不存在以NULL填充，where不能下推，on可以下推。主表：全部显示, on条件不能下推，where可以下推。配置压缩格式，表存储格式，查看是否支持压缩，是否支持切片。【连接键】的值分布不均：值集中的少数分区，其他分区没有值。分桶=>拉链表(分桶表)、抽样。
2024-07-29 10:11:46
1204
原创 MapReduce执行过程以及job优化手段
Partitioning: 将Map输出的键值对根据键的哈希值分配到不同的Reduce任务中，以便进行后续的处理。Map任务启动: 对于每个Map任务，Hadoop集群会分配一个计算节点，该节点加载Map任务所需的代码和数据。Shuffling: Reduce任务从Map任务的输出中获取数据，这通常涉及数据的拷贝和网络传输。Map函数执行: Map任务执行用户定义的Map函数，处理输入切片的数据，并生成一系列键值对。Map输出缓冲: Map任务的输出被缓存在内存中，并在一定阈值后，将一部分数据溢写到磁盘。
2024-07-29 09:20:28
351
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人