- 博客(75)
- 资源 (16)
- 收藏
- 关注
RSS订阅原创 记一次关于AI在数仓中的应用
我们用AI，就是让它辅助我们生成代码，然后去监控排查我们的数据质量和BUG，或者分析错误日志，找到问题所在，大部分都是辅助作用。就像这次的，我的ETL脚本是在doris执行的，它只是创建了脚本。因为现在只有ods表和dim表有数据，我们要让AI先对我们源数据进行清洗，然后再让它们利用AI进行ETL写入到dwd表和dws表和ads表中。然后是左下角的那里，是它做了一些结果汇总工作，订单原表ods，2w+条数据，重复101条，去重之后差不多2w。上面是提示词，ads层写错了，不过没关系，AI会自动纠正。
2026-08-22 21:33:29
229
原创 Linux 部署轻量化级Docker+Dify本地部署
因为一个手动离线拉取，一个是docker自己拉取，导致前缀不一样，需要改成一样的。这里我是将docker.1ms.run/去掉，因为它是一个加速器，官方标准里面是没有的。下载完之后直接将它放在单独的文件夹内，然后从那个文件夹进入到cmd里面，拉取命令如下：（dify-agent-local-sandbox:1.16.1）然后上传到linux中。4.1 下载并迁移到/opt/module/docker 里面并改名为docker-compose。要修改以下/var/run/docker.sock 的组权限。
2026-08-21 10:07:26
181
原创 记一次 Graylog 5.1.13 汉化重构过程
找到系统上的graylog.jar文件（在/usr/share/graylog-server目录下），新建一个graylogzip文件夹，然后将源graylogz.jar 复制到graylogzip文件夹。将graylog-5.1.13-20260226103902-graylog-server-tarball.tar.gz这个压缩解压。将graylog-new.jar改名为graylog.jar ，并复制到/usr/share/graylog-server/下。先进行备份，关停服务，再替换，再启动服务。
2026-02-27 14:16:23
559
2
原创 记一次hiveSQL 查询无数据，String类型的字段自动转化为int类型的经历和解决方案
我有一张hive表：销售订单表，名为：sale_order_info. 里面有字段：销售订单号sale_order（string类型），回款金额back_amt（decimal）。这个表是业务部门（销售部门）填写的。数据同步到hive中后，要将sale_order_info和b表关联，关联字段为sale_order，b表的sale_order为string类型，本来2个字段类型都一样的，关联应该没问题才对，可是问题恰恰出现在这里，关联之后没数据，然后单独检测sale_order_info，发现。
2026-01-19 12:27:22
361
原创 Linux (Centos7)安装Mongodb4.0.28
一、官网下载安装包上传到服务器系统官网：https://www.mongodb.com/try/download/community放在/opt/software目录下：二、解压至/usr/local目录下，并重新命名为mongodb进入到/usr/local目录下并改名三、配置存储路径和日志路径进入mongodb目录下，创建data文件夹，并在data里面创建db和log文件夹，用于存储数据和日志。设置可读权限四、配置启动文件。
2025-03-24 15:42:27
722
原创 记一次python爬虫多线程报错问题(多线程优先级别问题)。
我的报错是t1线程先运行，t2线程排在后面，当t2线程向t1线程发送消息时报错的，也就是说线程t1的优先级较高。因为我代码里面开启了两个线程，用2个线程去跑，即2个进程。这两个线程的优先级是不一样的。优先级低的是不能向优先级高的发送消息，即使他们是在同一个用户的权限下运行。原因：网上查了下是由于windows安全机制导致 integrity level低的进程不能向高的进程发消息。第三种方案：在源代码本身修改注册表，来提高代码本身的权限，然后去运行。但是我的代码是爬虫代码，我不想设置管理员运行。
2024-02-02 16:56:53
677
原创 记一次Flink通过Kafka写入MySQL的过程
这个方法是测试成功了，但是跑了一会儿就出现数据的积压和内存oom了，因为我设定的是1毫秒生产一条数据，写入kafka也需要一定的时间，加上电脑内存不足，有点卡，这个方案也被pass了。总体思路：source -->transform -->sink ,即从source获取相应的数据来源，然后进行数据转换，将数据从比较乱的格式，转换成我们需要的格式，转换处理后，然后进行sink功能，也就是将数据写入的相应的数据库DB中或者写入Hive的HDFS文件存储。至此，Transform_1部分结束~~~！
2024-01-23 17:00:50
2185
2
转载 记一次hive执行报错问题
如果select一张表，这张表则会进入shared模式，增加、插入、删除、修改数据和修改表名等操作都会在shared锁被释放之后再执行，会一直等待。采取的措施：在代码里面添加：set hive.support.concurrency=false;如果插入、删除、修改数据则进入Exclusive锁模式，进入排他锁模式之后不允许增删改操作，会报错。Hive中有两种锁模式，分别为：共享锁（S）和排它锁（X）。多个共享锁(S)可以同时获取，排它锁(X)会阻塞其它所有锁。释放掉Exclusive锁模式即可操作。
2024-01-22 11:22:40
746
转载 Centos7 升级python3.6
11.1：Python3.6.5是自带了pip，我们可以进入python3.6的bin目录下进行查看你所安装的Python版本是否自带pip。指定安装目录(prefix=/usr/lib64/python3.6为python的真正安装目录）8： 编译安装包，指定安装目录，进入python3.6目录，执行。11.4 ：检查pip版本（注：正常情况pip版本9.0.3）6：移动python目录到/usr/lib64/下。
2023-11-23 18:26:13
637
原创 CDH 6.3.2升级Flink到1.17.1版本
cd 到/opt/cloudera/parcels/FLINK-1.17.1-BIN-SCALA_2.12/lib/flink/bin目录下，执行./yarn-session.sh -jm 1024 -tm 1024 -s 2 -d命令。2.4 将flink-shaded-hadoop-3-uber-3.1.1.7.2.9.0-173-9.0.jar 复制到/opt/cloudera/parcels/FLINK/lib/flink/lib/下。FlINK-1.12.1 属于旧的版本的东西，做备份用。
2023-09-27 16:45:41
1570
3
原创 CDH6.3.2 的pyspark读取excel表格数据写入hive中的问题汇总
主要原因是pyspark直接读取excel的话，设计到版本的冲突问题。commons-collections-3.2.2.jar 我的CDH中这个的版本是3.2.2.但是pyspark读取excel要求要collections4以上的版本，然后我下载放进去也没作用，因为时间成本的问题，所以没有做过多的尝试了，直接转为csv后再读吧。采取的措施是：循环列，采用trim函数、regexp_replace函数处理。需求：内网通过Excel文件将数据同步到外网的CDH中，将CDH的文件数据写入hive中。
2023-09-26 17:47:52
1269
原创 记一次hive开发过程出现的错误及解决方法
关系型数据库中，对分区表Insert数据时候，数据库自动会根据分区字段的值，将数据插入到相应的分区中，Hive中也提供了类似的机制，即动态分区(Dynamic Partition)，只不过，使用Hive的动态分区，需要进行相应的配置。原文链接：https://blog.csdn.net/qq_36908872/article/details/102685311。原因是：源数据中包含了一年的数据，即day字段有365个值，那么该参数就需要设置成大于365，如果使用默认值100，则会报错。
2023-05-31 15:52:00
1136
原创 Centos7单机部署Flink13.6及测试FinkCDC同步MySQL
但是升级版本是个大工程，要编译、要parcel制作工具，而且是生产环境的升级，没办法因为要测试FlinkCDC，所以只能搭建个单机测试，等后面生产环境升级后再迁移；原因：flink部署到集群上，standalone模式，需要指定TaskManager主机的地址：修改flink-conf.yaml配置并添加配置 taskmanager.host: localhost。打开${flink}/conf/flink-conf.yaml文件，修改一下信息。发现无法打开，原因是防火墙未关闭，联系运维开放8081端口。
2023-05-19 18:42:52
1760
1
原创 FlinkCDC之DataStream的反序列自定义
1、封装成JSON对象。反序列：CustomDebeziumDeserializationSchema。2.自定义反序列：CustomerDeserializationSchema。封装成JSON对象。3.自定义反序列3：CustomerDeserialization，封装成String。一、FlinkDataStream的优缺点就不做过多的累赘了。先来看三个简单的反序列例子吧，测试以MySQL数据源为主。自定义反序列的好处就是得到自己想要的数据格式。2.1 输出的数据格式。
2023-05-17 09:58:54
504
原创 FlinkCDC之初体验
查看指定binlog文件的内容。变动（包括数据或数据表的插入 、 更新 以及 删除等），将这些变更按发生的顺序完整记录下。#只查看第一个binlog文件的内容。在/var/mysql下可以看到mysql-bin.index的文件（一般）#查看当前正在写入的binlog文件。没插入数据之前，mysql-bin.000001的位置是在695.更新前和更新后的数据。我的是在/data/mysql/mysql-bin。
2023-05-04 15:50:12
1096
原创 dolphinscheduler源码添加SAP HANA数据源 实记
需要修改的模块：dolphinscheduler-ui 前端页面模块、dolphinscheduler-task-plugin 任务插件、dolphinscheduler-datasource-plugin 数据源插件中添加一个dolphinscheduler-datasource-saphana、dolphinscheduler-dao。打包完之后，在dolphinscheduler-ui 模块下会发现多了一个dist文件，将该文件内的文件拷贝到linux系统中的ui目录（覆盖）即可。
2023-04-02 00:58:20
1220
原创 Centos7.9安装docker实记
安装依赖包：（yum-utils 提供了 yum-config-manager ，并且 device mapper 存储驱动程序需要 device-mapper-persistent-data 和 lvm2。3.2 首次安装先设置仓库，后续可以从仓库安装和更新 Docker。本次选择18.06.3.ce-3.el7。3.3 设置稳定的仓库（更新yun源）一、查看内核版本(要求大于3.10)注意：安装需要使用root用户操作。二、检验是否有旧版的docker。3.5、设置开机启动。
2023-03-27 17:16:54
1843
1
原创 hive执行出现问题：Ended Job = job_1667594872527_3123 with errors Error during job, obtaining debugging info
hive执行问题及解决
2022-11-22 13:50:59
3009
转载 CDH安装过程中出现：主机 cdh04 上的内存被调拨过度。总内存分配额是 4.0 艾字节 个字节，但是 RAM 只有 62.8 吉字节 个字节（其中的 12.6 吉字节 个字节是保留给系统使用的）。
CDH安装出现的问题
2022-08-15 16:29:53
1534
转载 解决Permission denied: user=root, access=WRITE, inode=“/“:hdfs:supergroup:drwxr-xr-x 问题方法
hadoop
2022-08-12 14:20:22
11006
原创 azkaban启动时出现错误：Could not find or load main class 12321
记录一次azkaban启动时出现的错误：找不到或无法加载主类 12321Azkaban无法启动错误Error: Could not find or load main class 12321网上查找了很久，都是说：A 检查自己的配置文件是否有多个端口配置B 换个端口试一下，看看是否能够启动我都尝试了，没有用。最后发现竟然时我在配置端口号的时候在前面多了一个空格，如图：把空格去掉然后重新启动就好了。...
2022-02-23 18:23:40
772
转载 hive中对带分号的字符串做split分割
转载：https://blog.csdn.net/chenKFKevin/article/details/87934606直接对字段进行split(’;’)操作会报错，其原因是因为：分号默认是sql的结束字符，因此需要用分号的二进制\073来表示。如果此时对字段进行此操作是没有问题的，比如：-- column1里的字符串是以分号分割的select split(column1,'\073') from xxx但是如果是以字符串进行尝试还是会报错，比如：select split('aa;bb;cc
2022-02-17 16:54:36
1501
原创 关于hive on spark安装出现的问题。
问题：In order to change the average load for a reducer (in bytes):set hive.exec.reducers.bytes.per.reducer=In order to limit the maximum number of reducers:set hive.exec.reducers.max=In order to set a constant number of reducers:set mapreduce.job.reduc
2022-02-13 17:23:18
1162
原创 broker.id变更导致kafka启动不起来的问题
问题：启动kafka时，出现以下错误提示：ERROR Fatal error during KafkaServer startup. Prepare to shutdown (kafka.server.KafkaServer)kafka.common.InconsistentBrokerIdException: Configured broker.id 1 doesn’t match stored broker.id Some(0) in meta.properties. If you moved y
2022-01-29 17:08:14
3157
原创 pyspark练习（学习笔记）
import findsparkfindspark.init()from pyspark import SparkConf,SparkContextif name == ‘main’:conf = SparkConf()conf.setMaster(‘local’)conf.setAppName(‘test’)sc = SparkContext()lines = sc.textFile(’./worldcount.txt’)words = lines.flatMap(lambda line
2021-12-10 10:51:54
798
原创 pyspark通过JDBC链接mysql(DataFrame)
一前言Mysql版本：8.0.21spark版本：3.1.1hadoop版本：2.7.5JDBC驱动程序版本：mysql-connector-java-5.1.46.tar.gz二、正文1、先在mysql里建立spark数据库，同时建立一个student表，向表中插入一些数据mysql> create database spark;mysql> use spark;mysql> create table student (id int(4), name char(20),
2021-12-01 20:17:26
5583
转载 在Hive中‘InputFormat，OutputFormat‘和‘Stored as‘之间有什么区别？
Hive有很多关于如何存储数据的选项。您可以使用外部存储，其中Hive只是从其他地方包装一些数据，或者您可以从hive仓库中的start开始创建独立表。输入和输出格式允许您指定这两种类型的表的原始数据结构或如何物理存储数据。从客户端开始，您将使用sql继续使用表，但在低级别，它可以是文本文件或序列文件或hbase表或其他一些数据结构。InputFormat和OutputFormat - 允许您描述原始数据结构，以便Hive可以正确地将其映射到表视图SerDe - 表示从表视图到低级输入输出格式结构执
2021-09-24 15:22:28
3139
原创 JAVA学习二之---方法构造
一、构造方法创建实例的时候，我们经常需要同时初始化这个实例的字段，例如：Person wang = new Person();wang.setName("小王");wang.setAge(15);初始化对象实例需要3行代码，而且，如果忘了调用setName()或者setAge()，这个实例内部的状态就是不正确的。能否在创建对象实例时就把内部字段全部初始化为合适的值？完全可以。这时，我们就需要构造方法。创建实例的时候，实际上是通过构造方法来初始化实例的。我们先来定义一个构造
2021-09-16 20:29:38
328
原创 电商推荐系统（二）---实时推荐服务
前言：1、 实时推荐服务实时计算与离线计算应用于推荐系统上最大的不同在于实时计算推荐结果应该反映最近一段时间用户近期的偏好，而离线计算推荐结果则是根据用户从第一次评分起的所有评分记录来计算用户总体的偏好。用户对物品的偏好随着时间的推移总是会改变的。比如一个用户u 在某时刻对商品p 给予了极高的评分，那么在近期一段时候，u 极有可能很喜欢与商品p 类似的其他商品；而如果用户u 在某时刻对商品q 给予了极低的评分，那么在近期一段时候，u 极有可能不喜欢与商品q 类似的其他商品。所以对于实时推荐，当用户
2021-05-28 00:01:21
2088
转载 MongoDb 命令查询所有数据库和表
MongoDb 命令查询所有数据库列表 CODE: > show dbs 如果想查看当前连接在哪个数据库下面，可以直接输入db CODE: > db Admin 想切换到test数据库下面 CODE: > use test switched to db test > db Test 想查看test下有哪些表或者叫collection，可以输入 CODE: > show collect...
2021-05-20 11:22:00
10470
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人