- 博客(81)
- 收藏
- 关注
RSS订阅原创 py题综合(从简到难)
star = int(input("输入边长:"))row = 1 # 控制当前行号col = 1 # 控制当前列号col += 1print() # 换行row += 1 # 移动到下一行。
2025-05-07 14:14:13
220
原创 学生出勤主题
第一类: 指标: 计算 出勤人数, 出勤率, 迟到人数, 迟到率涉及维度:时间维度: 年 月 天 上午 下午 晚自习班级维度:学生维度:涉及表:course_table_upload_detail: 日志课程明细表 (课表) (维度表)tbh_student_signin_record: 学生打卡记录表 (事实表)tbh_class_time_table: 班级作息时间表 (维度表)关联条件:学生打卡表.class_id = 课程表.class_id。
2025-04-25 17:17:38
910
原创 docker错误合集
解决方法：修改/etc/docker/daemon.json文件。vim /etc/docker/daemon.json加入以下。重启:systemctl daemon-reload。
2025-04-23 16:28:57
218
原创 hive优化(数仓)
在运行过程中,有多个reduce, 每一个reduce拿到的数据不是很均匀, 导致其中某一个或者某几个reduce拿到数据量远远大于其他的reduce拿到数据量, 此时认为出现了数据倾斜问题。
2025-04-23 10:14:08
941
原创 意向客户主题全量(数仓)
主要是用于分文件的, 在建表的时候, 指定按照那些字段执行分桶操作, 并可以设置需要分多少个桶, 当插入数据的时候, 执行MR的分区的操作, 将数据分散各个分区(hive分桶)中, 默认分发方案: hash 取模。
2025-04-21 16:16:07
917
原创 datagrip连接mysql问题5.7.26
解决:修改jdbc路径,加入useSSL=false,修改连接配置advanced找到useSSL改为false,参数用于指定是否使用 SSL（Secure Sockets Layer）加密来保护数据传输。区分大小写：plain=混合，分隔=exac 远程主机终止了握手。
2025-04-16 17:26:06
292
原创 sqoop数据迁移
sqoop是apache旗下一款的工具。：MySQL，Oracle导入数据到Hadoop的HDFS、HIVE、HBASE等数据存储系统；从Hadoop的HDFS、HIVE中导出数据到关系数据库mysql等机制:将导入或导出命令翻译成mapreduce程序来实现。
2025-04-16 17:09:23
896
原创 dolphinscheduler单机版部署
修改为自己的jdk安装目录# 修改MySQL配置# DolphinScheduler服务相关配置# 注册中心配置，修改为自己的zookeeper监听地址# 这些环境变量根据自己的需要更改，没有保持默认即口(2)./文件spring:jackson:banner:cache:type: none- tenant- usercaffeine:sql:init:MODE=MySQL。
2025-04-14 16:12:15
880
原创 hive数仓要点总结
数据仓库（Data Warehouse）是一个面向主题的（Subject Oriented）、数据集成的（Integrated）、相对稳定(非易失)的（Non-Volatile）、反映历史变化(时变)（Time Variant）的数据集合，用于支持管理决策3.1什么是维度维度就是看问题的角度,给你一个数据表,怎么分析,怎么看就是属于维度范畴比如2025年的订单数据,怎么分析,可以从时间(月份)分析,商品质量分析,用户分析,这个就是维度维度分为定性维度和定量维度。
2025-04-14 11:29:24
676
1
原创 shell脚本实例练习(持续更新)
pass=${pass:-123456}表示pass为空时自动改为123456。$1,$2表示位置参数first和second。-z判断为不为空,exit 2表示错误退出。a表示限制0~100,b表示输入。-eq 等于 -lt小于。
2025-03-28 16:44:01
140
原创 dataX错误合集(持续更新)
这里面一样都不能少,不然登录web会有问题,127.0.0.1当前主机,3306mysql端口号,mysql的root用户,密码更不能错.解决:修改文件vi ./modules/datax-admin/conf/bootstrap.properties。
2025-03-26 09:54:01
198
原创 万字详解kafka高级(机制与原理)
Kafka集群中有一个broker会被选举为Controller，负责管理集群broker的上下线，所有topic的分区副本分配和leader选举等工作。（kafka集群一开始启动就会选举controller，先注册的成为controller，一旦这个controller掉了，就会选举新的controller，还是从注册的顺序进行选举）
2025-03-25 19:21:54
295
原创 kafka错误集合
在加载日志期间，其中一个线程出现错误： org.apache.kafka.common.errors.CorruptRecordException：在文件/export/server/kafka/data_1/topic02-1/00000000000000000000.log中发现记录大小0小于最小记录开销（14）。解决:删掉对应的log文件即可。
2025-03-24 11:16:07
254
原创 Linux远程连接vscode
这个位置Host是主机名,hostname是主机ip地址,user是用户名。(2).输入ip地址进行连接并配置ssh文件下的config。1.获取虚拟机ip地址准备ssh连接(记得一定要NAT)2.vscode下载所需插件。具体插件工作在此不阐述。
2025-03-03 17:26:01
210
原创 移动web(修改版1)
（left、top、right、bottom、center） 像素单位数值 百分比。扩展:rotate3d(x, y, z, 角度度数) ：用来设置。圆心位置取值：像素单位数值 / 百分比 / 方位名词。transform: rotateZ(值);transform: rotateX(值);transform: rotateY(值);立体呈现 – transform-style。属性名：transform-style。x，y，z 取值为0-1之间的数字。（位移、旋转、缩放、倾斜）属性：transform。
2024-11-04 20:20:25
758
原创 前端之css(三)
实现步骤： 1. 绝对定位 2. 水平、垂直边偏移为。弹性盒子的侧轴对齐方式（给弹性容器设置）弹性盒子的侧轴对齐方式（给弹性盒子设置）：灵活地修改样式，例如：尺寸、颜色等。：体积小、渲染快、降低服务器请求次数。Flex 布局也叫弹性布局，是。1. 定位模式：position。的布局模型，非常适合结构化布局，场景：元素的位置在网页滚动时。默认效果：按照标签书写顺序，2. 边偏移：设置盒子的位置。的所有属性，都产生过渡效果），默认情况下，所有弹性盒子都。nowrap：不换行（默认），改变定位元素的显示顺序。
2024-11-03 20:25:27
1052
原创 前端之移动web(三)
1. 下载：Bootstrap V5中文文档 → 进入中文文档 → 下载 →。注意：浏览器不识别 Less 代码，目前阶段，网页要引入对应的 CSS 文件。Bootstrap 是由 Twitter 公司开发维护的。思考：在px单位转换到rem单位过程中，哪项工作是最麻烦的？= px 单位数值 / ( 1/100 视口高度 )px 单位数值 / ( 1/100 视口宽度 )的vw尺寸 （1/100视口宽度）的vh尺寸 （1/100视口高度）写法：在 less 文件的。解决方案：可以通过Less实现。
2024-11-02 19:04:00
930
原创 前端之移动web(二)
width=device-width：视口宽度 = 设备宽度。initial-scale=1.0：缩放1倍（不缩放）缩放调节的分辨率 → 逻辑分辨率（软件/驱动设置）属性名：transform-style。手机屏幕尺寸不同，网页宽度均为100%显示HTML网页的区域，用来约束HTML尺寸。硬件分辨率 → 物理分辨率（出厂设置）1rem = 1HTML字号大小。网页的宽度和逻辑分辨率尺寸相同。纵横向上的像素点数，单位是px。概念：设计稿里面每个元素的尺寸的。等比适配：宽高等比缩放。空间内，转换元素都有自已。
2024-11-01 20:56:13
802
原创 前端之移动web(一)
先写旋转，则后面的转换效果的轴向以旋转后的轴向为准，会影响转换结果。思考: 改变元素的width或height属性能实现吗？rotate3d(x, y, z, 角度度数) ：用来设置。transform: rotateZ(值);transform: rotateX(值);transform: rotateY(值);三:平面转换 – 改变转换原点。以第一种转换方式坐标轴为准转换形态。x，y，z 取值为0-1之间的数字。通常，只为 scale() 设置。一:平面转换 – 平移。二:平面转换 – 旋转。
2024-10-31 20:39:10
1173
原创 前端之css(二)
作用：设置 内容 与 盒子边缘 之间的距离。，用来 设置伪元素的内容，如果没有内容，则。场景：父子级的标签，子级的添加。作用：设置元素的外边框为圆角。（出现在内容与盒子边缘之间）作用：拉开两个盒子之间的距离。解决方法：给行内元素添加。单独设置一个方向内边距。，无法改变元素垂直位置。属性，无法改变垂直位置。方位名词首字母，例如，四个方向 内边距相同。排列的兄弟元素，上下。行高可以改变垂直位置。提示：属性值是圆角半径。属性值写法、含义相同。
2024-10-30 20:11:39
888
原创 Sampling采样与Virtual Columns虚拟列
1.大数据体系下，在真正的企业环境中，很容易出现很大的表，比如体积达到 TB 级别.对这种表一个简单的 SELECT * 都会非常的慢，哪怕 LIMIT 10 想要看 10 条数据，也会走 MapReduce 流程。num(K|M|G) 表示抽取 num 大小的数据，单位可以是 K 、 M 、 G 表示 KB 、 MB 、 GB。虚拟列是 Hive 内置的可以在查询语句中使用的特殊标记，可以查询数据本身的详细参数。虚拟列的作用:更精准的查看到具体每一条数据在存储上的详细参数细节。
2024-10-27 19:54:53
805
1
原创 正则表达式
总结:UNION 关键字的作用:将多个 SELECT 的结果集合并成一个, 多个 SELECT 的结果集需要架构一致，否则无法合并,自带去重效果，如果无需去重，需要使用 UNION ALL。SELECT * FROM orders WHERE useraddress RLIKE '.*广东.*';1.正则表达式是一种规则集合，通过特定的规则字符描述，来判断字符串是否符合规则。UNION 用于将多个 SELECT 语句的结果组合成单个结果集。查找手机号符合： 188****0*** 规则。
2024-10-27 19:33:27
584
原创 hive查询语句
方式1:select * from w_1026.orders where (SELECT max(totalmoney) FROM w_1026.orders where useraddress like '%广东省%');orderStatus tinyint COMMENT ' 订单状态 -3: 用户拒收 -2: 未付款的订单 -1 ：用户取消 0: 待发货 1: 配送中 2: 用户确认收货 ',isPay tinyint COMMENT ' 是否支付 0: 未支付 1: 已支付 ',
2024-10-26 21:27:13
970
原创 复杂类型map与struct
导入数据:load data local inpath '/home/wtk/data_for_struct_type.txt' into table test_struct;数据导入:load data local inpath '/home/wtk/data_for_map_type.txt' into table test_map;# 查询全部 map 的 key ，使用 map_keys 函数，结果是 array 类型。查询:select * from test_map;
2024-10-26 20:36:00
409
原创 hive修改表操作与array类型
导入数据:load data local inpath '/home/wtk/data_for_array_type.txt' into table test_array;如： ALTER TABLE table_name SET TBLPROPERTIES ('comment' = new_comment);删除分区:ALTER TABLE tablename DROP PARTITION (month='201105');-- 查询 location 数组中元素的个数。
2024-10-26 19:23:22
901
原创 分区表与分桶表
在 hive 当中也是支持这种思想的，就是我们可以把大的数据，按照每天，或者每小时进行切分成一个个的小的文件，这样去操作小的文件就会容易。前言:在大数据中，最常用的一种思想就是分治，我们可以把大的文件切割划分成一个个的小的文件，这样每次操作一个小的文件就会很容易。桶表的数据加载，由于桶表的数据加载通过 load data 无法执行，只能通过 insert select.但和分区不同，分区是将表拆分到不同的子文件夹中进行存储，而分桶是将表拆分到固定数量的不同文件中进行存储。查看:hdfs,发现目前是空的。
2024-10-25 21:17:28
576
原创 数据导入导出
命令:load data local inpath '/home/wtk/search_log.txt' into table test_load;操作:insert into myhive.test_load1 (select * from test_load);注意，基于 HDFS 进行 load 加载数据，源数据文件会消失（本质是被移动到表所在的目录中）注意事项：使用 LOAD 语句：• 数据来源本地，本地数据文件会保留，本质是本地文件上传到表里。数据加载 - INSERT SELECT 语法。
2024-10-24 21:04:04
923
原创 hive数据库,表操作
内部表又称管理表 , 内部表数据存储的位置由hive.metastore.warehouse.dir 参数决定（默认： /user/hive/warehouse ），删除内部表会直接删除元数据（ metadata ）及存储数据，因此内部表不适合和其他工具共享数据。被 external 关键字修饰的即是外部表， 即关联表。数据存储的不同也代表了这个表在理念是并不是Hive 内部管理的，而是可以随意临时链接到外部数据上的。所以，在删除外部表的时候， 仅仅是删除元数据（表的信息），不会删除数据本身。
2024-10-23 21:30:04
1050
原创 hiveserver与beeline
Beeline 是 JDBC 的客户端，通过 JDBC 协议和 Hiveserver2 服务进行通信，协议的地址是： jdbc:hive2://node1:10000。在启动 Hive的时候，除了必备的 Metastore服务外,bin/hive --service hiveserver2可以启动hive。在 hive 安装的服务器上，首先启动 metastore 服务，然后启动 hiveserver2 服务。bin/hive --service metastore ，启动的是元数据管理服务。
2024-10-22 21:30:24
435
原创 hive初体验
二:插入数据:INSERT INTO test VALUES(1,'王力红','男'),(2,'周杰轮','男' ),(3,'林志灵','女');一:创建表:CREATE TABLE test(id INT, name STRING, gender STRING);注意:Hive 的数据存储在 HDFS 的： /user/hive/warehouse 中。打开 YARN 的 WEB UI 页面查看任务情况： http://node1:8088。1.首先，确保启动了Metastore服务。
2024-10-22 21:23:15
320
原创 大数据之hive(分布式SQL计算工具)加安装部署
解压:命令: tar -zxvf /export/server/apache-hive-4.0.1-bin.tar.gz -C /export/server/设置软连接:ln -s /export/server/apache-hive-4.0.1-bin /export/server/hive。:SQL解析器:功能: SQL分析,SQL到MapReduce程序的转换,提交MapReduce程序运行并收集执行结果.命令: mv hive-env.sh.template hive-env.sh。
2024-10-21 21:35:54
2878
原创 hadoop的MapReduce提交任务到yarn实操
一:命令: hadoop jar /export/server/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.4.0.jar pi 3 1000。三:向hdfs文件系统提交要计算的文件: hadoop fs -put ./word.txt /input/一:创建文件夹供放入要计算的文件 hadoop fs -mkdir -p /input。二:创建计算结果输出的文件夹 hadoop fs -mkdir -p /output。
2024-10-20 20:16:32
497
大数据处理环境中的Linux基础配置与优化指南
2025-03-01
大数据技术之Hadoop架构详解与应用实例解析
2025-03-05
大数据技术中Hadoop分布式文件系统(HDFS)的应用与解析
2025-03-09
大数据领域Linux-Shell编程核心技术与应用实例解析
2025-03-08
Web前端JavaScript编程基础入门详解
2024-11-12
前端开发中Web APIs的基本使用与深入理解
2024-11-13
JavaScript基础详细.7z
2024-11-12
前端开发中Vue.js模板与指令详解及应用场景
2024-11-07
web前端设计与开发(详细整理)(包含html讲解,css讲解,移动web讲解)
2024-11-04
移动Web开发中的CSS变换与动画技术详解
2024-11-04
前端开发：全面解析CSS基础知识及其应用
2024-11-03
HTML基础知识详解与应用
2024-11-03
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人