- 博客(240)
- 收藏
- 关注
RSS订阅原创 Kafka架构与组件
kafka是最初由linkedin公司开发的，使用scala语言编写，kafka是一个分布式，分区的，多副本的，多订阅者的日志系统（分布式MQ系统），可以用于搜索日志，监控日志，访问日志等。它提供了类似于JMS的特性，但是在设计实现上完全不同，此外它并不是JMS规范的实现。kafka对消息保存时根据Topic进行归类，发送消息者成为Producer,消息接受者成为Consumer,此外kafka集群有多个kafka实例组成，每个实例(server)成为broker。
2024-10-23 23:25:38
735
原创 hot100_42.接雨水
从左到右，依次找最大值（或叫做极值）和次大值。第一个的最大值的次大值为0（存不到水）。找到最大值MAXi的下一个大于等于MAXi（坐标x）的值MAXi+1（坐标y）时。可以计算一次：每一个格子的 MAXi-hight[i] 为这个格子的水位。从x计算到y。如果为最大（后面没有大于等于MAXi的），就找后面的次大maxi（他的左右比他低）。可以计算一次：每一个格子的 maxi-hight[i] 为这个格子的水位。从x计算到y。
2024-10-23 19:35:14
676
原创 kafka消息队列
消息（Message）是指在应用之间传送的数据，消息可以非常简单，比如只包含文本字符串，也可以更复杂，可能包含嵌入对象。消息队列（Message Queue）是一种应用间的通信方式，消息发送后可以立即返回，有消息系统来确保信息的可靠专递，消息发布者只管把消息发布到 MQ 中而不管谁来取，消息使用者只管从 MQ 中取消息而不管谁发布的，这样发布者和使用者都不用知道对方的存在。RabbitMQ。
2024-10-23 13:24:46
904
原创 hot100_283. 移动零
右指针不断向右移动，每次右指针指向非零数，则将左右指针对应的数交换，同时左指针右移。因此每次交换，都是将左指针的零与右指针的非零数交换，且非零数的相对顺序并未改变。使用双指针，左指针指向当前已经处理好的序列的尾部，右指针指向待处理序列的头部。左指针左边均为非零数；右指针左边直到左指针处均为零。从后向前遍历，遇到0就和后面的数依次交换顺序。
2024-10-23 12:58:20
104
原创 hot100_128. 最长连续序列
1直接判断是否连续（后面的值-1或+1，看是否是这些哈希键值的左右边界），是（存储在一个哈希的键值里面），不是（新创一个哈希键值存储）。2判断是否连续（最大值与后面加入的值），连续（存储在一个哈希的键值里面），不连续（新创一个哈希键值存储）。元素1是开头(查找1+1是否存在)，因为没有0，且以1开头的序列长度为4，因为依次累加，2，3，4都存在。元素200是开头(查找200+1是否存在)，因为没有199，且以200开头的序列长度为1。元素3不是开头，因为2存在，过，元素2不是开头，因为1存在，过。
2024-10-22 13:10:37
121
原创 CCFBDCI-TOP4
在中国拥有万亿市场规模的生鲜商品，已成为全场景多业态零售商的引流明星。生鲜商品货架期短、易损耗、价格变化频繁，同时多业态销售又增加了新的不确定性。全场景多业态生鲜超市订单有线上和线下两个来源，门店备货也采用前场(超市门店)+后场(门店仓库)的布局。门店日常经营中，每天经常面临两个重要决策：1)总备货量：根据商品销售历史和最新信息，预估商品未来销量，决定每日备货总量。2)前后场库存分配：根据线上线下订单分布来决策商品库存在前后场的分配。前后场库存分配不好会增加履约成本，降低履约效率。
2024-10-21 22:11:26
885
原创 CCF-BDCI大数据与计算智能大赛TOP4-京东生鲜
在中国拥有万亿市场规模的生鲜商品，已成为全场景多业态零售商的引流明星。生鲜商品货架期短、易损耗、价格变化频繁，同时多业态销售又增加了新的不确定性。全场景多业态生鲜超市订单有线上和线下两个来源，门店备货也采用前场(超市门店)+后场(门店仓库)的布局。门店日常经营中，每天经常面临两个重要决策：1)总备货量：根据商品销售历史和最新信息，预估商品未来销量，决定每日备货总量。2)前后场库存分配：根据线上线下订单分布来决策商品库存在前后场的分配。前后场库存分配不好会增加履约成本，降低履约效率。
2024-10-21 22:05:26
1115
原创 hot100_49. 字母异位词分组
遍历每个字符串，匹配（一个字符串是否对应于一个异位词的列表（1排序）（2计数））其对应的标志（哈希表的键）并将该字符串加入到这个标志的列表中（标志的首个字符串要创建标志的列表）。由于互为字母异位词的两个字符串包含的字母相同，因此两个字符串中的相同字母出现的次数一定是相同的。可以将每个字母出现的次数使用字符串表示，作为哈希表的键。遍历完所有字符串，哈希表的键对应所有的异位词。每类异位词可以用哈希表存储。哈希表的键：异位词的标志。哈希表的值：异位词的列表。
2024-10-20 14:52:02
295
原创 24/10/12_279完全平方数
完全平方数 是一个整数，其值等于另一个整数的平方；换句话说，其值等于一个整数自乘的积。例如，1、4、9 和 16 都是完全平方数，而 3 和 11 不是。这些数必然落在区间 [1, 根n]。我们可以枚举这些数，假设当前枚举到 j，j。给你一个整数 n ，返回 和为 n 的完全平方数的最少数量。遍历 j ，寻找 f[i] = 1+min(f( i - j。f[i] 表示最少需要多少个数的平方来表示整数 i。解释：12 = 4 + 4 + 4。解释：13 = 4 + 9。
2024-10-12 16:19:35
351
1
原创 (24/10/05)104. 二叉树的最大深度_104. 二叉树的最大深度
【代码】(24/10/05)104. 二叉树的最大深度_104. 二叉树的最大深度。
2024-10-05 14:35:40
128
原创 hot100-438. 找到字符串中所有字母异位词
不考虑答案输出的顺序。起始索引等于 0 的子串是 “cba”, 它是 “abc” 的异位词。起始索引等于 6 的子串是 “bac”, 它是 “abc” 的异位词。起始索引等于 0 的子串是 “ab”, 它是 “ab” 的异位词。起始索引等于 1 的子串是 “ba”, 它是 “ab” 的异位词。起始索引等于 2 的子串是 “ab”, 它是 “ab” 的异位词。输入: s = “cbaebabacd”, p = “abc”输入: s = “abab”, p = “ab”输出: [0,1,2]
2024-09-21 14:15:25
243
原创 hot100_160. 相交链表
输入：intersectVal = 8, listA = [4,1,8,4,5], listB = [5,6,1,8,4,5], skipA = 2, skipB = 3。输入：intersectVal = 2, listA = [1,9,1,2,4], listB = [3,2,4], skipA = 3, skipB = 1。从各自的表头开始算起，链表 A 为 [4,1,8,4,5]，链表 B 为 [5,6,1,8,4,5]。解释：相交节点的值为 2 （注意，如果两个链表相交则不能为 0）。
2024-09-18 13:08:07
496
原创 实时数仓3.0DWD层
实时数仓3.0DWD层DWD层设计要点：9.1 流量域未经加工的事务事实表9.1.1 主要任务9.1.2 思路9.1.3 图解9.1.4 代码9.2 流量域独立访客事务事实表9.2.1 主要任务9.2.2 思路分析9.2.3 图解9.2.4 代码9.3 流量域用户跳出事务事实表9.3.1 主要任务9.3.2 思路分析9.3.3 图解9.3.4 代码9.4 交易域加购事务事实表9.4.1 主要任务9.4.2 思路分析9.4.3 图解9.5 交易域订单预处理表9.5.1 主要任务9.5.2 思路分析9.5.3
2024-09-17 22:13:54
968
原创 实时数仓3.0DIM层
为了提升效率，减少频繁创建销毁连接带来的性能损耗，创建连接池。常见的 K-V 类型数据库有 Redis、HBase，而 Redis 的数据常驻内存，会给内存造成较大压力，因而选用 HBase 存储维度数据。采集到 Kafka 的 topic_log 和 topic_db 主题的数据即为实时数仓的 ODS 层，这一层的作用是对数据做原样展示和备份。将 source_table 作为配置表的主键，可以通过它获取唯一的目标表名、字段、主键和建表扩展，从而得到完整的 Phoenix 建表语句。
2024-09-17 19:19:47
664
原创 离线数仓ODS层
（1）在hadoop102的/home/atguigu/bin目录下创建hdfs_to_ods_log.sh。（1）在hadoop102的/home/atguigu/bin目录下创建hdfs_to_ods_db.sh。（3）增加脚本执行权限。（3）增加脚本执行权限。
2024-09-15 21:33:17
1009
原创 离线数仓ODS层准备
要在hadoop102里面load，如果在datagrip里面load它的导入是在本地（windows）里面导入的。嵌套数据类型：array < struct< id:int ,name:string> >在datagrip里面链接hadoop102的hive，查看导入的数据。1.定义: struct< id:int ,name:string>struct结构体：多个字段，每个字段都有他的字段名和字段类型。创建的日志表，要兼容 页面日志和启动日志。map : 结构中 所有的数据类型都要是一样的。
2024-09-15 20:56:54
723
原创 耀哥京东笔试
输入描述第一行一个整数t(1<t≤10)，表示询问个数。示例1收起输入复制25 2 86 3 8输出复制18说明[1,2,3,4,5]修改1次得到[1,2,3,4,4]，满足要求。[1,2,3,4,5,6]修改8次得到[1,2,2,2,3,3]，满足要求。对于每组数据：第一行四个整数n,L,m,b（1≤n≤105,1≤L,m,b≤109)，含义如题面所示。这个代码的时间复杂度为 O(n) 对于每个测试点，考虑到可能有多个测试点，整体复杂度是 O(T * n)，这个复杂度对于题目中给定的限制是可以接受的。
2024-09-10 14:20:38
689
原创 NVIDIA驱动学习
然而，输出中显示“Display Server: N/A drivers: fbdev,nouveau (unloaded: vesa) FAILED: modesetting”，这表明系统没有正确加载 NVIDIA 的专有驱动程序，而是使用了开源的 Nouveau 驱动或者 fbdev 基础驱动。print(torch.cuda.get_device_name(0)) # 显示第一个 CUDA 设备的名字 11.1。Nouveau 驱动。3.运行驱动安装脚本。
2024-09-10 12:17:02
1131
原创 py文件import 不到自己创建的文件
Python 通过 sys.path 列表查找模块。默认情况下，sys.path 包含当前工作目录及一些标准库路径。如果你的自定义包不在这些路径中，Python 就找不到它。再代码里面，保存文件的路径。
2024-09-09 16:45:24
315
原创 HOT100(动态规划) 打家劫舍
如果只有一间房屋，则偷窃该房屋，可以偷窃到最高总金额。如果只有两间房屋，则由于两间房屋相邻，不能同时偷窃，只能偷窃其中的一间房屋，因此选择其中金额较高的房屋进行偷窃，可以偷窃到最高总金额。偷窃第 k 间房屋，那么就不能偷窃第 k−1 间房屋，偷窃总金额为前 k−2 间房屋的最高总金额与第 k 间房屋的金额之和。在两个选项中选择偷窃总金额较大的选项，该选项对应的偷窃总金额即为前 k 间房屋能偷窃到的最高总金额。不偷窃第 k 间房屋，偷窃总金额为前 k−1 间房屋的最高总金额。只有一间房屋，则偷窃该房屋。
2024-09-04 20:23:45
183
原创 HOT100(图)课程表
对于一个节点 u，如果它的所有相邻节点都已经搜索完成，那么在搜索回溯到 u 的时候，u 本身也会变成一个已经搜索完成的节点。通过上述的三种状态，我们就可以给出使用深度优先搜索得到拓扑排序的算法流程，在每一轮的搜索搜索开始时，我们任取一个「未搜索」的节点开始进行深度优先搜索。「已完成」：我们搜索过并且回溯过这个节点，即该节点已经入栈，并且所有该节点的相邻节点都出现在栈的更底部的位置，满足拓扑排序的要求。「搜索中」：我们搜索过这个节点，但还没有回溯到该节点，即该节点还没有入栈，还有相邻的节点没有搜索完成）；
2024-09-04 20:22:22
223
原创 hot100_62不同路径
dp[i][j] 可以分为 dp[i-1][j] + dp[i][j-1]，dp[i][j] = dp[i-1][j] + dp[i][j-1]一个机器人位于一个 m x n 网格的左上角 （起始点在下图中标记为 “Start” ）。注意：第一行dp[0][j] ，第一列dp[i][0]，因为都在左边界，所以只能为1。比如，m=3, n=2，我们只要向下 1 步，向右 2 步就一定能到达终点。因为机器到底右下角，向下几步，向右几步都是固定的，令 dp[i][j] 表示到达 i,j 的最多路径。
2024-06-07 10:41:53
375
原创 完全平方数
完全平方数 是一个整数，其值等于另一个整数的平方；换句话说，其值等于一个整数自乘的积。例如，1、4、9 和 16 都是完全平方数，而 3 和 11 不是。找f[i]的问题，可以转化为找 f[ i - j*j ]。该问题与子问题类似，符合动态规划的要求。给你一个整数 n ，返回 和为 n 的完全平方数的最少数量。f[i]表示最少需要多少个数的平方表示整数 i。之后只需要从小到大的枚举i，来推出每个f[i]。可以在区间[1,根号n]之间枚举数值 j。
2024-06-06 21:53:22
310
原创 service
serviceservice.implCardioTrainServiceImplCategory2ServiceImplCategory2ServiceImplCategoryServiceImplDataServiceImplDataTableManagerServiceImplFeatureManageServiceImplFieldManagementServiceImplFileServiceImplIndicatorManagementServiceImplIndicatorServiceImp
2024-05-26 11:59:15
312
原创 python读取pg数据用多个机器学习预测结果，前端发请求并展示结果
【代码】python读取pg数据用多个机器学习预测结果，前端发请求并展示结果。
2024-05-23 21:12:17
158
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人