- 博客(546)
- 资源 (31)
- 收藏
- 关注
RSS订阅
原创 架构师的六大生存法则与价值创造
架构师在软件架构设计中需遵循六大生存法则，确保方案与企业目标一致，尊重人性，最大化商业价值，考虑技术生命周期，注入外部适应性，并在文化环境中生存。这些法则帮助架构师在资源限制下，通过技术洞察和设计，实现商业模式的创新和效率提升，同时要求架构师具备良知和勇气，以全局和长期视角推动架构成功，为公司创造持续的商业价值。
2024-04-26 22:27:32
1005
1
原创 Web 3.0革新：社交金融与边玩边赚开启用户数据主权时代
Web 3.0利用去中心化技术重塑社交商业模式，强调用户数据主权和隐私保护。SocialFi结合社交网络与金融，激励创作者和用户共享平台价值。"边玩边赚"模式通过游戏经济创新，为玩家带来实际收益，同时面临代币波动和监管挑战，需探索稳定经济体系和合规性解决方案
2024-07-21 13:43:43
662
1
原创 NFT革命：数字资产的确权、营销与元宇宙的未来
NFT作为数字资产确权工具，通过区块链技术确保每个资产的唯一性和不可分割性，支持低成本、永久产权的数字创作和交易，推动数字营销和社区文化发展
2024-07-21 12:34:55
487
原创 破解打家劫舍：动态规划与二分查找的高效算法
本文介绍了四种不同条件下的“打家劫舍”问题解决方案，包括一维和二维动态规划、环形房屋处理、二叉树结构房屋以及最小窃取能力的二分查找方法。
2024-07-20 18:29:06
610
1
原创 AI时代算法面试：揭秘高频算法问题与解答策略
本文深入探讨了三种决策树算法：ID3、C4.5和CART，各自适用于不同复杂度的分类问题。同时，分析了梯度消失问题及其解决方案，以及K折交叉验证和K-means聚类算法的原理和应用。此外，还介绍了SVM、PCA、KPCA和t-SNE等降维技术，通过这些方法可以优化模型性能和提高数据可视化效果。
2024-07-05 10:21:31
1100
1
原创 解码数据特征：特征向量的计算指南与实例分析
本文介绍了特征向量的计算过程，包括构建协方差矩阵、标准化数据、进行特征值分解以确定特征向量。通过示例数据矩阵X，展示了如何计算协方差矩阵，并通过特征值分解得到特征向量，这些特征向量在数据分析和降维中起着关键作用。
2024-07-05 10:12:05
346
原创 葡萄酒品质揭秘：运用PCA和KPCA技术深度解析葡萄酒分类
本项目通过主成分分析（PCA）和核主成分分析（KPCA）对葡萄酒数据集进行降维，以探索和分类不同品种的葡萄酒。研究利用PCA在保留数据方差的同时减少特征维度，并通过KPCA处理非线性可分数据。此外，项目还采用t-SNE方法进一步优化数据的可视化展示，旨在建立一个高效的葡萄酒分类模型，为葡萄酒行业提供数据支持。
2024-07-05 09:13:51
641
转载 上交ReThinkLab新作 | Bench2Drive：首个端到端自动驾驶综合能力闭环评估开放平台！
ReThinkLab推出的Think2Drive是一个先进的自动驾驶决策模型，能有效处理多种极端场景，并成功完成CARLA V2全场景测试。基于此，Bench2Drive作为首个端到端自动驾驶综合能力闭环评估平台，提供了大规模专家级数据集和精细化评估工具，旨在推动自动驾驶技术在处理复杂和罕见场景方面的进步。
2024-07-04 22:05:38
40
原创 多层感知机与CLIP在推荐系统和多模态学习中的应用
MLP通过嵌入和多层网络捕捉用户和物品间的复杂关系，提升推荐的个性化和准确性。CLIP通过对比学习将图像和文本映射至同一嵌入空间，实现跨模态搜索和生成，两者均展现了深度学习在理解和预测用户偏好方面的强大能力。
2024-06-30 23:54:32
869
1
原创 聚焦Python分布式爬虫必学框架Scrapy打造搜索引擎（一）
Scrapy是一个快速的、高层次的web爬虫框架，用于抓取web站点并从页面中提取结构化的数据。本文综述了Scrapy的架构、运作流程、项目结构、核心概念，以及中间件的使用。通过腾讯工作项目实战案例，展示了Scrapy在爬虫项目中的应用，包括创建项目、编写Spider、使用Item Pipeline处理数据等关键步骤，是爬虫开发者的实用指南。
2024-06-30 20:00:11
1153
原创 Spark SQL 的总体工作流程
Spark SQL 结合了 SQL 的易用性和 Spark 的分布式计算能力，通过优化查询计划和内存管理，为大规模数据处理提供了一个强大、灵活且高效的解决方案。
2024-06-28 07:16:20
779
2
原创 深度学习在蛋白质结构预测的新突破：AlphaFold、RoseTTAFold与ESMFold
深度学习在蛋白质结构预测领域取得重大进展，AlphaFold、RoseTTAFold和ESMFold通过先进的神经网络架构，如注意力机制和进化缩放模型，实现了高准确度和高效率的蛋白质三维结构预测，推动了生物医学研究的新浪潮，且这些技术均已开源。
2024-06-26 23:51:07
646
1
原创 使用 Vanna 生成准确的 SQL 查询：工作原理和性能分析
Vanna 是一个 Python 包，利用检索增强功能通过自然语言问答生成准确的 SQL 查询。本文介绍了 Vanna 的工作原理和如何使用它，以及其性能分析。
2024-06-26 12:29:05
157
1
原创 GPTCache：革新大模型缓存，降低成本，提升效率
GPTCache项目通过语义缓存LLM响应，有效降低高流量下API调用成本和提高响应速度。项目提供从初始化到集成的详细步骤，支持自定义嵌入函数、数据管理器和相似度评估，优化了长序列处理和多轮对话的效率。此外，介绍了KV Cache在GPT2中的应用，展示了其在Transformer模型中的关键作用，通过缓存Key和Value状态减少计算量，加速模型推理。
2024-06-23 14:23:53
203
1
原创 LLaMA：挑战大模型Scaling Law的性能突破
Scaling Law为大模型训练提供了计算量、参数量和数据量之间的量化关系。LLaMA模型的出现，可能颠覆了这一定律，展现出在较低资源消耗下的高性能，为大模型的效率和性能平衡开辟了新路径
2024-06-23 12:38:08
196
原创 自动驾驶⻋辆环境感知：多传感器融合
多传感器融合技术通过结合不同传感器的优势，提高自动驾驶系统的准确性和鲁棒性。传统方法依赖规则和模型，而现代方法如基于深度学习的视觉和LiDAR融合，通过前融合或目标级融合，实现更高效的数据处理和更准确的目标检测。BEV技术作为前融合的一种，通过虚拟摄像机和空间变换金字塔，有效提高了3D车道检测的性能。
2024-06-23 08:20:38
845
原创 深度学习模型的生命周期与推理系统架构
本文概述了深度学习模型从训练到推理的全生命周期，重点探讨了推理阶段的系统架构、优化策略以及边缘部署的多种方式。
2024-06-10 18:03:51
242
1
原创 具身人工智能：人工智能机器人如何感知世界
高通人工智能研究院开发了一种名为“几何代数变换器”（GATr）的数据高效架构模型，用于改善机器人对环境的感知，具有几何代数表示、等变层和Transformer架构，即使在少量数据下也能实现高性能，有望推动具身人工智能在制造业、医疗保健等领域的应用。
2024-05-26 17:45:49
154
2
原创 数据驱动决策的重要工具
本文探讨了在线实验设计中的几种关键方法，包括A/B测试、多臂赌博机(MAB)、交错测试、异质性处理效应(HTE)分析和因果推断。A/B测试通过随机分组和关键指标测量，比较两个版本的性能。MAB通过算法如ε-greedy、UCB和Thompson采样，在探索与利用间找到平衡。交错测试适用于搜索引擎和推荐系统，通过用户反馈比较不同排序算法。HTE分析通过分层或机器学习方法，识别不同用户群体对处理的反应差异。因果推断，如随机对照试验(RCT)、工具变量(IV)和断点回归(RDD)，旨在确定处理与结果间的因果关系。
2024-05-17 10:44:25
79
原创 自动驾驶技术与传感器数据处理
本文详细介绍了自动驾驶技术的总体架构，包括计算平台、仿真平台、感知系统、决策系统和定位系统。特别强调了激光点云、车载毫米波雷达和车载相机等传感器在自动驾驶中的作用，以及如何通过PCL点云库对点云数据进行处理。同时，还探讨了摄像头参数、图像处理算法和设备标定在自动驾驶系统中的重要性。
2024-05-12 22:47:23
1259
2
原创 自动驾驶系统中的数据闭环：挑战与前景
数据闭环对于自动驾驶系统的持续进化至关重要，它通过收集corner case数据提高模型泛化能力并驱动算法迭代。然而，落地过程中面临合规性、数据确权、系统资源占用、数据处理难度、软件系统复杂度和模型训练难度等挑战。尽管存在问题，但随着技术发展，预期这些问题将被解决，从而推动自动驾驶系统向更高阶发展。
2024-05-09 11:22:59
986
1
原创 互联网时代架构师都面临哪些新挑战
在实际的架构活动中，我并没有按照步骤一个一个执行。不过在初学时期，我会想办法把完整的流程多跑几遍，将每个节点及其底层逻辑烂熟于心。然后再根据具体项目、工作环境和参与团队来做精简。不要连基本的招数都没学会，一上来就想着无招胜有招。在我们团队做规划时，我总会给团队 Leader 们一套固定的架构规划模版，帮助他们提升架构能力。一旦我看到某个人理解得很透彻，做得很到位。我反倒劝他丢掉模版。这就是：先固化，再内化
2024-05-07 07:25:50
639
2
原创 深度学习实践指南：打造强大AI应用的关键步骤和技巧
深度学习的发展经历了从简单的神经元模型到复杂的网络结构的演变。早期的麦卡洛克-皮茨模型和感知器奠定了基础，随后多层感知器和深度神经网络的出现解决了线性不可分问题。卷积神经网络（CNN）和递归神经网络（RNN）分别在图像处理和时间序列分析中表现出色。LSTM作为RNN的一种，因其独特的设计，特别适合处理和预测时间序列中的长期事件。TensorFlow等框架利用CNN等算法进行图像标注，通过特征提取、关键点预测和关联，实现单人或多人姿态估计。
2024-04-25 16:44:01
628
1
原创 深度学习模型训练优化：并行化策略与参数拆分技术
本文介绍了深度学习中用于提高训练效率和降低硬件要求的并行处理技术，包括张量并行、流水线并行、混合精度训练、模型并行和数据并行，梯度累积。这些方法通过在多个处理器上分配计算任务，使得训练大型神经网络更加高效，同时降低了内存和计算资源的需求。
2024-04-25 10:28:00
278
原创 深度学习在三维点云处理与三维重建中的应用探索
本文深入探讨了点云数据处理的关键技术，包括数据清洗、降噪、简化、配准等预处理步骤，为后续的SLAM和语义分割任务奠定基础。特别地，文章详细介绍了PointNet和PointNet++这两个先进的深度学习算法，它们能够有效处理无序点云数据并提取特征。此外，还探讨了三维重建中的NeuralRecon系统，它采用多尺度方法和GRU网络来优化三维结构的生成。文章强调了这些技术的优点和面临的挑战，展望了在三维数据处理领域的未来发展。
2024-04-12 15:58:45
1726
1
原创 【Kaggle比赛】DFL 德甲足球事件检测大赛（CV·目标检测-视频分类）
在这场足球事件检测比赛中，参赛者需要开发一个计算机视觉模型，目标是自动识别和分类长视频中的传球、掷界外球、传中球以及挑战等事件。这将有助于从未探索的比赛和训练课程中自动化地收集数据。比赛要求提交的解决方案必须在笔记本电脑上运行，且运行时间有限制。允许使用公开数据和预训练模型。参赛者需要处理视频，抽取帧，进行图像分类，并可能使用数据增强技术如Albumentations库来提高模型的泛化能力。集成不同模型，如YOLO和DeepSORT，可以提高检测和跟踪的准确性。最终，参赛者需要将检测到的事件及其时间戳保存到
2024-04-10 09:28:05
220
1
原创 数据挖掘比赛比较基础的baseline
本文综述了三种流行的梯度提升决策树（GBDT）库：LightGBM、XGBoost和CatBoost，强调了它们在处理大规模数据集、分类特征优化和数值计算加速方面的特点与应用。同时，文章探讨了模型参数调优的原则、模型验证方法，以及使用Numba和CuPy进行高效数值计算的技术。这些内容为机器学习从业者在选择合适工具和优化模型性能提供了宝贵的指导。
2024-04-01 23:47:08
703
2
原创 LeetCode1365之切披萨的方案数(相关话题：二维前缀和,动态规划)
该问题要求在给定的披萨上切割k-1次，使得每块至少包含一个苹果，计算满足条件的切割方案数。通过动态规划和前缀和技巧，我们能够高效地找到解决方案。
2024-02-07 16:44:36
703
2
原创 Flink与Redis集成：自定义连接器实现维表创建与数据汇入
本文详细介绍了如何在Apache Flink中通过自定义连接器与Redis进行数据交互，包括创建Redis维表和实现数据汇入。文章展示了如何利用现有的Redis连接器和Flink的动态表特性，通过自定义的Source和Sink，实现流式数据与Redis维表的实时Join操作，以及如何将数据批量写入Redis。此外，还探讨了如何通过缓存优化和复用现有格式来提高性能。
2024-01-31 22:55:29
567
1
原创 GeoHash编码在日志数据处理中的应用与优化
本文详细介绍了如何将GPS坐标转换为GeoHash编码，以便于进行地理位置维度分析。首先解释了GeoHash编码的原理和优势，然后展示了如何使用现成的GeoHash工具包进行坐标转换。接着，通过编写Hive UDF，实现了在Hive中直接进行GeoHash编码的功能。最后，介绍了如何利用高德API服务来补充和完善地理位置字典，以提高数据处理的准确性。
2024-01-28 22:14:07
235
1
原创 ID Mapping技术解析：从Redis到Spark GraphX的演进与应用
本文深入探讨了ID Mapping技术在处理多设备、多平台用户标识不一致问题中的应用。首先介绍了ID Mapping的背景和重要性，然后详细阐述了基于Redis和Spark GraphX的两种ID Mapping方案，包括它们的实现思路、具体代码示例以及在实际生产环境中的应用。最后，文章提供了相关资料链接，为读者提供了进一步学习和实践的资源。
2024-01-28 18:54:14
516
原创 Spark面试全攻略：深入理解与高效准备指南
这份文档提供了全面的Spark面试准备指南，涵盖了从基础到高阶的面试问题，包括Spark的核心概念、API使用、性能优化技巧以及最新的Spark特性。文档结构清晰，内容详实，旨在帮助面试者深入理解Spark框架，提升面试表现。
2024-01-27 21:52:05
694
2
原创 排序算法经典模型: 梯度提升决策树（GBDT）的应用实战
梯度提升决策树(GBDT)是一种基于Boosting思想和决策树的机器学习算法。它通过迭代建立决策树弱学习器来逼近目标变量,并结合了梯度下降的思想来优化损失函数。GBDT可用于回归和分类任务,广泛应用于推荐系统等领域。
2024-01-24 15:20:17
1661
1
原创 算法优化：LeetCode第122场双周赛解题策略与技巧
LeetCode第122场双周赛挑战，涵盖数组操作、排序与大小顶堆、延迟删除、滑动窗口。
2024-01-21 22:37:17
935
原创 LeetCode114二叉树展开为链表(相关话题：后序遍历)
本题要求将二叉树展开为单链表，保持先序遍历顺序。解法一通过递归展开左右子树，然后调整指针顺序；解法二利用pre记录前驱节点，依次处理右子树、左子树，最后更新前驱节点。两种方法均在原地完成，空间复杂度为O(1)。
2024-01-14 20:57:19
450
原创 自定义HBase负载均衡器MyCustomBalancer实现步骤与代码解析
自定义HBase负载均衡器通过集成监控数据，动态调整Region分布，优化集群性能。
2024-01-09 11:52:51
1505
1
一个在有序行和列的矩阵中选择第k小元素的O(n)时间复杂度算法
2024-01-01
华为鸿蒙4谷歌鸿蒙GMS安装的安装包
2023-10-23
cdh5.9.3.rar
2021-07-20
Highcharts案例.rar
2020-07-13
elasticsearch-5.6.3+kibana-5.6.3+logstash-5.6.3.rar
2019-09-15
elasticsearch-analysis-ik-5.2.0.rar
2019-09-12
基于SSH的电子办公系统
2014-07-03
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人