- 博客(562)
- 资源 (31)
- 收藏
- 关注
RSS订阅
原创 架构师的六大生存法则与价值创造
架构师在软件架构设计中需遵循六大生存法则，确保方案与企业目标一致，尊重人性，最大化商业价值，考虑技术生命周期，注入外部适应性，并在文化环境中生存。这些法则帮助架构师在资源限制下，通过技术洞察和设计，实现商业模式的创新和效率提升，同时要求架构师具备良知和勇气，以全局和长期视角推动架构成功，为公司创造持续的商业价值。
2024-04-26 22:27:32
1083
1
原创 JIT编译：Java性能加速的关键技术
JIT编译通过动态优化，如内联、逃逸分析和循环优化，显著提升Java程序的执行速度。它是现代Java应用性能提升的核心。#Java性能优化 #JIT编译技术
2024-09-05 18:08:44
1081
原创 揭秘Flink SQL：如何通过五大优化策略超越传统Java API
Flink SQL通过优化器、代码生成、减少数据shuffle、避免序列化开销和算子融合，实现高效数据处理。
2024-08-28 10:44:56
214
2
原创 YARN集群下的Spark应用：揭秘资源调度与任务执行的高效协作流程
Spark应用程序通过YARN的ResourceManager和ApplicationMaster实现资源分配和任务调度，完成集群内高效计算
2024-08-28 10:27:59
71
原创 揭秘Iceberg：数据湖新版本的高级特性全面解析
Iceberg是一个高性能的分布式数据存储格式，支持分支、标签、Puffin格式和统计信息等特性，以优化数据管理和查询性能。它通过物化视图、CDC数据入湖、多流数据拼接、异步索引和Z-order聚簇优化等功能，简化了数据集成和处理流程，同时提供了多租户访问控制以增强数据安全性。
2024-08-20 16:04:47
673
原创 数据关联的艺术：揭秘Spark SQL中的5大Join策略与性能优化秘籍
在分布式数据处理中，选择合适的Join策略对提升Spark SQL性能至关重要。通过理解嵌套循环Join（NLJ）、排序归并Join（SMJ）和哈希Join（HJ）的工作原理，开发者可以根据数据特性和业务需求，利用Spark提供的Join Hints，优化查询性能，实现高效的数据关联。
2024-08-19 23:18:25
183
原创 揭秘分布式计算的心脏：Shuffle技术如何优化数据流并避免性能瓶颈
Shuffle 是分布式计算中数据重新分配的过程，类似于洗牌，分为 Map 和 Reduce 两个阶段。它通过优化数据传输和聚合操作，如 groupByKey 和 reduceByKey，来提高性能。然而，Shuffle 也可能成为性能瓶颈，因为它涉及数据的网络和磁盘 I/O，特别是在大规模数据处理时。
2024-08-19 21:56:03
54
原创 让你想钻地缝的羞耻感，会危害健康
羞耻感是一种不适的情绪，通常发生在我们觉得自己违反了某种规范，并且这种规范对我们有意义时。研究表明，羞耻感与低自尊和心理健康问题（如抑郁症）有关。年龄和性别也影响羞耻感的表现。相比之下，内疚感更有助于社会适应和同理心，有助于维护社会关系
2024-08-15 22:56:11
778
原创 探索AI新前沿：向量数据库如何革新知识检索与智能客服
向量数据库中，是对非结构化的向量进行操作，通常应用相似性度量来查找与我们的查询最相似的向量，因此向量数据库只能提供近似结果，无法提供准确匹配。
2024-08-13 09:38:33
61
原创 Spark Tungsten：数据结构与代码生成的双重革新
Tungsten是Apache Spark的性能优化项目，通过引入Unsafe Row数据结构和基于内存页的管理，以及全阶段代码生成（WSCG），减少存储开销、提升GC效率，并优化CPU缓存命中率，从而显著提高Spark的性能。
2024-08-10 19:39:32
73
原创 Hive SQL进阶：掌握这些SQL查询技巧，让你的数据报告更加精准和高效！
这份文档提供了一系列的SQL查询示例，用于解决数据分析中的常见问题，如用户活跃度、留存率、销售统计等。通过这些示例，用户可以学习如何使用SQL进行高效的数据查询和分析。
2024-08-05 12:37:12
837
原创 Catalyst优化器:让你的Spark SQL查询提速10倍
Spark SQL优化分为逻辑和物理两个阶段。逻辑阶段解析查询,应用规则如谓词下推。物理阶段选择最佳join策略和执行计划。Catalyst优化器贯穿全程,基于规则和成本模型优化。最终生成高效的物理计划,由Tungsten执行。
2024-07-28 13:26:29
361
原创 Spark进化论:从RDD到DataFrame,揭秘Spark SQL如何成为性能引擎的幕后英雄
Spark SQL优化分为逻辑和物理两个阶段。逻辑阶段解析查询,应用规则如谓词下推。物理阶段选择最佳join策略和执行计划。Catalyst优化器贯穿全程,基于规则和成本模型优化。最终生成高效的物理计划,由Tungsten执行。
2024-07-28 10:46:43
232
原创 性能调优本质：如何精准定位瓶颈并实现系统极致优化
性能调优是一个动态过程，关键在于识别并解决瓶颈。通过专家经验和运行时诊断定位瓶颈，从应用代码和Spark配置项两方面进行调优，最终目标是实现硬件资源的平衡和无瓶颈状态
2024-07-27 19:47:33
252
原创 DeFi革命：揭秘去中心化金融的核心技术与实操指南
eFi（去中心化金融）以其无许可、无门槛、自动化的特性，重塑金融行业。通过闪电贷、MakerDAO等创新模式，DeFi提供无需信任的金融服务。同时，采用EIP-712等技术标准化数据签名，保障交易安全。DeFi虽面临操作风险和安全挑战，但其透明和用户友好的金融模式为未来金融发展提供了新方向。
2024-07-27 19:22:26
1243
原创 Web 3.0革新：社交金融与边玩边赚开启用户数据主权时代
Web 3.0利用去中心化技术重塑社交商业模式，强调用户数据主权和隐私保护。SocialFi结合社交网络与金融，激励创作者和用户共享平台价值。"边玩边赚"模式通过游戏经济创新，为玩家带来实际收益，同时面临代币波动和监管挑战，需探索稳定经济体系和合规性解决方案
2024-07-21 13:43:43
1255
2
原创 NFT革命：数字资产的确权、营销与元宇宙的未来
NFT作为数字资产确权工具，通过区块链技术确保每个资产的唯一性和不可分割性，支持低成本、永久产权的数字创作和交易，推动数字营销和社区文化发展
2024-07-21 12:34:55
1001
原创 破解打家劫舍：动态规划与二分查找的高效算法
本文介绍了四种不同条件下的“打家劫舍”问题解决方案，包括一维和二维动态规划、环形房屋处理、二叉树结构房屋以及最小窃取能力的二分查找方法。
2024-07-20 18:29:06
868
1
原创 AI时代算法面试：揭秘高频算法问题与解答策略
本文深入探讨了三种决策树算法：ID3、C4.5和CART，各自适用于不同复杂度的分类问题。同时，分析了梯度消失问题及其解决方案，以及K折交叉验证和K-means聚类算法的原理和应用。此外，还介绍了SVM、PCA、KPCA和t-SNE等降维技术，通过这些方法可以优化模型性能和提高数据可视化效果。
2024-07-05 10:21:31
1165
1
原创 解码数据特征：特征向量的计算指南与实例分析
本文介绍了特征向量的计算过程，包括构建协方差矩阵、标准化数据、进行特征值分解以确定特征向量。通过示例数据矩阵X，展示了如何计算协方差矩阵，并通过特征值分解得到特征向量，这些特征向量在数据分析和降维中起着关键作用。
2024-07-05 10:12:05
409
原创 葡萄酒品质揭秘：运用PCA和KPCA技术深度解析葡萄酒分类
本项目通过主成分分析（PCA）和核主成分分析（KPCA）对葡萄酒数据集进行降维，以探索和分类不同品种的葡萄酒。研究利用PCA在保留数据方差的同时减少特征维度，并通过KPCA处理非线性可分数据。此外，项目还采用t-SNE方法进一步优化数据的可视化展示，旨在建立一个高效的葡萄酒分类模型，为葡萄酒行业提供数据支持。
2024-07-05 09:13:51
686
转载 上交ReThinkLab新作 | Bench2Drive：首个端到端自动驾驶综合能力闭环评估开放平台！
ReThinkLab推出的Think2Drive是一个先进的自动驾驶决策模型，能有效处理多种极端场景，并成功完成CARLA V2全场景测试。基于此，Bench2Drive作为首个端到端自动驾驶综合能力闭环评估平台，提供了大规模专家级数据集和精细化评估工具，旨在推动自动驾驶技术在处理复杂和罕见场景方面的进步。
2024-07-04 22:05:38
134
原创 多层感知机与CLIP在推荐系统和多模态学习中的应用
MLP通过嵌入和多层网络捕捉用户和物品间的复杂关系，提升推荐的个性化和准确性。CLIP通过对比学习将图像和文本映射至同一嵌入空间，实现跨模态搜索和生成，两者均展现了深度学习在理解和预测用户偏好方面的强大能力。
2024-06-30 23:54:32
976
1
原创 聚焦Python分布式爬虫必学框架Scrapy打造搜索引擎（一）
Scrapy是一个快速的、高层次的web爬虫框架，用于抓取web站点并从页面中提取结构化的数据。本文综述了Scrapy的架构、运作流程、项目结构、核心概念，以及中间件的使用。通过腾讯工作项目实战案例，展示了Scrapy在爬虫项目中的应用，包括创建项目、编写Spider、使用Item Pipeline处理数据等关键步骤，是爬虫开发者的实用指南。
2024-06-30 20:00:11
1216
原创 揭秘大数据处理利器：Spark SQL的全流程解析鸟瞰
Spark SQL 结合了 SQL 的易用性和 Spark 的分布式计算能力，通过优化查询计划和内存管理，为大规模数据处理提供了一个强大、灵活且高效的解决方案。
2024-06-28 07:16:20
940
2
原创 深度学习在蛋白质结构预测的新突破：AlphaFold、RoseTTAFold与ESMFold
深度学习在蛋白质结构预测领域取得重大进展，AlphaFold、RoseTTAFold和ESMFold通过先进的神经网络架构，如注意力机制和进化缩放模型，实现了高准确度和高效率的蛋白质三维结构预测，推动了生物医学研究的新浪潮，且这些技术均已开源。
2024-06-26 23:51:07
917
1
原创 使用 Vanna 生成准确的 SQL 查询：工作原理和性能分析
Vanna 是一个 Python 包，利用检索增强功能通过自然语言问答生成准确的 SQL 查询。本文介绍了 Vanna 的工作原理和如何使用它，以及其性能分析。
2024-06-26 12:29:05
295
1
原创 GPTCache：革新大模型缓存，降低成本，提升效率
GPTCache项目通过语义缓存LLM响应，有效降低高流量下API调用成本和提高响应速度。项目提供从初始化到集成的详细步骤，支持自定义嵌入函数、数据管理器和相似度评估，优化了长序列处理和多轮对话的效率。此外，介绍了KV Cache在GPT2中的应用，展示了其在Transformer模型中的关键作用，通过缓存Key和Value状态减少计算量，加速模型推理。
2024-06-23 14:23:53
264
1
原创 LLaMA：挑战大模型Scaling Law的性能突破
Scaling Law为大模型训练提供了计算量、参数量和数据量之间的量化关系。LLaMA模型的出现，可能颠覆了这一定律，展现出在较低资源消耗下的高性能，为大模型的效率和性能平衡开辟了新路径
2024-06-23 12:38:08
259
原创 自动驾驶⻋辆环境感知：多传感器融合
多传感器融合技术通过结合不同传感器的优势，提高自动驾驶系统的准确性和鲁棒性。传统方法依赖规则和模型，而现代方法如基于深度学习的视觉和LiDAR融合，通过前融合或目标级融合，实现更高效的数据处理和更准确的目标检测。BEV技术作为前融合的一种，通过虚拟摄像机和空间变换金字塔，有效提高了3D车道检测的性能。
2024-06-23 08:20:38
974
原创 深度学习模型的生命周期与推理系统架构
本文概述了深度学习模型从训练到推理的全生命周期，重点探讨了推理阶段的系统架构、优化策略以及边缘部署的多种方式。
2024-06-10 18:03:51
277
1
原创 具身人工智能：人工智能机器人如何感知世界
高通人工智能研究院开发了一种名为“几何代数变换器”（GATr）的数据高效架构模型，用于改善机器人对环境的感知，具有几何代数表示、等变层和Transformer架构，即使在少量数据下也能实现高性能，有望推动具身人工智能在制造业、医疗保健等领域的应用。
2024-05-26 17:45:49
185
2
原创 数据驱动决策的重要工具
本文探讨了在线实验设计中的几种关键方法，包括A/B测试、多臂赌博机(MAB)、交错测试、异质性处理效应(HTE)分析和因果推断。A/B测试通过随机分组和关键指标测量，比较两个版本的性能。MAB通过算法如ε-greedy、UCB和Thompson采样，在探索与利用间找到平衡。交错测试适用于搜索引擎和推荐系统，通过用户反馈比较不同排序算法。HTE分析通过分层或机器学习方法，识别不同用户群体对处理的反应差异。因果推断，如随机对照试验(RCT)、工具变量(IV)和断点回归(RDD)，旨在确定处理与结果间的因果关系。
2024-05-17 10:44:25
131
原创 自动驾驶技术与传感器数据处理
本文详细介绍了自动驾驶技术的总体架构，包括计算平台、仿真平台、感知系统、决策系统和定位系统。特别强调了激光点云、车载毫米波雷达和车载相机等传感器在自动驾驶中的作用，以及如何通过PCL点云库对点云数据进行处理。同时，还探讨了摄像头参数、图像处理算法和设备标定在自动驾驶系统中的重要性。
2024-05-12 22:47:23
1509
2
原创 自动驾驶系统中的数据闭环：挑战与前景
数据闭环对于自动驾驶系统的持续进化至关重要，它通过收集corner case数据提高模型泛化能力并驱动算法迭代。然而，落地过程中面临合规性、数据确权、系统资源占用、数据处理难度、软件系统复杂度和模型训练难度等挑战。尽管存在问题，但随着技术发展，预期这些问题将被解决，从而推动自动驾驶系统向更高阶发展。
2024-05-09 11:22:59
1192
1
原创 互联网时代架构师都面临哪些新挑战
在实际的架构活动中，我并没有按照步骤一个一个执行。不过在初学时期，我会想办法把完整的流程多跑几遍，将每个节点及其底层逻辑烂熟于心。然后再根据具体项目、工作环境和参与团队来做精简。不要连基本的招数都没学会，一上来就想着无招胜有招。在我们团队做规划时，我总会给团队 Leader 们一套固定的架构规划模版，帮助他们提升架构能力。一旦我看到某个人理解得很透彻，做得很到位。我反倒劝他丢掉模版。这就是：先固化，再内化
2024-05-07 07:25:50
674
2
一个在有序行和列的矩阵中选择第k小元素的O(n)时间复杂度算法
2024-01-01
华为鸿蒙4谷歌鸿蒙GMS安装的安装包
2023-10-23
cdh5.9.3.rar
2021-07-20
Highcharts案例.rar
2020-07-13
elasticsearch-5.6.3+kibana-5.6.3+logstash-5.6.3.rar
2019-09-15
elasticsearch-analysis-ik-5.2.0.rar
2019-09-12
基于SSH的电子办公系统
2014-07-03
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人