大数据
文章平均质量分 63
IT技术猿猴
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
一键生成专业流程图:Draw.io与AI结合的高效绘图指南
本文介绍了Draw.io(现更名为diagrams.net)这一开源免费的在线绘图工具,并探讨了其与AI辅助绘图技术的结合。文章详细阐述了Draw.io的主要特性、适用人群,以及传统手动绘图与AI辅助绘图的对比。通过Mermaid.js与Draw.io的集成,用户可以快速生成各类图表,如流程图、决策树、组织结构图等。此外,文章还介绍了如何在VSCode中集成Draw.io,并提供了高级技巧与最佳实践,如优化AI提示词、样式自定义、复杂图表的处理等。最后,文章解答了常见问题,并展望了AI技术在图表生成领域的未原创 2025-05-23 11:02:16 · 9844 阅读 · 0 评论 -
深入解析AI中的Prompt工程:从理论到实践
本文全面探讨了Prompt在人工智能中的核心地位及其应用技巧。Prompt作为引导大规模语言模型(LLM)输出的关键工具,直接影响模型生成内容的质量与相关性。文章首先介绍了Prompt的基础理论,包括其定义、ICIO框架及其在AI交互中的重要性。随后,详细阐述了Prompt工程实践,包括其范围、具体内容、工作流程及设计原则。文章还指出了Prompt工程中的常见误区,并深入解析了GPT模型如何理解Prompt,包括其基本结构、自注意力机制及多头注意力机制。最后,提供了Prompt工程实战指南,涵盖代码生成、优原创 2025-05-21 10:32:44 · 1788 阅读 · 0 评论 -
大模型高效微调技术全面解析:从PEFT原理到实战应用
本文全面解析了大语言模型(LLM)的高效微调技术,特别是参数高效微调(PEFT)方法。首先介绍了大语言模型的基本概念和微调的必要性,指出随着模型规模的增大,传统微调方法在计算和存储上的挑战。接着,详细阐述了PEFT技术的原理,包括适配器、LoRA、QLoRA、IA3、P-Tuning和PromptTuning等主要方法,这些方法通过仅微调少量参数,显著降低了计算和内存需求。文章还提供了PEFT技术的实战应用指南,包括环境准备、数据处理、模型配置与训练、模型保存与加载、模型合并与推理等步骤。此外,还探讨了模型原创 2025-05-20 19:58:13 · 1296 阅读 · 0 评论 -
基于NLP技术的客户投诉与需求文本分类方法研究
本文探讨了自然语言处理(NLP)技术在客户投诉和需求文本分类中的应用,涵盖了从传统机器学习到深度学习的多种方法。通过分析金融、电信和自动驾驶汽车等行业的案例,文章详细介绍了文本分类的技术流程、算法原理和模型架构,并比较了不同方法的优缺点。研究表明,结合多通道特征提取和注意力机制的深度学习模型在处理短文本和特征稀疏问题时表现优异。文章还提供了实际应用案例的代码实现和参数设置,为研究者和实践者提供了有价值的参考。未来研究方向包括更高效的特征交互方式、小样本学习、轻量级模型开发以及结合领域知识提升分类效果。随着N原创 2025-05-20 19:39:09 · 1696 阅读 · 0 评论 -
百度翻译API使用简介
百度翻译api原创 2022-02-09 13:59:24 · 4115 阅读 · 0 评论 -
Hadoop2.0
目前的大数据技术架构目前的大数据技术架构的不足ü缺少真正意义上的流式场景的计算模型,目前都通过降低oozie定时调度的时长,而且hadoop是批处理技术模型,处理流式场景的应用,效率很低。ü在数据挖掘场景上,mahout虽然支持很多数据挖掘算法,但大多数数据挖掘算法都迭代计算的,mahout是基于mapreduce的,每次迭代都要将结果存储在hdfs中,所以在处理速度上还是可以提升的。ü目前大数据技术是基于hadoop1.X之上构建,hadoop是非常优秀批处理技术模型,与其他计原创 2022-02-07 15:03:17 · 1149 阅读 · 0 评论 -
Hive与Hive+HBase比较
原创 2022-02-07 14:51:43 · 864 阅读 · 0 评论 -
HBase原理
HBase是分布式的、.面向列的开源数据库HBase是Google Bigtable的开源实现底层基于Hadoop,HDFS为HBase提供高可靠性的底层存储支持,MapReduce为HBase提供高性能的计算能力Zookeeper为HBase提供了稳定服务和failover机制HBase中有两张特殊的Table ,-ROOT-和.META..META.:记录了用户表的Region信息,.META.可以有多个regoin-ROOT-:记录了.META.表的Region信息原创 2022-02-07 14:42:42 · 371 阅读 · 0 评论 -
Hadoop1.0
Hadoop1.0Hadoop是一个开源的软件框架,它支持数据密集型的分布式应用,许可授权隶属于Apache v2 license.可以在成千上万台独立的计算机上运行。Hadoop源自于Google的MapReduce和Google File System(GFS)两篇论文。现在通常认为完整的Apache Hadoop'平台’由Hadoop内核、MapReduce和HDFS组成,以及若干相关的项目――包括Apache Hive 、 ApacheHbase等等数据存储与计算节点构架原创 2022-02-07 14:03:34 · 1097 阅读 · 0 评论 -
谷歌大数据起源
Google MapReduce并行处理的基本过程Google GFS文件系统原创 2022-02-07 13:51:52 · 1091 阅读 · 0 评论
分享