む妖饰千年ょ乱一世浮华-CSDN博客

原创 Yarn与Zookeeper的介绍

概述:它是一款非常好用的大数据分布式协调服务组件, 主要是用来帮助我们管理大数据进群的, 例如: 主备切换, 选举机制, 全局数据一致性...吉祥物是: 1个拿着铁锹的小人.本质:ZK本身也是1个小型的分布式文件存储系统, 采用ZNode节点的方式来存储数据, 底层是: 树形结构. 每个节点的大小不能超过: 1MB.回顾: 树形结构特点:1. 有且只能有1个根节点.2. 每个节点都有若干个子节点及1个父节点(根节点除外)3. 没有子节点的节点称之为: 叶子节点.

2024-04-01 08:45:44 1813 1

原创 AI大模型学习：技术环境下的挑战与机遇

在当前技术环境下，AI大模型学习不仅要求研究者具备深厚的数学基础和编程能力，还需要对特定领域的业务场景有深入的了解。通过不断优化模型结构和算法，AI大模型学习能够不断提升模型的准确性和效率，为人类生活和工作带来更多便利。

2024-03-28 10:51:35 658

原创 HDFS原理介绍

分布式存储解决了单机存储容量有限的问题, 且带来了比较高的性能提升. 例如: 3台服务器, 就是3倍的传输效率, 读写效率...横向扩展 = 加机器, 纵向扩展 = 加配置(硬件)

2024-03-24 13:33:59 1445 1

原创 Devin的诞生：全球首位AI程序员对传统开发者生态的冲击与融合

近期，全球首位AI程序员Devin的出场，不禁让我想到了一个有趣的问题：AI程序员会不会抢程序员的饭碗呢？先别着急下结论！虽然AI技术在编程领域越来越广泛，但它真的能完全替代我们程序员吗？

2024-03-21 15:18:51 796 1

原创 Hive调优总结

概述:hive的参数配置, 就是在那里配置hive的参数信息, 根据配置地方不同, 作用范围也不一样.配置方式:1. set方式进行设置.2. 命令行方式进行设置.3. 配置文件方式进行设置.优先级问题:set方式 > 命令行方式 > 配置文件方式作用范围:set方式 < 命令行方式 < 配置文件方式细节:1. set方式, 格式为: set 属性名=属性值;例如: set mapreduce.job.reduces=n;

2024-03-17 15:53:00 1214 1

原创 2024年科技前瞻：AI辅助研发引领未来创新浪潮

2024年，随着AI技术的进一步成熟，AI辅助研发的趋势将更加明显，其潜力也将得到更广泛的挖掘和应用。：AI算法能够分析复杂的生物大数据，识别潜在的药物靶点，预测分子的生物活性，从而加速新药的发现过程。利用历史数据和机器学习模型，可以更准确地预测试验结果，优化患者的分层和选择，减少不必要的试验次数，提高临床试验成功率。：AI技术的普及影响了人们的日常生活方式。：AI技术可以应用于软件测试过程中，自动识别错误模式，优化测试案例，甚至执行复杂的测试任务，确保软件质量的同时缩短上市时间。

2024-03-10 17:20:54 1154 1

原创大数据经典面试例题

而如何在这关键的时期脱颖而出，成为每个求职者关注的焦点。3. MapTask对数据进行分区,排序,规约处理后, 会将数据放到1个环形缓冲区中(默认大小: 100MB, 溢写比: 0.8), 达到80MB就会触发溢写线程.4. 溢写线程会将环形缓冲区中的结果写到磁盘的小文件中, 当MapTask任务结束的时候, 会对所有的小文件(10个/次)合并, 形成1个大的磁盘文件.5. ReduceTask任务会开启拷贝线程, 从上述的各个结果文件中, 拉取属于自己分区的数据, 进行: 分组, 统计, 聚合.

2024-03-04 18:17:32 1095 1

原创 Sora-AI视频模型的前沿技术与应用探索

随着人工智能技术的飞速发展，AI视频模型已成为科技领域的新热点。而在这个浪潮中，OpenAI推出的首个AI视频模型Sora，以其卓越的性能和前瞻性的技术，引领着AI视频领域的创新发展。让我们将一起探讨Sora的技术特点、应用场景以及对未来创作方式的深远影响。

2024-02-29 15:57:42 1148

原创 Apache Hadoop介绍, 大数据世界的大门

存储: HDFS, HBase计算: MapReduce, Hive, Spark, Flink传输: Sqoop, Flume, Kafka...下面是关于大数据体系的详细概念图Hadoop之父: 道格卡丁(Doug Cutting)吉祥物: 大象Hadoop的介绍:在狭义上指的是HDFS, MapReduce, Yarn等框架, 而在广义上指的是Hadoop生态圈, 包括但不限于周边所有技术, 例如: Spark, Flink, Sqoop...

2024-02-06 18:32:14 1217 1

原创 Shell解释器基础入门学习

Shell编程: 就是把我们写的Linux命令封装到1个文件中, 这个文件就叫: Shell脚本. 它是可以被执行的. 从编写, 到执行的完整过程, 称之为:;Shell编程.Shell脚本的执行, 底层需要用到Shell解释器, Linux的众多发行版, 默认的Shell解释器是: /bin/bash查看当前Linux系统支持哪些Shell解释器 cat /etc/shells/bin/sh/bin/bash/bin/tcsh/bin/csh。

2024-02-02 10:00:00 829

原创解释性AI的基础介绍

解释性AI（eXplainable AI，XAI）是指一种使AI系统的决策过程更加透明、可理解的技术。通过提高AI决策的可解释性，我们可以更好地理解AI如何做出决策，从而增强人类对AI的信任和接受程度。在实际应用中，这意味着为用户提供关于AI决策过程的详细信息，使用户能够更好地理解和评估AI系统的行为。解释性AI的定义尚未统一，但常见的解释是希望寻求对模型工作机理的直接理解，打破人工智能的黑盒子。另一种解释是为AI算法所做出的决策提供人类可读的以及可理解的解释。

2024-01-29 18:27:08 1223

原创 Linux进阶语法介绍

RedHat Package Manager, 小红包的包管理器, 可以自动联网进行下载, 并安装程序但是不能自动解决依赖问题, 例如: 装A需要依赖B和C, 则需要手动先装B和C, 才能装A.Linux系统和Mac系统, windows系统一样, 也是支持多用户管理的,为了更好的管理多用户, 就有了用户组和用户的概念,Linux系统中, root账号拥有最高权限.指定时间格式 %Y 4位数字的年, 例如: 2024 %y: 2位数字的年, 例如: 24。

2024-01-26 12:30:00 1773 1

原创零基础学习Linux语法，从入门到进阶

林纳斯·托瓦兹在1991年开发了 linux内核(开源免费)- linux系统组成- linux内核- 系统库- 系统程序- linux内核和linux发行版- linux内核 -> 开源免费,林纳斯开发- linux发行版 -> linux系统- redhat系统- Ubuntu系统 -> 桌面版- centos -> 免费- deepin -> 国内做的最好的。

2024-01-23 11:00:00 254 1

原创 ChatGPT 和文心一言两大AI助手的比较

ChatGPT是由OpenAI开发的，它可以理解自己生成的内容，并根据输入的上下文进行推理和生成回复。这种自我理解的能力使得ChatGPT在处理复杂对话和问题时具有优势。然而，ChatGPT的缺点是只能根据预先设定的规则和模板回复，这在一定程度上限制了其应用的灵活性。相比之下，文心一言是由百度推出的，它在获取条件和功能体验两个方面都表现出色，被认为是国内AI超级模型。文心一言的优点在于，它能够根据输入的上下文进行推理和生成回复，这使得它在处理复杂对话和问题时具有一定的优势。

2024-01-19 08:07:43 1678

原创数据库MySQL从入门到进阶，完整学习SQL基础语法

数据库概念：存储数据的仓库,本质上是一个文件系统数据库分类：- 关系型数据库(二维表格)- mysql- oracle- sqlite- 非关系型数据库- redis- hbase- mongodb。

2024-01-15 12:00:00 706

原创基于边缘计算的物联网数据处理与分析

边缘计算是一种新兴的计算模式，它将计算资源和数据存储推向网络边缘，以减少数据传输延迟、减轻云端负载压力，并提高系统的可靠性和安全性。在物联网中，边缘计算可以提供低延迟的数据处理和分析能力，以满足实时应用的需求。近年来，许多研究者已经提出了基于边缘计算的物联网数据处理方法。例如，有人提出了一种基于边缘计算的协同过滤算法，用于处理大规模物联网数据集中的用户推荐问题。他们通过将计算任务分布到边缘设备上，实现了高效的数据处理和推荐结果的实时更新。

2024-01-12 23:09:57 2076 1

原创 FTP 协议在当前时代下的研究和应用

文件传输协议（File Transfer Protocol，FTP）是用于在网络上进行文件传输的一套标准协议。它工作在 OSI 模型的第七层，TCP 模型的第四层，即应用层，使用 TCP 进行传输而不是 UDP。FTP 协议包括两个组成部分，其一为 FTP 服务器，其二为 FTP 客户端。其中 FTP 服务器用来存储文件，用户可以使用 FTP 客户端通过 FTP 协议访问这些文件。FTP协议是一种常用的文件传输协议，它广泛应用于互联网中。

2024-01-09 11:58:18 1337

原创关于RIP路由协议原型系统的实现

RIP（Routing Information Protocol）路由协议最初是由Xerox公司开发的，后来被广泛应用于互联网中。RIP路由协议最早采用的是RIP Version 1协议，它使用UDP协议在网络中进行路由信息的传输。RIP Version 1协议使用单播方式进行路由信息的交换，并限制了网络中最大的跳数为15。随着网络规模的不断扩大，RIP Version 1协议已经无法满足高效和稳定的路由选择需求。

2024-01-06 10:09:55 1226 1

m0_65395640的博客