- 博客(33)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 一文了解大数据概论
1）NameNode（nn）：存储文件的元数据，如文件名，文件目录结构，文件属性（生成时间、副本数、 文件权限），以及每个文件的块列表和块所在的DataNode等。2）DataNode(dn)：在本地文件系统存储文件块数据，以及块数据的校验和。3）Secondary NameNode(2nn)：用来监控HDFS状态的辅助后台程序，每隔一段时间获取HDFS元数据的快照。
2024-11-21 10:32:57
1094
原创 IDEA超好用的代码笔记插件 - Notes, 国产插件就是牛！
代码笔记是一款超好用的适合程序员在JetBrains产品线使用的代码笔记和书签管理软件, 手不离IDE即可完成创建修改搜索代码笔记功能, 支持附件管理，支持 SQLite 本地数据库存储或者Evernote存储, 支持阅读Evernote笔记和图片.
2024-11-08 08:10:38
386
原创 MySQL为什么不建议使用delete删除数据？
这篇文章我会从InnoDB存储空间分布，delete对性能的影响，以及优化建议方面解释为什么不建议delete删除数据。InnoDB存储架构从这张图可以看到，InnoDB存储结构主要包括两部分：逻辑存储结构和物理存储结构。
2024-11-02 22:12:30
1029
原创 一文了解大数据概论
1）NameNode（nn）：存储文件的元数据，如文件名，文件目录结构，文件属性（生成时间、副本数、 文件权限），以及每个文件的块列表和块所在的DataNode等。2）DataNode(dn)：在本地文件系统存储文件块数据，以及块数据的校验和。3）Secondary NameNode(2nn)：用来监控HDFS状态的辅助后台程序，每隔一段时间获取HDFS元数据的快照。
2024-11-01 21:22:12
1048
原创 SLA 服务可用性 4 个 9 是什么意思？怎么达到
如果我们提供的服务可用性越低，意味着造成的损失也越大，别的不说，如果是特别重要的时刻，或许就在某一分钟，你可能就会因服务不可用而丢掉一笔大的订单，这都是始料未及的。首先，SLA的概念，对互联网公司来说就是网站服务可用性的一个保证。我们平常经常看到互联网公司喊口号，我们今年一定要做到3个9、4个9，即99.9%、99.99%，甚至还有5个9，即99.999%。要做到更多的9，就要不断的监控自己的服务，服务挂掉能及时恢复服务。好了，今天就讲这么多，如果觉得有用，欢迎分享到朋友圈给更多的人。
2024-10-30 23:18:29
309
原创 进入腾讯、字节、阿里、百度、网易等互联网大厂做产品经理，需要什么条件
产品一定要会说，一定一定要会说，你必须要能清楚的把想法传达给其他人，而且在表达的过程中不能太乱，不然的话就是你去找开发，比方说讲一个资源的时候啊，东扯一句西扯一句，他半天都搞不清楚你要做什么东西，如果你逻辑思维再不好，prd又写的不清楚，那基本上很快会引起开发人员的不满，然后大家在合作过程中就非常不愉快。所以，快速学习能力也是产品经理必备的一个能力，尤其是现在APP由于飞快的迭代速度，经常会有一些新的工具类的应用，需要你去快速的学习，带领团队提高工作效率，这些都是产品经理需要去做的。
2024-10-30 00:00:50
937
原创 GitHub4.2k Java开源神器一个免费的基于JNA的Java操作系统和硬件信息库
OSHI是一个免费的基于JNA（本机）的Java操作系统和硬件信息库。它不需要安装任何其他本机库，旨在提供 跨平台实现以检索系统信息，例如操作系统版本、进程、 内存和 CPU 使用率、磁盘和分区、设备、传感器等。OSHI 起源于一个独立于平台的库，不需要额外的软件，并且具有与 开源和商业产品。在主要操作系统上开发了强大的核心功能。
2024-10-29 23:24:31
130
原创 MySQL 的全局锁、表锁和行锁
在前一篇文章我讲了下 MySQL 的全局锁、表记锁和行级别锁，其中行级锁只提了概念，并没有具体说。因为行级锁加锁规则比较复杂，不同的场景，加锁的形式还不同，所以这次就来好好介绍下行级锁。对记录加锁时，，它是由记录锁和间隙锁组合而成的，。但是，next-key lock 在一些场景下会退化成记录锁或间隙锁。那到底是什么场景呢？今天，我们就以下面这个表来进行实验说明。其中，id 是主键索引（唯一索引），b 是普通索引（非唯一索引），a 是普通的列。注意，。
2024-10-28 23:55:20
1400
原创 MySQL锁
锁是计算机协调多个进程或线程并发访问某一资源的机制。在数据库中，除传统的计算资源（如CPU、RAM、I/O等）的争用以外，数据也是一种供许多用户共享的资源。数据库锁定机制简单来说，就是数据库为了保证数据的一致性，而使各种共享资源在被并发访问变得有序所设计的一种规则打个比方，我们到淘宝上买一件商品，商品只有一件库存，这个时候如果还有另一个人买，那么如何解决是你买到还是另一个人买到的问题？这里肯定要用到事物，我们先从库存表中取出物品数量，然后插入订单，付款后插入付款表信息，然后更新商品数量。
2024-10-28 23:27:45
886
原创 Github超强的数据提取工具再也不用写SQL了
Jailer是一款用于数据库子集和关系数据浏览的工具，支持按照表之间关系浏览数据库、生成 DML 拓扑关系等功能。可用来从生产数据库中提取出，支持测试一条完整业务线所需的数据库表和数据。它从您的数据库创建小切片，并允许您按照关系在数据库中导航。非常适合创建测试数据的小样本或使用相关生产数据进行本地问题分析。数据库在规模和复杂性上都在增长，以满足 不断增长的业务需求。处理数据的应用程序 规模和复杂性也在增加。随着成长 复杂性，可靠的测试变得越来越重要 以确保软件的质量。
2024-10-27 20:53:28
737
原创 JetBrainsIDE超神Shell脚本插件，BashSupportPro提供宇最强Bash开功能
此外，我们还提供代码补全功能，涵盖当前范围内的所有变量和函数，以及采用 ShellCheck 的 代码分析功能，为您提示代码警告并进行快速修复。同时，BashSupport Pro 可以让您在不破坏代码的情况下进行以及命名重构，还支持采用谷歌编程风格（或自定义编程风格）的自动代码格式化。您可以在大家使用不同的操作系统的情况下将您的运行配置分享给团队中的任何人。在复杂项目中，您还可以将一组 Bash 脚本定义为 shell 脚本库 ，这将大幅简化启动 BashSupport Pro 代码检查功能的流程。
2024-10-27 20:49:57
963
原创 90%的程序员都不知道Mysql索引下推
首先，我们创建一张user表，同时建立age_name的联合索引，同时插入3条测试数据。然后，我们执行查询，如下图所示，就会看见Extra中显示了，你可能就知道了，这表示出现了索引下推了。没错，针对这个查询场景就是索引下推，那到底什么是索引下推呢？按照我们上述的场景，实际上就存在两个索引树，一个是主键索引，存储了具体的数据的信息，另外则是age_name的联合索引，保存了主键的ID。
2024-10-26 21:17:04
460
原创 互联网大厂面试要求：技术广度、技术深度、系统设计以及项目经验
30k，40k，50k，更高薪资的职位，技术专家，架构师，要求你本来在你们公司就负责了一大块系统的架构，带了10来个小弟，负责了一个大系统，有丰富的大型架构设计的经验，架构设计的方方面面，从理论到深度，再到经验，都很丰富。比如并发的问题，性能的问题？说一下他的基本的工作原理，从服务注册到发现，他是怎么来运行的呢？你有没有读过哪些开源项目的源码，RocketMQ，RocketMQ的源码，Dubbo的源码，如果你精通一些技术的源码的话，为什么会特别的有价值，有竞争力，让面试官更加的倾向于用你呢？
2024-10-26 21:14:41
760
原创 Apache Airflow 开源最顶级的分布式工作流平台
Apache Airflow（或简称Airflow）是一个以编程方式创作，计划和监视工作流的平台。当工作流定义为代码时，它们将变得更加可维护、可版本控制、可测试和协作。使用 Airflow 将工作流创作为任务的有向无环图 （DAG）。Airflow 调度程序在遵循指定的依赖项的同时，在一组工作线程上执行您的任务。丰富的命令行实用程序使在 DAG 上执行复杂的手术变得轻而易举。丰富的用户界面使您可以轻松可视化生产中运行的管道、监视进度并在需要时解决问题。
2024-10-25 22:13:14
357
原创 2024秋招上岸指南丨应届生求职互联网行业求职宝典
*互联网的网络共享性与开放性使得人人都可以在互联网上所取和存放信息，由于没有质量控制和管理机制，这些信息没有经过严格编辑和整理，良莠不齐，各种不良和无用的信息大量充斥在网络上，形成了一个纷繁复杂的信息世界，给用户选择，利用网络信息带来了障碍。互联网表现形式可以是文本，图像，音频，视频，软件，数据库等多种形式存在的，涉及领域从经济，科研，教育，艺术，到具体的行业和个体等。互联网产业的信息的存在是以网络为载体，以虚拟化的姿势状态展示的，人们得到的是网络上的信息，体现了网络资源的社会性和共享性。
2024-10-25 22:08:45
818
原创 2023 年开发者调查报告,最“赚钱”编程语言居然是它
Stack Overflow 发布了 2023 年开发者调查报告，据称共计超过 9 万名开发者参与了此次调查。完整报告包含了受访开发者画像，以及关于开发技术、AI、职业、社区等方面的内容。本文主要介绍关于开发技术和 AI 的部分。另外，今年与以往不一样的是对人工智能领域做了更加深入的调查，调查目的是想知道如今以 ChatGPT 为代表的 AIGC工具到底是否改变了开发人员的工作方式、还是只是一场炒作？？
2024-10-23 23:18:12
804
原创 #单体到微服务架构服务演化过程
云原生应用的关键属性包括了：使用轻量级的容器打包、使用最合适的语言和框架开发、以松耦合的微服务方式设计、以 API 为中心的交互和协作、无状态和有状态服务在架构上界限清晰、不依赖于底层操作系统和服务器、部署在自服务、弹性的云基础设施上、通过敏捷的 DevOps 流程管理、自动化能力、通过定义和策略驱动的资源分配。SOA 偏向水平服务，微服务偏向垂直服务；对应的是服务开发，实现了源代码托管，你只需要关注你的代码实现，而不需要关心你的代码在哪，因为在整个开发过程中你都不会感受到代码库和代码分支的存在。
2024-10-23 16:33:51
759
原创 Apache Apisix轻松打造亿级流量Api网关
Apache APISIX 是一个动态、实时、高性能的 API 网关。APISIX API 网关提供负载均衡、动态上行、灰度发布、熔断、鉴权、可观测等丰富的流量管理功能。您可以使用 APISIX API 网关来处理传统的南北向流量， 以及服务之间的东西向流量。它也可以用作 k8s 入口控制器。 Airflow是一个可编程，调度和监控的工作流平台，基于有向无环图(DAG)，airflow可以定义一组有依赖的任务，按照依赖依次执行。
2024-10-23 08:30:00
156
原创 # MySQL 三万字精华总结 + 面试100 问，和面试官扯皮绰绰有余
写在之前：不建议那种上来就是各种面试题罗列，然后背书式的去记忆，对技术的提升帮助很小，对正经面试也没什么帮助，有点东西的面试官深挖下就懵逼了。个人建议把面试题看作是费曼学习法中的回顾、简化的环节，准备面试的时候，跟着题目先自己讲给自己听，看看自己会满意吗，不满意就继续学习这个点，如此反复，好的offer离你不远的，奥利给。
2024-10-22 23:12:02
1611
原创 成为不可取代的程序员的编码方式
3.如果你是写Java那就太好了，能用Map，JSONObject前往不要定义实体，一个复杂的请求，从前端到后端，再到调用内部方法，外部依赖（越多越好），所有的参数传递或者返回值全部定义为Map，只要你能记住结构那就都不是问题，这种情况，最好还不要写文档，保持神秘，如果在核心链路上那就真该恭喜你了，你懂得！2.方法越长越好，不要轻易拆方法，当一个方法超过500行之后，而且没有任何注释，没有人能轻易搞定这段代码，如果还是比较核心的功能，那么恭喜你，你的不可替代性就大大增强！
2024-10-22 22:59:03
703
原创 如果只能选5中编程语言2024 年请一定学好这几种语言
它用于前端和后端 Web 开发，使其成为任何对构建交互式网站和 Web 应用程序感兴趣的人的基本技能。它的简单性和广泛的库生态系统使其成为初学者和有经验的程序员的绝佳选择。对于需要低级控制和高性能的项目，例如游戏开发和构建嵌入式系统，它是一个很好的选择。其独特的功能使其成为需要低级控制和高性能的项目的理想选择。基本上，Rust 提供了对内存分配和并发性的细粒度控制，使其成为 C 和 C++ 等语言的安全替代品。Rust 的内存安全保证和强大的类型系统有助于防止常见的编程错误，使其成为值得学习的宝贵语言。
2024-10-20 22:40:50
849
原创 AI代码辅助又多了一个选择-阿里通义灵码
很多API级别的代码，通过AI工具都能一键 生成，甚至能通过上下文分析语义，直接帮你生成方法和单元测试一整套方案，自动使用了这类辅助工具后，我的代码基本不需要自己敲，只要做好流程设计编排后，引导AI就成完成，后面我再根据业务场景配合单元测试做调整，原本5天的需求只需要一天设计好流程，后面一天测试验证就完事了。之前跟周围的朋友们一直讨论AI真的来了，很多朋友都不以为意，觉得这玩意对程序员的帮助不大，起初我也没太在意，感觉通过GPT对话对实际编码帮助好像真的很有限。根据代码自动生成单元测试。
2024-10-20 22:39:34
181
原创 Java设计模式梳理：行为型模式（策略，观察者等）
行为型模式部分介绍了策略模式、观察者模式、责任链模式、模板方法模式和状态模式，其实，经典的行为型模式还包括备忘录模式、命令模式等，但是它们的使用场景比较有限，而且本文篇幅也挺大了，我就不进行介绍了。学习设计模式的目的是为了让我们的代码更加的优雅、易维护、易扩展。这次整理这篇文章，让我重新审视了一下各个设计模式，对我自己而言收获还是挺大的。我想，文章的最大收益者一般都是作者本人，为了写一篇文章，需要巩固自己的知识，需要寻找各种资料，而且，自己写过的才最容易记住，也算是我给读者的建议吧。（全文完）
2024-10-19 23:10:15
992
原创 JVM虚拟机监控及性能调优实战
注意：我在这里查看了远程机器的hosts，发现其配有一些其他的IP，将其删除后能够联通。Could not contact registry，指向的IP地址是一个其他的地址。注意：如果没有配置JDK环境变量，file后需要添加tool.jar的绝对路径。Visual GC提示"不受此JVM支持“快速定位导致cpu飙升的线程堆栈信息。注意：远程服务器端口要设置开放。在远程主机上添加安全策略文件。可以查看端口是否被正常监听。使用visualvm连接。在远程主机上启动监控。开启OOM-dump。
2024-10-18 23:17:38
1006
原创 到底什么是认证
认证 (Authentication)是根据凭据验明访问者身份的流程。即验证“你是你所说的那个人”的过程。身份认证，通常通过用户名/邮箱/手机号以及密码匹配来完成，也可以通过手机/邮箱验证码或者生物特征（如：指纹、虹膜）等其他因素。在某些应用系统中，为了追求更高的安全性，往往会要求多种认证因素叠加使用，这就是我们经常说的多因素认证。常见的认证方式用户名、密码认证手机和短信验证码认证邮箱和邮件验证码认证人脸识别、指纹识别等生物因素认证令牌认证OTP 认证Radius 网络认证。
2024-10-15 23:47:49
867
原创 DeepSpeed Chat: 一键式RLHF训练，让你的类ChatGPT千亿大模型提速省钱15倍
DeepSpeed-RLHF 系统在大规模训练中具有无与伦比的效率，使复杂的 RLHF 训练变得快速、经济并且易于大规模推广。
2024-10-14 21:42:17
1179
原创 PyCHarm使用教程
最近一直使用python编程，师兄推荐的pycharm还是比较顺手的，其他的还有类似vs code的比较简单。这里简单介绍一下pycharm的使用界面预览：安装现在PyCharm最新的版本是2016.2 可以在官网上下载：http://www.jetbrains.com/pycharm/首次使用1.点击Create New Project
2016-09-05 20:01:25
613
原创 几个常用的NLP网站
1. ACL Anthology 可以在上面下载到ACL、EMNLP等会议的论文，比较方便 http://www.aclweb.org/anthology/2. Keras文档 keras框架用于深度学习 http://keras.io/3. Keras 中文文档 http://keras-cn.readthedocs.io/en/latest/4. 机器学习-斯坦福大学 https
2016-08-11 15:38:40
1600
转载 自然语言中的Attention
| Encoder-Decoder 框架本文只谈谈文本处理领域的 AM 模型，在图片处理或者（图片 - 图片标题）生成等任务中也有很多场景会应用 AM 模型，但是我们此处只谈文本领域的 AM 模型，其实图片领域 AM 的机制也是相同的。要提文本处理领域的 AM 模型，就不得不先谈 Encoder-Decoder 框架，因为目前绝大多数文献中出现的 AM 模型是附着 Encoder-
2016-05-27 10:25:10
366
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人