技术学习
文章平均质量分 82
学习新技术,不断自我提升
程序员储物箱
志当存高远,厚积而薄发
展开
-
Linux三剑客中的AWK是什么?了解一下它的神奇之处!
awk是一个强大的文本处理工具,主要用于对结构化数据进行模式扫描和处理。它支持复杂的操作和脚本编写,能够进行模式匹配、文本处理、数据报告生成等。字符串处理和替换;数据统计和报告生成;复杂的条件判断和循环处理;数据格式转换。原创 2024-07-05 13:34:51 · 364 阅读 · 0 评论 -
一文搞懂什么是Hadoop
HDFS(Hadoop Distributed File System)是一个分布式文件系统,用于存储文件,通过目录树来定位文件。NameNode(nn):存储文件元数据,比如文件名、目录结构、文件属性(生成时间、副本数、文件权限),以及每个文件的数据块(Block)列表和数据库映射信息(比如块所在哪几个DataNote)等。DataNode(dn):在本地文件系统存储文件块数据,以及块数据的校验和;执行数据块的读写操作。原创 2023-12-08 20:02:17 · 473 阅读 · 0 评论 -
SpringBoot集成MongoDB(6.0.12)
(1)报错:Command failed with error 13 (Unauthorized): 'command listCollections requires authentication' on server localhost:27017.解决办法:数据库需要用账号密码进行身份认证。原创 2024-01-10 15:25:12 · 487 阅读 · 0 评论 -
从PDF中提取图片
Apache PDFBox库,一个用于处理PDF文档的开源Java工具。它允许用户创建全新的PDF文件,操作现有的PDF文档,以及从PDF文件中提取内容等。原创 2023-12-25 14:04:29 · 895 阅读 · 1 评论 -
一文了解Elasticsearch
Elasticsearch(简称ES), 既是一个面向文档的 NoSQL 数据库,又是一个开源的高扩展的分布式全文检索引擎。ES扩展性好,可以扩展到上百台服务器,处理起PB级数据时,能到秒级搜索,近乎实时搜索。在开源全文检索领域,ES在DB-Engines搜索引擎类别长年霸榜!!!国内有很多大厂都在使用Elasticsearch,比如阿里巴巴、京东、腾讯、美团、头条、携程、滴滴等。ES基于Java语言进行开发,以 Lucene 为基础建立的全文搜索。原创 2023-10-30 12:35:28 · 339 阅读 · 0 评论 -
Nginx基础学习
Nginx (engine x) 是一个高性能的开源反向代理服务器,也可以用作 HTTP 服务器、负载均衡器、邮件代理服务器等。它是由伊戈尔·赛索耶夫为俄罗斯访问量第二的Rambler.ru站点开发的,第一个公开版本0.1.0发布于2004年10月4日。Nginx的特点是占有内存少,并发能力强。由于nginx的并发能力在同类型的网页服务器中表现较好,国内有很多大公司都使用Nginx,比如百度、腾讯、淘宝等。Nginx代码完全用C语言从头写成。官方数据测试表明能够支持高达5万 个并发连接数的响应。原创 2023-10-17 19:52:12 · 318 阅读 · 0 评论 -
高性能对象存储MinIO学习
MinIO 是GlusterFS创始人之一Anand Babu Periasamy发布的开源项目,基于Apache V2 license 100% 开放源代码。MinIO采用Golang实现,客户端支持Java、Python、Javacript、Golang语言等。在中国,阿里巴巴、腾讯、百度、中国联通、华为、中国移动等等9000多家企业也都在使用MinIO产品。其设计的主要目标是作为私有云对象存储的标准方案。非常适合于存储大容量非结构化的数据,例如:图片、视频、日志文件、备份数据、容器和虚拟机镜像等,原创 2021-08-22 18:37:42 · 1606 阅读 · 0 评论 -
常用分布式文件系统
1 分布式文件系统1.1 什么是分布式文件系统?分布式文件系统(Distributed File System,DFS)是指文件系统管理的物理存储资源不一定直接连接在本地节点上,而是通过计算机网络与节点(可简单的理解为一台计算机)相连;或是若干不同的逻辑磁盘分区或卷标组合在一起而形成的完整的有层次的文件系统。DFS为分布在网络上任意位置的资源提供一个逻辑上的树形文件系统结构,从而使用户访问分布在网络上的共享文件更加简便。1.2 分布式文件系统与一般文件系统对比 分布式文件系统 一原创 2021-08-17 09:30:10 · 1804 阅读 · 1 评论