big data
文章平均质量分 82
ghost+
嵌入式 分布式后端 网络安全 主机安全
展开
-
分布式文件系统
什么是文件系统? 文件系统是计算机中一个非常重要的组件,为存储设备提供一致的访问和管理方式。在不同的操作系统中,文件系统会有一些差别,但也有一些共性几十年都没怎么变化:数据是以文件的形式存在,提供 Open、Read、Write、Seek、Close 等 API 进行访问; 文件以树形目录进行组织,提供原子的重命名(Rename)操作改变文件或者目录的位置。 文件系统提供的访问和管理方法支撑了绝大部分的计算机应用,Unix 的“万物皆文件”的理念更是凸显了它的重要地位。...转载 2021-05-08 09:16:24 · 628 阅读 · 0 评论 -
事务及其ACID特性
什么是数据库ACID? 事务在当今的企业系统无处不在,即使在高并发环境下也可以提供数据的完整性。一个事务是一个只包含所有读/写操作成功的集合。如下图:一个事务本质上有四个特点ACID:Atomicity原子性 Consistency一致性 Isolation隔离性 Durability耐久性原子性原子性任务是一个独立的操作单元,是一种要么全部是,要么全部不是的原子单位性的操作。一致性一个事务可以封装状态改变(除非它是一个只读的)。事务必须始终保持系统处于一致的状态,不管转载 2021-04-27 14:37:15 · 260 阅读 · 0 评论 -
Spark学习之RDDs(一)
Spark学习之RDDs介绍什么是RDDS?RDDS即Resilient distributed datasets(弹性分布式数据集)。Spark中,所有计算都是通过RDDs的创建,转换,操作完成的。一个RDD是一个不可改变的分布式集合对象。Driver Program包含程序的main方法,RDDs的定义和操作。它管理很多节点,我们称之为excetor。Spark ContextDriver Program是通过SparkContext对象访问spark。SparkCont转载 2021-04-20 18:54:36 · 229 阅读 · 0 评论 -
ES迁移到ClickHouse
为什么我们要从ES迁移到ClickHouse?ElasticSearch 是一种基于 Lucene 的分布式全文搜索引擎,携程用 ES 处理日志,目前服务器规模 500+,日均日志接入量大约 200TB。作者:Gavin Zhu来源:携程技术|2020-10-13 09:25收藏分享ElasticSearch 是一种基于 Lucene 的分布式全文搜索引擎,携程用 ES 处理日志,目前服务器规模 500+,日均日志接入量大约 200TB。图片来自 Pexels随着日志...转载 2021-03-18 15:32:31 · 2192 阅读 · 0 评论 -
TensorFlow 日漫风新项目
▲ 机器之心根据真实店铺照片生成的效果图,一度以为,这就是某个日漫番剧的截图随手拍张照片,顺势转换为宫崎骏、新海诚等日漫大师的手绘风格作品,这个专门生成动漫图像的 GAN,实测很好用。尽管最近 2019 年的图灵奖颁给了计算机图形学、颁给了皮克斯 3D 动画,但很多人可能认为二维动漫更有意思一些。像宫崎骏、新海诚这些大师手绘下的动漫,才有了灵魂,张张都能成为壁纸,而整个日漫也以二维...转载 2020-04-12 22:40:25 · 533 阅读 · 0 评论 -
elasticsearch(二) 快速入门
3 ES快速入门ES作为一个索引及搜索服务,对外提供丰富的REST接口,快速入门部分的实例使用head插件来测试,目的是对ES的使用方法及流程有个初步的认识。3.1 创建索引库ES的索引库是一个逻辑概念,它包括了分词列表及文档列表,同一个索引库中存储了相同类型的文档。它就相当于MySQL中的表,或相当于Mongodb中的集合。关于索引这个语:索引(名词):ES是基于Lucene构建...转载 2019-12-17 09:46:57 · 157 阅读 · 0 评论 -
Zookeeper 简介
1.ZooKeeper是什么?ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,它是集群的管理者,监视着集群中各个节点的状态根据节点提交的反馈进行下一步合理操作。最终,将简单易用的接口和性能高效、功能稳定的系统提供给用户2.ZooKeeper提供了什么?1)文件系统2)通知机制3.Zookeeper文件系统每个子目录项如 N...转载 2019-01-24 11:44:43 · 197 阅读 · 0 评论 -
HiveMQ 开源:把 MQTT 和 Kafka 集成在一起
HiveMQ 最近发布了HiveMQ Enterprise Extensionfor Kafka,旨在集成 Kafka 和 MQTT,以实现物联网应用程序的实时流。HiveMQ Enterprise Extension for Kafka 是 HiveMQ broker 的 Kafka 协议实现,支持 broker 充当 Kafka 客户端,并让来自物联网设备的消息流式传输到一个或多个 Ka...转载 2019-05-31 10:26:07 · 3856 阅读 · 0 评论 -
go 开发手册
原文地址Go 教程Go 是一种编译型语言,它结合了解释型语言的游刃有余,动态类型语言的开发效率,以及静态类型的安全性。它也打算成为现代的,支持网络与多核计算的语言。要满足这些目标,需要解决一些语言上的问题:一个富有表达能力但轻量级的类型系统,并发与垃圾回收机制,严格的依赖规范等等。这些无法通过库或工具解决好,因此Go也就应运而生了。手册目录 档案 | archive 缓冲...转载 2019-05-31 11:02:00 · 652 阅读 · 0 评论