大数据
文章平均质量分 80
远山一角
这个作者很懒,什么都没留下…
展开
-
glusterfs分布式文件系统详细原理
1.Glusterfs简介 GlusterFS是Scale-Out存储解决方案Gluster的核心,它是一个开源的分布式文件系统,具有强大的横向扩展能力,通过扩展能够支持数PB存储容量和处理数千客户端。GlusterFS借助TCP/IP或InfiniBandRDMA网络将物理分布的存储资源聚集在一起,使用单一全局命名空间来管理数据。 说起glusterfs可能比较陌生,可能大家更多...转载 2018-08-30 16:19:50 · 222 阅读 · 0 评论 -
Zookeeper的功能以及工作原理
1.ZooKeeper是什么? ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,它是集群的管理者,监视着集群中各个节点的状态根据节点提交的反馈进行下一步合理操作。最终,将简单易用的接口和性能高效、功能稳定的系统提供给用户 2.ZooKeeper提供了什么? 1)文件系统 2)通知机制 3.Zookeeper文件系统 每个子目录项如 N...转载 2018-08-29 20:39:27 · 109 阅读 · 0 评论 -
Hadoop原理汇总(一)——HDFS
原文章链接: https://blog.csdn.net/u010255818/article/details/72730864 摘要:本文主要对hadoop的原理性知识进行汇总,包括核心组件、HDFS存储原理、HDFS shell命令、HDFS Java端API、MapReduce基本原理、shuffle基本原理、sort过程等。 1 Hadoop核心组件 生态系统图 HD...转载 2018-08-30 16:03:43 · 164 阅读 · 0 评论 -
ZooKeeper系列之二:Zookeeper常用命令
ZooKeeper服务命令: 在准备好相应的配置之后,可以直接通过zkServer.sh 这个脚本进行服务的相关操作 1. 启动ZK服务: sh bin/zkServer.sh start 2. 查看ZK服务状态: sh bin/zkServer.sh status 3. 停止ZK服务: sh bin/zkServer.sh stop 4. 重启ZK服务...转载 2018-09-12 15:18:10 · 191 阅读 · 0 评论 -
【Python】不用numpy用纯python求极差、平均数、中位数、众数与方差,python的打印到控制台
原文链接:https://blog.csdn.net/yongh701/article/details/50150619 python作为数据分析的利器,求极差、平均数、中位数、众数与方差是很常用的,然而,在python进行统计往往要使用外部的python库numpy,这个库不难装,然而,如果单纯只是求极差、平均数、中位数、众数与方差,还是自己写比较好,因为,给一个.py程序别人的机器,别人的机...转载 2018-09-12 19:31:09 · 2194 阅读 · 0 评论 -
CentOS7安装mysql并导入csv文件问题汇总
项目测试mysql数据导入功能,所以自己搭建数据库服务器,测试产品功能。在安装导入的过程中遇到了大量问题,最终一一解决,在自己记录下自己解决问题的过程,可供参考。 一、mysql安装之后启动失败,通过查看/var/log/mysqld.log日志文件报如下错误: 2018-10-17T04:29:31.727009Z 0 [System] [MY-010116] [Serv...原创 2018-10-18 11:09:36 · 874 阅读 · 0 评论