大数据及并行计算
richerg85
AI未来已来,全面拥抱AIGC-openrabbit.net
展开
-
hadoop机架感知
背景 分布式的集群通常包含非常多的机器,由于受到机架槽位和交换机网口的限制,通常大型的分布式集群都会跨好几个机架,由多个机架上的机器共同组成一个分布式集群。机架内的机器之间的网络速度通常都会高于跨机架机器之间的网络速度,并且机架之间机器的网络通信通常受到上层交换机间网络带宽的限制。 具体到Hadoop集群,由于hadoop的HDFS对数据文件的分布式存放是按照分块block存储转载 2014-02-21 11:20:47 · 1379 阅读 · 0 评论 -
HBase 系统架构
HBase 系统架构HBase是Apache Hadoop的数据库,能够对大型数据提供随机、实时的读写访问。HBase的目标是存储并处理大型的数据。HBase是一个开源的,分布式的,多版本的,面向列的存储模型。它存储的是松散型数据。HBase特性:1 高可靠性2 高效性3 面向列4 可伸缩5 可在廉价PC Server搭建大规模结构化存储集群HBase是Google转载 2014-02-24 17:20:41 · 1060 阅读 · 0 评论 -
Socket通信原理和实践
我们深谙信息交流的价值,那网络中进程之间如何通信,如我们每天打开浏览器浏览网页时,浏览器的进程怎么与web服务器通信的?当你用QQ聊天时,QQ进程怎么与服务器或你好友所在的QQ进程通信?这些都得靠socket?那什么是socket?socket的类型有哪些?还有socket的基本函数,这些都是本文想介绍的。本文的主要内容如下:1、网络中进程之间如何通信?2、Socket是什么?转载 2014-02-24 14:39:50 · 1410 阅读 · 0 评论 -
常见多线程并发服务器编程模型
一、3点基础知识1、一个主机的端口号为所有进程所共享,但普通用户进程绑定不了一些特殊端口号如20、80等。 2、每个进程都有自己的文件描述符(包括file fd, socket fd, timer fd, event fd, signal fd),一般是1024,可以通过ulimit -n 设置,但所有进程打开的文件描述符总数有上限,跟主机的内存有关。3、一个进转载 2014-02-25 23:11:51 · 6818 阅读 · 1 评论 -
MapReduce白话+简单实例理解
什么是Map/Reduce,看下面的各种解释:(1)MapReduce是hadoop的核心组件之一,hadoop要分布式包括两部分,一是分布式文件系统hdfs,一部是分布式计算框,就是mapreduce,缺一不可,也就是说,可以通过mapreduce很容易在hadoop平台上进行分布式的计算编程。(2)Mapreduce是一种编程模型,是一种编程方法,抽象理论。原创 2014-02-21 13:35:58 · 30403 阅读 · 1 评论 -
【hadoop 2学习】联合的HDFS
下文给出了HDFS联合的总体概述,并且和1.x比较,最后是如何管理和配置集群。原创 2014-04-13 01:03:40 · 2238 阅读 · 0 评论 -
【hadoop 2学习】Hadoop下一代的MapReduce----YARN
在hadoop-0.23及现在的版本中,MapReduce经历一个完全的修改。这个被我们称为MapReduce2.0(MRv2)或者YARN。翻译 2014-04-13 17:48:48 · 1482 阅读 · 0 评论