博客专栏  >  云计算/大数据   >  Hadoop

Hadoop

学习Hadoop中的综合知识,博主还处于玩具阶段,业余研究。

关注
3 已关注
10篇博文
  • 各种分布式文件系统简介及适用场景

    常见的分布式文件系统有,GFS、HDFS、Lustre 、Ceph 、GridFS 、mogileFS、TFS、FastDFS等。各自适用于不同的领域。它们都不是系统级的分布式文件系统,而是应用级的分...

    2016-12-27 15:35
    3974
  • hadoop伪分布式搭建(2.4.1)

    1.准备Linux环境 1.虚拟机->虚拟网络编辑器->host-only(仅主机模式) ->修改subnet ip 设置网段:192.168.8.0 子网掩码:255.255.255.0 ...

    2016-12-28 14:17
    2290
  • HDFS工作原理(1.0)

    NameNode 是整个文件系统的管理节点。它维护着整个文件系统的文件目录树,文件/目录的元信息和每个文件对应的数据块列表。接收用户/客户端的操作请求。 文件包括: fsimage:元数据镜像文...

    2016-12-29 16:39
    2471
  • Hadoop对RPC的支持

    Remote Procedure Call RPC——远程过程调用协议,它是一种通过网络从远程计算机程序上请求服务,而不需要了解底层网络技术的协议,通俗讲就是不同进程之间的方法调用。RPC协议假定某...

    2016-12-30 08:50
    195
  • Hadoop 面试,有它就够了

    本文针对Hadoop1.0版本 Map Reduce & YARN 简介 Apache Hadoop 是一个开源软件框架,可安装在一个商用机器集群中,使机器可彼此通信并协同工作,...

    2016-12-30 09:08
    2125
  • Hadoop的MapReduce执行过程

    执行MapReduce的命令 hadoop jar 例子: hadoop jar /root/wc1.jar cn.itcast.d3.hadoop.mr.WordCount hdfs://yz...

    2016-12-30 14:48
    1914
  • Hadoop机架感知原理

    背景 分布式的集群通常包含非常多的机器,由于受到机架槽位和交换机网口的限制,通常大型的分布式集群都会跨好几个机架,由多个机架上的机器共同组成一个分布式集群。机架内的机器之间的网络速度通常都会...

    2017-01-03 13:28
    2232
  • Shuffle工作机制

    Hadoop生态系统中,Shuffle是MapReduce的核心机制,它肩负了从Map到Reduce的底层过程。 一个切片input split对应一个mapper,mapper将数据写入到环形缓冲区...

    2017-01-04 08:55
    2813
  • Sqoop简介与实例

    Sqoop(发音:skup)是一款开源的工具,主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql…)间进行数据的传递,可以将一个关系型数据库(例如 : MySQL ,O...

    2017-01-04 17:46
    426
  • HBase Shell编写

    进入hbase命令行 ./hbase shell显示hbase中的表 list创建user表,包含info、data两个列族 create ‘user’, ‘info1’, ‘data1’ c...

    2017-01-05 11:30
    287

Spring Boot
967618
JDK Analysis
25374
Java 9
1151712
Spring Cloud
23199526
img博客搬家
img撰写博客
img发布 Chat
img专家申请
img意见反馈
img返回顶部