博客专栏  >  云计算/大数据   >  Hadoop研究

Hadoop研究

Hadoop是一个由Apache基金会所开发的分布式系统基础架构,用户可以在不了解分布式底层细节的情况下,充分利用集群的威力进行高速运算和存储,最核心的设计就是:HDFS和MapReduce。HDFS为海量的数据提供了存储,则MapReduce为海量的数据提供了计算

关注
2 已关注
13篇博文
  • Hadoop没有datanode节点解决

    Hadoop启动之后jps查看,[root@VM_0_3_centos hadoop]# jps23488 NameNode23746 SecondaryNameNode24100 Jps23959 ...

    昨天 21:00
    25
  • Hadoop伪分布模式配置

    Hadoop共有三种部署方式:本地模式,伪分布模式及集群模式;本次安装配置以伪分布模式为主,即在一台服务器上运行Hadoop(如果是分布式模式,则首先要配置Master主节点,其次配置Slave从节点...

    2018-06-13 13:41
    177
  • Hadoop并行计算原理与分布式并发编程

    我们通常说的分布式系统其实是分布式软件系统,即支持分布式处理的软件系统,它是在通信网络互联的多处理机体系结构上执行任务的,包括分布式操作系统、分布式程序设计语言及其编译(解释)系统、分布式文件系统和分...

    2013-02-04 11:25
    3092
  • 系统吞吐量(TPS)、用户并发量、性能测试概念和公式

    系统吞吐量(TPS)、用户并发量、性能测试概念和公式 发表于: DataBase, Linux, UNIX, Windows, 个人日记 | 作者: 谋万世全局者 ...

    2013-02-16 12:03
    1111
  • 用Sqoop把数据从HDFS导入到关系型数据库

    由于工作的需求,需要把HDFS中处理之后的数据转移至关系型数据库中成为对应的Table,在网上寻找有关的资料良久,发现各个说法不一,下面是本人自身测试过程: 使用Sqoop来实现这一需求,首先要明白...

    2013-02-16 18:02
    5644
  • Hadoop多Job并行处理

    有关Hadoop多Job任务并行处理,经过测试,配置如下: 首先做如下配置: 1、修改mapred-site.xml添加调度器配置: mapred.jobtracker.taskSchedul...

    2013-02-18 22:54
    7075
  • HDFS多文件Join操作

    最近在做HDFS文件处理之时,遇到了多文件Join操作,其中包括:All Join以及常用的Left Join操作, 下面是个简单的例子;采用两个表来做left join其中数据结构如下: A 文件:...

    2013-02-18 23:20
    1915
  • Hadoop之Join时 DataJoin软件包问题

    在做HDFS多文件Join时通过监控job成功启动并且mapper执行完毕,但reduce总是不能执行完成,进度卡在66.66%。mapper输出是想要的格式,而且小规模输入数据测试时整个job能成功...

    2013-02-20 18:06
    1300
  • Hadoop : MapReduce中的Shuffle和Sort分析

    MapReduce 是现今一个非常流行的分布式计算框架,它被设计用于并行计算海量数据。第一个提出该技术框架的是Google 公司,而Google 的灵感则来自于函数式编程语言,如LISP,Scheme...

    2013-02-22 11:48
    5451
  • HDFS文件常用操作

    弄了段时间hadoop的HDFS,用了些常用的HDFS文件操作,记录如下,以作Memo:       /** * @Title: uploadLocalFileToHDFS * @Descriptio...

    2013-02-25 12:06
    4449
  • Hadoop格式化HDFS报错java.net.UnknownHostException: centos0

    在hadoop安装配置过程中,对HDFS格式化$ hdfs namenode -format出现错误;java.net.UnknownHostException: centos0如下:查看机器名称$ ...

    2017-09-05 09:22
    339
  • HDFS格式化错误 SHUTDOWN_MSG: Shutting down NameNode at java.net.UnknownHostException

    $ 格式化hdfs namenode -formatHadoop在格式化HDFS的时候,需要把主机名hostname与/etc/hosts文件中进行的映射配置一直才可以执行没有找到,则会出现一下错误:...

    2017-11-13 15:18
    337
  • keepalived和zookeeper对比

    keepalived与zookeeper都可以用来实现高可用,高可用一般跟负载均衡会一起考虑,所以通常也会考虑到相应的负载均衡能力,以下是Keepalived与Zookeeper的对比:一、概括对比:...

    2018-01-15 17:28
    1725

架构之路
224435
Docker实践
32175
设计模式篇
24371891
Solr系列
18409752
Oracle点滴
17168156
Redis实战
17635287

img博客搬家
img撰写博客
img发布 Chat
img专家申请
img意见反馈
img返回顶部