博客专栏  >  云计算/大数据   >  从零开始学习hadoop

从零开始学习hadoop

从零开始学习hadoop

关注
0 已关注
9篇博文
  • Centos7离线安装CDH5.13.1-Hadoop集群

    1.软件准备 安装之前需要准备以下安装包或者安装必要环境 1.jdk1.8 (不要安装openjdk,要安装oracle官网的jdk1.8) 2.mysql(这里我使用docker运行,因为d...

    2018-01-24 11:10
    3278
  • hadoop(八)-hdfs原理及架构设计

    HDFS 是一个能够面向大规模数据使用的,可进行扩展的文件存储与传递系统。是一种允许文件通过网络在多台主机上分享的文件系统,可让多机器上的多用户分享文件和 存储空间。让实际上是通过网络来访问文件的动作...

    2018-01-25 16:38
    3242
  • hadoop(七)-hadoop参数配置

    1. hdfs-site.xml dfs.name.dir NameNode 元数据存放位置 默认值:使用core-site.xml中的hadoop.tmp.dir/dfs/name dfs....

    2018-01-25 16:20
    3059
  • hadoop(六)-Java读写hdfs文件

    HDFS是存取数据的分布式文件系统,HDFS文件操作常有两种方式,一种是命令行方式,另一种是JavaAPI。 要在java工程中操作hdfs,需要引入一下jar包,我的maven工程中的pom.xm...

    2018-01-25 16:00
    3010
  • hadoop(五)-hdfs命令行基本命令

    HDFS是存取数据的分布式文件系统,那么对HDFS的操作,就是文件系统的基本操作,比如文件的创建、修改、删除、修改权限等,文件夹的创建、删除、重命名等。对HDFS的操作命令类似于Linux的shell...

    2018-01-25 15:55
    3069
  • hadoop(四)-hadoop的 inputformat、outputformat、recordreader、recordwriter

    InputFormat和RecordReader Hadoop提出了InputFormat的概念 org.apache.hadoop.mapreduce包里的InputFormat抽象类提供了如下...

    2018-01-03 14:04
    3183
  • hadoop(三)-编译hadoop2.x

    编译hadoop,hadoop是用java写的,虽然很多功能都可以完全依靠jvm而不依赖操作系统可以实现,但有些功能必须要依赖操作系统系统来实现,比如(bzip2, lz4, snappy, zlib...

    2017-12-20 17:15
    3162
  • hadoop(二)-hadoop原理及架构

    Hadoop是Apache软件基金会所开发的并行计算框架与分布式文件系统。最核心的模块包括Hadoop Common、HDFS与MapReduce。 1.HDFS HDFS是Hadoop分布式...

    2018-01-25 15:29
    3184
  • hadoop(一)-hadoop2.x centos安装

    简介 hadoop入门之搭建hadoop集群环境,想要学习hadoop的朋友可以先从搭建hadoop集群开始慢慢理解和使用hadoop。 一.环境 机器 192.168.1.21(nam...

    2017-02-09 09:34
    3864
img博客搬家
img撰写博客
img发布 Chat
img专家申请
img意见反馈
img返回顶部