大数据-hadoop
Wpixel
这个作者很懒,什么都没留下…
展开
-
Hadoop Federation + HA 搭建(一) – 环境准备
开发环境和工具 MAC OS Parallels Desktop 12 SecureCRT SecureFX hadoop环境 Centos7 jdk-8u101-linux-x64 Hadoop2.8.1 zookeeper-3.4.10 集群节点配置 IpAddr HostName 10.211.55.111 wpixel01 10.211原创 2018-01-15 14:52:18 · 592 阅读 · 0 评论 -
Hadoop Federation + HA 搭建(二) -- hadoop Federation + HA
Hadoop Federation + HA 搭建(一) – 环境准备 一 . 搭建ZK的分布式环境(3台机器,如果ZK是StandAlone的模式,只需要一台机器) 1 . 解压Zookeeper包 解压到当前目录 [root@wpixel01 www]# tar -zxvf zookeeper-3.4.10 [root@wpixel01 www]# ll total 4488 -原创 2018-01-29 12:15:41 · 793 阅读 · 0 评论 -
Hadoop Federation + HA 搭建(三) – wordCount测试
一. hadoop环境搭建完毕,现在可以对hdfs进行操作 1 .上传文件到hdfs文件系统 #创建一个hive文件夹 [root@wpixel01 www]# hadoop fs -mkdir /hive #将当前目录的文件上传到hdfs文件系统中的hive目录下 [root@wpixel01 www]# hadoop fs -put hadoop-2.8.1.tar.gz /hive #l原创 2018-01-29 14:59:40 · 329 阅读 · 0 评论 -
hadoop生态系统
前言 我们先了解一下hadoop,然后再介绍生态系统中各组件以及使用方法。(HDFS、MapReduce、Yarn、Zookeeper、Hive、HBase、Oozie、Pig、Flume、Sqoop) hadoop是一个开源框架,可以编写和运行分布式系统来处理大规模的数据集。Hadoop的核心是HDFS和MapReduce。其中HDFS是分布式文件系统,MapReduce是一种编程模型,用于...原创 2018-03-19 11:33:48 · 391 阅读 · 1 评论