Hadoop
文章平均质量分 86
大城哥
放下是一种休息,拿起是一种修炼!
展开
-
Ambari安装使用介绍
一、前言在开始研究大数据Hadoop生态圈的时候,都是跟网上找了一下相关材料,官网上查询一下文档信息,对比着安装,从最初的3台机器开始,接触了Hadoop,开始了解Hadoop中的HDFS文件分布式系统,还有编写一些小的MapReduce的例子,慢慢的接触到了Zookeeper的使用,Hive,Hbase等等,每一个项目都是手工修改配置文件,然后启动相应的服务,试想一下,大公司在几十个,几百个,上千原创 2016-11-02 08:34:57 · 1245 阅读 · 0 评论 -
Zookeeper安装使用
一、前言ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护、名字服务、分布式同步、组服务等。二、安装配置 必须软件:JDK1.7+(请自行安装JDK) 1、Zookeeper是一个分布式协调调度框原创 2016-11-03 13:47:29 · 957 阅读 · 0 评论 -
Hadoop2.X的集群配置
一、前言 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(high原创 2016-11-03 16:00:50 · 939 阅读 · 0 评论 -
Hadoop 从windows环境下在eclipse上提交mapreducer程序过程
1. 在main方法上添加对应设置public static void main(String[] args) throws Exception { Configuration conf = new Configuration(); //这三行是关键 conf.set("fs.defaultFS", "hdfs://mini1:9000");原创 2017-09-14 17:08:11 · 734 阅读 · 0 评论 -
MapReduce程序在Map端Join
一、为什么要使用在map端join呢? 例如一个商品一个订单,商品的数量小于订单的数量避免数据倾斜影响map和reduce的执行效率,对于数据量不是特别大的可以使用缓存文件 Map端,Reduce端代码实例:package org.hjc.mr;import java.io.BufferedReader;import java.io.File;import java.io.F原创 2017-09-15 10:17:20 · 295 阅读 · 0 评论 -
Hadoop中提交HDFS文件到HA中
package org.hjc.hdfs;import java.net.URI;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;public class HdfsTest { public static v原创 2017-10-09 11:01:21 · 477 阅读 · 0 评论 -
Hive在集群环境配置
一、简介hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析。二、环境要求1、JDK1.7+ 2、本次配置实例继续上次HBase配置完成后原创 2016-11-04 15:35:18 · 2341 阅读 · 0 评论 -
HBase集群环境搭建及概念介绍
一、前言HBase是一个构建在HDFS上的分布式列存储系统,HBase是基于Google BigTable模型开发的,典型的key/value系统; HBase是Apache Hadoop生态系统中的重要一员,主要用于海量结构化数据存储; 从逻辑上讲,HBase将数据按照表、行和列进行存储。与hadoop一样,Hbase目标主要依靠横向扩展,通过不断增加廉价的商用服务器,来增加计算和存储能力。原创 2016-11-04 10:07:48 · 780 阅读 · 0 评论