Hadoop
gmHappy
从不敢夜郎自大,但也不至于妄自菲薄,只是想做一个靠本事吃饭的手艺人
展开
-
Linux基于Hadoop2.8.0集群安装配置Hive2.1.1及基础操作
前言安装Apache Hive前提是要先安装hadoop集群,并且hive只需要在hadoop的namenode节点集群里安装即可,安装前需保证Hadoop已启(动文中用到了hadoop的hdfs命令)。关于如何安装Hadoop集群请参照:CentOS7搭建Hadoop2.8.0集群及基础操作与测试下载Apache Hadoop下载地址:http://hive.apache.org/downloa...原创 2018-05-03 16:31:46 · 2531 阅读 · 0 评论 -
CentOS7搭建Hadoop2.8.0集群及基础操作与测试
环境说明示例环境主机名IP角色系统版本数据目录Hadoop版本master192.168.174.200nameNodeCentOS Linux release 7.4.1708 (Core) 2.8.0slave1192.168.129.201dataNodeCentOS Linux release 7.4.1708 (Core)2.8.0准备工作JDK安装确认本机安装的JDK版本为1.7以上,...原创 2018-05-03 14:30:24 · 2822 阅读 · 0 评论 -
Hadoop MapReduce实现人员二度关系运算
求下图的二度人员关系:数据格式如下:A,BA,CA,EB,DE,DC,FF,G实现如下:package com.gm.hadoop.mapreduce;import java.io.IOException;import java.util.Vector;import org.apache.hadoop.conf.Configuration;import org.apache...原创 2018-05-17 11:11:18 · 2926 阅读 · 0 评论 -
Spark 计算人员二度关系
数据格式如下:A,BA,CA,EB,DE,DC,FF,G业务逻辑如下:1、转换操作flatMapToPair将行数据变为键值对,如A,B表示A和B认识,A可以通过B认识B的朋友,B通过A可以认识A的朋友,转化结果为{A:A,B}、{B:B,A};2、转换操作groupByKey对键值对按Key进行分组,转化结果为:{A,【A,B ,A,E , A,C 】}...;3、转成操作flatM...原创 2018-05-17 11:35:25 · 5153 阅读 · 0 评论 -
Linux安装Sqoop及基础使用
下载Sqoop官网地址http://sqoop.apache.org/wget http://mirrors.hust.edu.cn/apache/sqoop/1.4.7/sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz安装及配置解压tar -zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz移动文件夹mv sqoop-1.4.7.bin__...原创 2018-05-04 11:15:10 · 3435 阅读 · 0 评论 -
总结可用的大数据分析软件对应版本
apache-flume-1.8.0-bin、kafka_2.11-0.10.0.0、spark-2.0.0-bin-hadoop2.7hadoop-2.8.0、hbase-1.2.6、apache-hive-2.1.1-bin、zookeeper-3.4.10、sqoop-1.4.7.bin__hadoop-2.6.0apache-storm-1.1.0未完待续......原创 2018-05-04 11:19:40 · 2938 阅读 · 0 评论