大数据技术基础
文章平均质量分 80
小筱卿
这个作者很懒,什么都没留下…
展开
-
Hadoop集群配置
Hadoop集群搭建 搭建Hadoop集群是进行大数据技术基础学习的第一步,所以,把自己搭建Hadoop集群的过程记录下来。使用CentOS 7 64位,Hadoop2.7.7使用的系统是Linux的CentOS...原创 2019-01-13 19:42:25 · 460 阅读 · 1 评论 -
Hbase的集群安装配置
Hbase集群搭建,使用的是Hadoop-2.7.7以及zookeeper-3.4.10,Hbase的版本是Hbase-1.2.9获取Hbase-1.2.9的链接:https://www.apache.org/dyn/closer.lua/hbase/hbase-1.2.9/hbase-1.2.9-bin.tar.gz没有特别说明,这些配置都是在Hadoop集群的Master节点上进行配置...原创 2019-01-19 15:38:24 · 902 阅读 · 0 评论 -
CentOS 7安装R语言
获取下载地址(R语言官网给的所有镜像链接:https://cran.r-project.org/mirrors.html)清华的R语言镜像链接:https://mirrors.tuna.tsinghua.edu.cn/CRAN/进入上边清华的链接,点击R-3.5.2.tar.gz进行下载,我的方法依旧是,在Windows上下好,通过Xshell传到CentOS 7里边。然后就是解压,这...原创 2019-01-19 17:58:31 · 5766 阅读 · 2 评论 -
CentOS 安装配置Hive,并配置MySQL数据库
Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析。Hive是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具,可以...原创 2019-01-21 10:29:05 · 1730 阅读 · 0 评论 -
CentOS 7安装配置MySQL5.7.24
CentOS 7安装配置MySQL5.7.24下载MySQL,我仍然是在Windows上边下载好,通过Xshell传到Hadoop用户里的。下载的链接为:https://dev.mysql.com/downloads/mysql/5.7.html#downloads,选择那个64位的tar.gz格式压缩包下载并传送完毕后,解...原创 2019-01-21 10:32:28 · 882 阅读 · 0 评论 -
CentOS安装Sqoop
CentOS安装Sqoop Sqoop是一款开源的工具,主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql…)间进行数据的传递,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关...原创 2019-01-21 11:51:15 · 713 阅读 · 0 评论 -
zookeeper的集群安装配置
本文旨在讲述zookeeper-3.4.10在CentOS 7系统下Hadoop-2.7.7集群中的安装配置。关于zookeeper-3.4.10的下载地址:https://www-eu.apache.org/dist/zookeeper/。选择适合的版本进行下载就可以了。本文主要演示的是安装在/home/hadoop目录下的,安装配置,至于安装在/usr/local下的,道理是一...原创 2019-01-16 14:49:13 · 433 阅读 · 0 评论