- 博客(6)
- 收藏
- 关注
RSS订阅原创 Hadoop集群搭建---step4(Hive、Flume、Azkaban、Sqoop的安装以及环境搭建)
Hadoop集群搭建—step4(Hive、Flume、Azkaban、Sqoop的安装以及环境搭建) 软件版本： Hive：hive-1.1.0-cdh5.14.0.tar.gz Mysql：mysql-5.1.71-1.el6.x86_64 Flume：flume-ng-1.6.0-cdh5.14.0.tar.gz Azkaban：azkaban3.51.0 sqoop：sqoop-1.4.6...
2019-07-25 12:23:18
350
原创 CDH版本hadoop重新编译
CDH版本hadoop重新编译 前言：在生产环境中，基于Apache Hadoop不便维护，升级，管理等，所以大部分企业采用了CDH Hadoop，但是由于CDH给出的Hadoop的安装包没有提供带C程序访问的接口，我们在使用本地库（本地库可以用来做压缩，以及支持C程序等等）的时候就会出问题。所以需要自己重新进行编译，让其支持本地库。 CDH所有软件下载地址：http://archive.clo...
2019-07-18 11:25:30
579
原创 Hadoop集群搭建---step3(hadoop三种架构介绍（standAlone，伪分布，分布式安装以及环境搭建)
Hadoop集群搭建—step3(hadoop三种架构介绍（standAlone，伪分布，分布式安装以及环境搭建) 前言：Hadoop有多种版本，流行的版本有Apache Hadoop，CDH Hadoop , HDP Hadoop, MapR Hadoop。每个版本的Hadoop都提供三种集群搭建架构，一种是将Hadoop安装在一台机器下的称之为StandAlone环境；一种是将Hadoop安装...
2019-07-18 11:10:16
341
原创 Hadoop集群搭建---step2(zookeeper的集群环境搭建)
Hadoop集群搭建—step2(zookeeper的集群环境搭建) 集群： 服务器IP 主机名 myid的值 192.168.52.100 node01 1 192.168.52.110 node02 2 192.168.52.120 node03 3 1.下载zookeeeper的压缩包（版本3.4.9） 下载网址：http://archive.apache.org...
2019-07-18 10:54:53
128
原创 Hadoop集群搭建---step1(虚拟机环境准备)
typora-root-url: G:\知识总结\归纳整理 Hadoop集群搭建—step1(虚拟机环境准备) #使用iso(centos 6.9)镜像文件进行安装 三台机器规划 IP地址 主机名 第一台机器 192.168.52.100 node01.hadoop.com 第一台机器 192.168.52.110 node02.hadoop.com 第一台机器 192...
2019-07-18 10:48:15
143
原创 大数据基础
一、大数据基础 1.常用linux命令 名令 效果 cd … 返回到上一级目录 cd - 回到上次的目录 ls 列表形式显示所有文件 mkdir -p 路径 创建多级目录 rm -rf 目录名称 强制递归删除文件 cp 源文件 目标文件 复制，重命名 mv 源文件 目标文件 剪切 tar -czvf 压缩包的的名字 文件或文件夹 打包 tar ...
2019-07-12 17:35:30
226
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人