Hadoop环境搭建
贫僧洗头爱飘柔
这个作者很懒,什么都没留下…
展开
-
【大数据】开发环境搭建(一):Linux安装以及配置环境Nat
首先得确保你的电脑上面已经安装VMware Workstation Pro就是一个普通的软件,至于步骤,这里就再赘述。一:创建Linux虚拟机首先准备好一个Linux的光盘镜像文件,文件格式为.iso,至于Linux的版本有很多,我们这里选择其中CentOS-6.5,如图所示然后点击VMware Workstation Pro中的新建虚拟机选项,将会出现如图所示的对话框点击下一步,会提示你选择需要...原创 2017-10-22 10:44:11 · 2098 阅读 · 2 评论 -
Kafka环境搭建
0. Kafka源码包下载http://mirror.bit.edu.cn/apache/kafka/1. 集群环境Master 172.16.11.97Slave1 172.16.11.98Slave2 172.16.11.992. 下载软件包#Masterwget http://mirror.bit.edu.cn/apache/kafka/0.10.2.1/kafka_2.11-0.10.2....原创 2018-04-28 10:26:43 · 360 阅读 · 0 评论 -
Spark环境搭建与IDEA的使用
Hive源码包下载mirror.bit.edu.cn/apache/spark/集群环境Master 172.16.11.97 Slave1 172.16.11.98 Slave2 172.16.11.99下载软件包#Masterwget http://mirror.bit.edu.cn/apache/spark/spark-1.6.3/spark-1.6.3-bin-h...原创 2018-04-25 10:21:53 · 1280 阅读 · 0 评论 -
Hive环境搭建
0. Hive源码包下载http://mirror.bit.edu.cn/apache/hive/1. 集群环境Master 172.16.11.97Slave1 172.16.11.98Slave2 172.16.11.992. 下载软件包#Masterwget http://mirror.bit.edu.cn/apache/hive/hive-1.2.2/apache-hive-1.2.2-b...原创 2018-04-21 20:55:49 · 555 阅读 · 0 评论 -
Flume集群环境搭建以及几种类型的conf配置文件
1、Flume的安装非常简单,只需要解压即可,当然,前提是已有hadoop环境上传安装包到数据源所在节点上然后解压 tar -zxvfapache-flume-1.6.0-bin.tar.gz,然后进入flume的目录,修改conf下的flume-env.sh,在里面配置JAVA_HOME2、根据数据采集的需求配置采集方案,描述在配置文件中(文件名可任意自定义)3、指定采集方案配置文件,在相应的...原创 2018-04-22 17:34:07 · 2979 阅读 · 1 评论 -
zookeeper环境搭建
半数机制:集群中半数以上机器存活,集群可用。zookeeper适合装在奇数台机器上!!!0. zookeeper源码包下载,以及命令行rz的准备http://mirror.bit.edu.cn/apache/zookeeper/1. 集群环境Master 172.16.11.97Slave1 172.16.11.98Slave2 172.16.11.992. 下载软件包#Masterwget ht...原创 2018-07-15 14:09:54 · 310 阅读 · 0 评论 -
Storm环境搭建
1. 集群环境-集群部署的流程:下载安装包、解压安装包、修改配置文件、分发安装包、启动集群注意:所有的集群上都需要配置hosts vim /etc/hosts IP地址1 storm01 zk01 hadoop01 IP地址2 storm02 zk02 hadoop02 IP地址3 storm03 zk03 hadoop03Master 172.16.11...原创 2018-06-30 11:22:05 · 654 阅读 · 0 评论 -
【大数据】开发环境搭建(三):hadoop伪分布式集群环境搭建(下)
(一)hadoop相关文件基本配置首先进入master的/usr/local/src/,pwdls查看当前目录下的文件,找到hadoop-1.2.1-bin.tar,该文件和java.bin一起放在共享文件夹中的,如果找不到,重新共享文件夹。首先进行解压该压缩包tar xvzf hadoop-1.2.1-bin.tar,解压过程如图所示解压完成以后,会在当前目录下产生一个hadoop-1.2.1的...原创 2017-10-22 17:00:59 · 603 阅读 · 0 评论 -
【大数据】开发环境搭建(二):hadoop伪分布式集群环境搭建(上)
(一)Linux虚拟机的配置我们通过第一篇文章只安装了一个Linux,为了做分布式集群环境的搭建,显然只有一个虚拟机是完完全全不够用的,因此我们需要多准备几个Linux虚拟机,当然不是通过多次安装来搭建,这样太浪费安装时间了,所以我们通过复制已有的Linux虚拟机来完成,当然得先检查Linux的状态才能复制,通过右键进行设置salve1和slave2是楼主事先已经安装好了的,这里分布式集群搭建完成...原创 2017-10-22 12:56:22 · 877 阅读 · 0 评论 -
Hbase环境搭建
0. 软件版本下载http://mirror.bit.edu.cn/apache/hbase/1. 集群环境Master 172.16.11.97Slave1 172.16.11.98Slave2 172.16.11.992. 下载软件包#Masterwget http://archive.apache.org/dist/hbase/0.98.24/hbase-0.98.24-hadoop1-bi...原创 2018-04-26 15:07:27 · 980 阅读 · 0 评论