![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop集群配置
文章平均质量分 77
gakki_smile
这个作者很懒,什么都没留下…
展开
-
Hadoop的开发环境搭建
首先来赞叹maven是真的好用。可以使apache的相关项目配置变得非常简单。。。 1.Windows下的maven安装: 前提:jdk及相关的环境变量配置好。 下载maven:http://mirror.bit.edu.cn/apache/maven/maven-3/3.0.5/binaries/apache-maven-3.0.5-bin.zip 解压D:\Java\apache-mav原创 2017-08-16 10:30:12 · 303 阅读 · 0 评论 -
oozie安装及简单使用
Oozie安装包好小。。。。通过编译在线下载的安全模式理解离开安全模式方法 bin/Hadoop dfsadmin -safemode leave问题导读:1.怎样安装Oozie? 2.怎样配置任务流程? 3.spark 提交和spark on yarn 方式的区别是什么?软件版本: Oozie4.2.0,Hadoop2.6.0,Spark1.4.1,Hive0.14,Pig0.15原创 2017-08-17 10:10:48 · 1698 阅读 · 0 评论 -
Sqoop1安装及使用
之所以选择Sqoop1是因为Sqoop2目前问题太多。无法正常使用,综合比较后选择Sqoop1。 Sqoop1安装配置比较简单 1下载解压到特定目录 2拷贝MySQL的jdbc驱动包mysql-connector-Java-5.1.31-bin.jar到sqoop/lib目录下。 3vi ~/.bash_profileexport SQOOP_HOME=/home/hadoop/chadoo原创 2017-08-17 09:27:38 · 1661 阅读 · 0 评论 -
Spark2.1.0完全分布式环境搭建
以下操作都在Master节点以Hadoop用户进行操作。 1)下载二进制包spark-2.1.0-bin-hadoop2.7.tgz 2)解压并移动到相应目录 3)修改相应的配置文件 vi ~/.bash_profile 添加:export SPARK_HOME=/home/hadoop/chadoop/spark/spark-2.1.1-bin-hadoop2.6/export PAT原创 2017-08-17 08:32:53 · 398 阅读 · 0 评论 -
pig0.16.0安装
1下载解压安装至特定目录 2配置全局环境变量 vi ~/.bash_profileexport PIG_HOME=/home/hadoop/chadoop/pig/pig-0.16.0export PATH=$PATH:$PIG_HOME/binexport PIG_CLASSPATH=$HADOOP_HOME/etc/hadoopPig有两种执行模式,分别为: 1)本地模式(Local)原创 2017-08-16 17:13:32 · 375 阅读 · 0 评论 -
zookeeper安装
我们都知道,Zookeeper要安装在奇数个节点,但是为什么? Zookeeper的大部分操作都是通过选举产生的。比如,标记一个写是否成功是要在超过一半节点发送写请求成功时才认为有效。同样,Zookeeper选择领导者节点也是在超过一半节点同意时才有效。最后,Zookeeper是否正常是要根据是否超过一半的节点正常才算正常。这是基于CAP的一致性原理。 现在假如有一个6个节点的Zookeeper原创 2017-08-16 16:43:46 · 246 阅读 · 0 评论 -
一台阿里云2台腾讯云服务器搭建Hadoop集群
1.准备工作:jdk安装(个人选择的1.8版本) 2.ssh免密登陆: 关闭放火墙(可以将要开放的端口加入防火墙的开发端口中,学习用就直接关闭防火墙了): 1)关闭firewall: systemctl stop firewalld.service #停止firewall systemctl disable firewalld.service #禁止firewall开机启动 firewa原创 2017-08-15 18:00:24 · 9613 阅读 · 25 评论 -
Hbase0.98.8安装配置
1上传解压到特定的目录 22.1、配置hbase-env.sh文件 • 进入到hbase-1.1.2/conf目录下,vim ./hbase-env.sh打开文件 • export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.45.x86_64 #java安装目录 • export HBASE_LOG_DIR=/home/had原创 2017-08-16 16:31:27 · 451 阅读 · 0 评论 -
Hive安装并使用MySQL存储元数据
Hive默认使用derby存储元数据 derby存在什么缺陷 1.derby不能多个客户端登录 2.derby登录必须在相同目录下,否则可能会找不到所创建的表。 比如在/hive目录下启动hive程序,那么所创建的表就会存储在/hive下面保存。如果在/home下面,所创建的表就会在/home下面保存。 一下操作使用Hadoop用户 下载解压到hive的目录 3. 替换jar包,与hb转载 2017-08-16 11:07:41 · 999 阅读 · 0 评论 -
Flume安装及简单使用
1下载解压到指定目录 22)修改 flume-env.sh 配置文件,主要是JAVA_HOME变量设置1.root@m1:/home/hadoop/flume-1.5.0-bin# cp conf/flume-env.sh.template conf/flume-env.sh 2.root@m1:/home/hadoop/flume-1.5.0-bin# vi conf/flume-env.sh原创 2017-08-17 10:56:45 · 490 阅读 · 0 评论