![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
安装
carbon_vera
这个作者很懒,什么都没留下…
展开
-
Azkaban的安装步骤
Azkaban的安装 (注意azkaban和hive和sqoop必须安装在同一台机器) 1.Web服务器、Azkaban执行服务器,安装到装有hive的机器上 1.1创建azkaban的目录 mkdir azkaban 1.2 解压 tar -zxvf azkaban-web-server-2.5.0.tar.gz -C /opt/module/azkaban/ tar -zxvf azkaban...原创 2019-12-26 11:49:31 · 207 阅读 · 0 评论 -
安装sqoop
安装sqoop 1.配置环境变量 2.如果以下软件没有配置环境变量,那么需要在sqoop-env.sh文件中配置 export HADOOP_COMMON_HOME=/opt/module/hadoop-2.7.2 export HADOOP_MAPRED_HOME=/opt/module/hadoop-2.7.2 export HIVE_HOME=/opt/module/hive export ...原创 2019-12-18 18:33:36 · 97 阅读 · 0 评论 -
配置tez
配置tez 1.上传tez的tar包到HDFS 1.1创建/tez目录 hadoop fs -mkdir /tez 1.2 上传tez的tar包到该目录 hadoop fs -put /opt/software/apache-tez-0.9.1-bin.tar.gz/ /tez 2.解压tez安装包 tar -zxvf apache-tez-0.9.1-bin.tar.gz -C /opt/mod...原创 2019-12-18 18:33:05 · 165 阅读 · 0 评论 -
安装hive
安装hive 1.配置hive的matestore到HDFS中 <?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> javax.jdo.option.ConnectionURL jdbc:mysql:/...原创 2019-12-18 18:32:35 · 169 阅读 · 1 评论 -
安装keepalived
安装keepalived 1.在MySQL主从机上安装keepalived软件包 sudo yum install -y keepalived 2.修改Keepalived配置文件/etc/keepalived/keepalived.conf(只保留以下的配置) global_defs { #路由器id router_id MySQL-ha } vrrp_instance VI_1 { state...原创 2019-12-18 18:32:03 · 105 阅读 · 0 评论 -
安装mysql软件,并设置双向主从复制
安装mysql软件,并设置双向主从复制 1.检查是否安装了mysql,版本不一致就卸载 rpm -qa|grep mysql rpm -e --nodeps mysql-libs 2.安装mysql (zip需要解压到module文件中) sudo rpm -ivh MySQL-client-5.6.24-1.el6.x86_64.rpm sudo rpm -ivh MySQL-server-5...原创 2019-12-18 18:31:20 · 95 阅读 · 0 评论 -
安装Kafka集群
安装Kafka集群 1.在/opt/module/kafka目录下创建logs文件 2.server.properties配置 #broker的全局唯一编号,不能重复,zookeeper监控broker节点,先注册者为controller broker.id=0 #删除topic功能使能,不打开的话,注册的节点不能删除 delete.topic.enable=true #处理网络请求的线程数量 n...原创 2019-12-18 18:30:31 · 69 阅读 · 0 评论 -
zookeeper安装
zookeeper配置 1.创建目录存储zookeeper的数据 mkdir datas 2.配置zoo.cfg dataDir=/opt/module/zookeeper/datas 3.配置集群 zoo.cfg server.102=hadoop102:2888:3888 server.103=hadoop103:2888:3888 server.104=hadoop104:2888:3888...原创 2019-12-11 20:19:30 · 73 阅读 · 0 评论 -
hadoop集群安装
安装hadoop集群 1.core.site.xml fs.default.name hdfs://hadoop102:9000 hadoop.tmp.dir /opt/module/hadoop/data/tmp 2.hdfs.site.xml dfs.namenode.secondary.http-address ha...原创 2019-12-11 20:18:59 · 89 阅读 · 0 评论 -
安装前准备
1.编写脚本到/home/carbon/bin目录下 ①xcall 同步执行命令脚本 #!/bin/bash #校验参数 if((KaTeX parse error: Expected 'EOF', got '#' at position 1: #̲==0)) then e…@" #分发 for((i=102;i<=104;i++)) do echo "==========hadoop...原创 2019-12-11 20:18:12 · 212 阅读 · 0 评论 -
搭建虚拟机DataWare
搭建虚拟机DataWare 1.linux CentOS 6 64位 2. 2*2 3.虚拟机内存4096 4.LSILogic 5.SCSI 6.创建新的虚拟磁盘50G 7.CD挂载光盘 8.install or 9.创建自定义布局 10.格式化-将修改写入磁盘 11.现在自定义桌面–基本-浏览器-桌面 12.系统-网络连接-iPV4 192.168.24.11 255.255.255.0 19...原创 2019-12-11 20:17:25 · 184 阅读 · 0 评论