![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
王倔驴
好人
展开
-
zookeeper安装及sqoop脚本执行生成数据到mysql
============ zookeeper ======================在opt目录下tar -zxvf zookeeper-3.4.6.tar.gz -C配置在zookeeper目录下创建data 文件夹,进入conf目录, 把 zoo_sample.cfg 改名为 zoo.cfg进入zoo.cfg文件,修改dataDir=/opt/zookeeper/data启动进入bin目录,使用./zkServer start 命令启动,提示如下则启动成功JMX enabled原创 2020-08-06 23:06:45 · 234 阅读 · 1 评论 -
安装sqoop及使用
SQOOP —数据搬用工可以将外部数据迁移到hdfs目录或者hive表或者hbase表约定:安装目录为/opt/下载地址:https://mirrors.tuna.tsinghua.edu.cn/apache/sqoop/1.4.6/下载之后进行解压:tar -zxvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz -C /opt/重命名:mv sqoop-1.4.6.bin__hadoop-2.0.4-alpha sqoop配置SQOOP_HOM原创 2020-08-06 23:03:01 · 169 阅读 · 1 评论 -
安装kafka及使用
======= kafka ===================安装配置:解压: opt]# tar -zxvf soft/kafka_2.10-0.10.0.1.tgz重命名:opt]# mv kafka_2.10-0.10.0.1/ kafka添加KAFKA_HOME至环境变量:/etc/profile配置相关参数:$KAFKA_HOME/config/server.properties主要参数:broker.id、log.dirs、zookeeper.connectbroker.i原创 2020-08-06 22:54:51 · 132 阅读 · 1 评论 -
hive关联hbase及使用
======= 使用Hive来访问HBase启动hive,进入hive的终端/opt/hive/lib/hive-hbase-handler-2.1.0.jar,/opt/hive/lib/zookeeper-3.4.6.jar --hiveconf hbase.master=master:16010 --hiveconf hbase.zookeeper.quorum=master在Hive里面操作HBase创建一张表:如果hbase中不存在该表我们只能在hive中使用创建内部表的方式,来创建原创 2020-08-06 22:50:27 · 336 阅读 · 1 评论 -
安装hbase及使用
============== hbase ================单机版本:解压 opt]# tar -zxf soft/hbase-1.1.5-bin.tar.gz 重命名 opt]# mv hbase-1.1.5-bin hbase添加至环境变量export HBASE_HOME=/opt/hbase配置 $HBASE_HOME/conf/hbase-env.sh、hbase-site.xml$HBASE_HOME/conf/hbase-env.shexport JAV原创 2020-08-06 22:47:45 · 214 阅读 · 1 评论 -
在安装Hive程序HWI的时候的异常(2.1.0)
==== 在安装Hive程序HWI的时候的异常(2.1.0) ====在启动hwi的过程中,出现的问题:ar:file:/opt/hive/lib/ant-1.9.1.jar!/org/apache/tools/ant/antlib.xml:37: Could not create task or type of type: componentdef.原因是引用hive新版本2.1.0依赖的ant jar包没有相关的资源,需要使用最新的ant jar包解决方式:下载ant资源:ant-1.10.1原创 2020-08-06 22:42:35 · 206 阅读 · 1 评论 -
安装hive和mysql
====== 安装hive和myql =====安装myslqCentOS7自带有MariaDB而不是MySQL,MariaDB和MySQL一样也是开元的数据库解决方案:如果必须要安装MySQL,首先必须添加mysql社区repo通过输入命令#rpm -Uvh http://dev.mysql.com/get/mysql-community-release-el7-5.noarch.rpm获取mysql#yum install -y mysql-server启动mysql server服务原创 2020-08-06 22:38:54 · 145 阅读 · 1 评论 -
安装Hadoop2.6.4和jdk8
============== Hadoop的安装 ==================配置Hadoop环境变量hadoop的版本:hadoop-2.6.4.tar.gz,rz命令上传Hadoop和jdk8到/opt/目录下#vim /etc/profile.d/hadoop-eco.shJAVA_HOME=/opt/jdk8PATH=$JAVA_HOME/bin:$PATHHADOOP_HOME=/opt/hadoop PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HO原创 2020-08-06 22:08:03 · 337 阅读 · 1 评论 -
半天搭建大数据伪分布式环境
============= 模拟处理大数据 ============1.数据写入kafka2.程序消费kafka消息存入hbase3.hive关联hbase处理数据转存成表4.sqoop脚本导出数据到mysqllinux:centos7root/root一台服务器就够了,3G+20G配置静态IP地址#vi /etc/sysconfig/network-scripts/ifcfg-ens32(最后一个为网卡名称)(1)bootproto=static #dhcp动态(2)onboot=原创 2020-08-06 21:52:50 · 99 阅读 · 1 评论