大数据笔记
文章平均质量分 80
笔记
longtxue
来一个句号吧。
展开
-
Sqoop和Hive整合
注:JDBC最好都加引号Sqoop是一个Hadoop和关系型数据库的整合工具。能将MySQL、Oracle、SqlServer等数据库中的数据导入HDFS中,同样也能将HDFS中的数据导入MySQL、Oracle、SqlServer等中#mermaid-svg-aaUz2y69sl14abwY .label{font-family:'trebuchet ms', verdana, arial;font-family:var(--mermaid-font-family);fill:#333;color:#原创 2021-04-14 18:10:20 · 269 阅读 · 0 评论 -
Spark安装部署
文章目录Spark是啥?Spark有啥特点?Spark的安装解压配置环境变量配置三台节点Spark配置远程拷贝到从节点启动spark-shell简单操作Spark版本: 1.4.5Hadoop版本:2.7.6Spark 提取码:1111Spark是啥?Spark是专为大规模数据处理而设计的快速通用的计算引擎。Spark是加州大学伯克利分校的AMP实验室所开源的类Hadoop MapReduce的通用并行框架Spark,拥有Hadoop MapReduce的优点;但是不同于MapReduc原创 2021-04-08 10:43:17 · 121 阅读 · 1 评论 -
从Hive搭建及使用开始,到删库跑路?
文章目录Hive简介1.Hive安装1.解压安装配置环境变量2.配置文件3.使用初始化元数据**启动元数据服务****启动**2.hive的简单使用3.hive数据加载方式1.直接拷贝到hdfs中的表的对应目录2.使用命令导入数据3.装载方式4.insert into方式装载4.Hive表属性修改Hive简介Hive是基于Hadoop的一个数据仓库工具,用来进行数据提取、转化、加载,这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。Hive不适合用于联机(online)事原创 2021-04-05 20:42:26 · 282 阅读 · 0 评论 -
CentOS7的MySQL安装和Sqoop部署
Hadoop版本: 2.7.6CentOS版本: 7.6.1810集群: 3台Mysql版本: 5.7.18Mysql驱动JAR包: mysql-connector-java-5.1.28-bin.jarSqoop版本: 1.4.7文章目录1.MySQL1.解压安装2.Msyql3.MySQL设置远程登录MySQL END2.Sqoop安装1.解压2.修改环境变量3.重命名并修改配置文件4.**测试sqoop是否能和MySQL联通..原创 2021-04-03 15:15:58 · 492 阅读 · 0 评论 -
Hadoop HA集群部署(详细版)
Hadoop版本: 2.7.6CentOS版本: 7.6.1810集群: 3台百度网盘: 提取码:1111Hadoop HA说明HDFS集群中NameNode 存在单点故障(SPOF)。对于只有一个NameNode的集群,如果NameNode机器出现意外情况,将导致整个集群无法使用,直到NameNode 重新启动。HDFS自动故障转移HDFS的自动故障转移主要由Zookeeper(Zookeeper很重要啊)和ZKFC两个组件组成。Zookeeper..原创 2021-04-03 11:43:43 · 3168 阅读 · 2 评论 -
CentOS7安装JDK和Zookeeper集群配置
CentOS版本:7.6.1810 3台JDK版本:1.8.0_191Zookeeper版本:3.4.10安装包链接:https://pan.baidu.com/s/1j73pSB8YS4NUl0fBCy5Htw提取码:1111注意:注意看命令前面的节点机上传文件到CentOS解压JDK到指定路径[root@master /]# tar zxvf /home/package/jdk-8u191-linux-x64.tar.gz -C /usr/local/src/.原创 2021-04-02 23:08:22 · 1771 阅读 · 4 评论