![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据技术
文章平均质量分 58
大数据技术
做事要趁早
从苦逼的岁月走向辉煌的人生!
展开
-
Sqoop安装及案例导入导出数据(基于Hadoop环境)
Sqoop安装及案例导入导出数据(基于Hadoop环境)Sqoop主要用于在Hadoop(Hive)与传统的数据库MySQL间进行数据的传递可以将一个关系型数据库(如 : MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系型数据库中。原理:将导入或导出命令翻译成mapreduce程序来实现在翻译出的mapreduce中主要是对inputformat和outputformat进行定制一、Sqoop的安装1、将Sqoop的安原创 2021-11-27 16:41:52 · 1780 阅读 · 0 评论 -
Flume的安装
Flume的安装Flume最主要的作用就是,实时读取服务器本地磁盘的数据,将数据写入到HDFSAgent 是一个 JVM 进程,它以事件的形式将数据从源头送至目的Agent 主要有 3 个部分组成,Source、Channel(缓冲区,管道)、Sink1、将Flume的安装包拷贝到/opt/software目录下[mnlg@XJ202 ~]$ cd /opt/software/[mnlg@XJ202 software]$ tar -xf apache-flume-1.9.0-bin.tar原创 2021-11-27 16:40:08 · 2313 阅读 · 0 评论 -
Hadoop集群操作
Hadoop集群操作一、启动集群1.如果集群是第一次启动,需要在 hadoop102 节点格式化 NameNode注意:格式化NameNode,会产生新的集群 id,导致 NameNode 和 DataNode 的集群 id 不一致,集群找不到已往数据。如果集群在运行过程中报错,需要重新格式化 NameNode 的话,一定要先停止namenode 和 datanode 进程,并且要删除所有机器的data 和 logs 目录,然后再进行格式化。[mnlg@hadoop102 hadoop-3.1.原创 2021-11-19 16:25:51 · 1520 阅读 · 0 评论 -
Hadoop大数据基础篇
Hadoop大数据基础篇一、Hadoop特点1. Hadoop优势:高可靠性,高扩展性,高效性(MapReduce),高容错性2. Hadoop的组成:HDFS(分布式存储系统):NameNode,Client,DataNodeMapReduce(分布式计算系统):Input(InputFormat),Map,Shuffle,Reduce,Output(OutputFormat)Yarn(hadoop的资源调度系统):ResourceManager ,NodeManager,Hist原创 2021-11-19 16:24:49 · 1146 阅读 · 0 评论 -
HBase 在idea中对表(ddl)和数据(dml)的相应操作
HBase 在idea中对表(ddl)和数据(dml)的相应操作新建Idea—项目工程名为HBaseDemo11.pom.xml文件(在文件末尾加入如下代码,导入依赖)<dependencies> <dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-server</artifactId>原创 2021-11-12 17:49:29 · 4280 阅读 · 0 评论 -
Hive中MySQL数据库的安装及绑定
Hive中MySQL的安装及绑定Hive 默认使用的元数据库为 derby,开启 Hive 之后就会占用元数据库derby数据库只支持单用户访问且不与其他客户端共享数据将 Hive 的元数据地址改为 MySQL数据库[mnlg@XJ202 ~]$ my_hadoop.sh start //启动hadoop[mnlg@XJ202 ~]$ cd /opt/module/hive-3.1.2 //进入hive目录[mnlg@XJ202 hive-3.1.2]$ bin/hive原创 2021-11-18 15:49:17 · 2206 阅读 · 1 评论 -
HBase 在集群中对表(ddl)和数据(dml)的相应操作
HBase 在集群中对表(ddl)和数据(dml)的相应操作HBase特点要开启hbase之前必须先开启hdfs和zookeeper(关闭将start改为stop即可)启动hdfs:my_hadoop.sh start启动zookeeper:zk.sh start启动hbase:bin/start-hbase.sh表(ddl):增加:create,修改:alter,删除:drop,查看所有:list,查看版本号:describe数据(dml):增加:put,修改:put原创 2021-11-13 11:04:31 · 1214 阅读 · 0 评论 -
Hive(HQL)数据库的安装及配置
Hive的特点Hive与SQL语句相像能将SQL语句转变成MapReduce任务来执行Hive要依赖于yarn只能用于结构化Hive只能处理离线数据,处理大型数据Hive在集群上的操作1.Hive安装及配置(1)点击Shell,进入到 cd /opt/software目录下cd /opt/software/(2)把apache-hive-3.1.2-bin.tar.gz压缩包上传到Shell的 cd /opt/software目录下(3)解压apache-hive-3.1.2-b原创 2021-11-12 16:05:03 · 1996 阅读 · 2 评论