![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 96
皓亮君
夫君子之行,静以修身,俭以养德。非淡泊无以明志,非宁静无以致远。夫学须静也!
展开
-
【Hadoop生态圈】10.使用Sqoop迁移MySQL数据到HDFS中
Sqoop(发音:skup)是一款开源的工具,主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql…)间进行数据的传递,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系型数据库中。要使用Sqoop需要JDK并且机器能正常操作Hadoop集群,因为Sqoop底层会将命令换为MapReduce代码,然后将其提交到Hadoop集群中去执行。原创 2022-10-29 18:02:14 · 3275 阅读 · 0 评论 -
【Hadoop生态圈】9.使用Maxwell实时采集MySQL数据到Kafka中
Maxwell是一款能实时读取MySql增量日志(Binary Log)并生成JSON格式数据后作为生产者将数据发送个Kafka、Kinesis、RabbitMQ、Redis等中间件的工具。支持以"SELECT * FROM Table"的方式实现全量表数据初始化。支持在主库发生故障后自动恢复增量日志(Binary Log)的位置(GTID);支持对数据进行分区,可以解决数据倾斜问题,发送到Kafka的数据支持Database、Table、Column等级别的数据分区。架构分析。原创 2022-10-23 21:32:30 · 1411 阅读 · 0 评论 -
【Hadoop生态圈】8.Flink实时计算引擎入门教程
流式计算: Fink可以连接处理流式(实时)数据。容错: Fink提供了有状态的计算,会记录任务的中间状态,当执行失败时可以实现故障恢复。可伸缩: Fink集群可以支持上千个节点。高性能: Fink能提供高吞吐,低延迟的性能。: 可以处理秒级别延迟的实时数据计算,但是无法处理真正的实时数据计算,适合小型且独立的实时项目。Storm: 可以处理真正的实时计算需求,但是它过于独立没有自己的生态圈,适合能够接受秒级别延迟不需要Hadoop生态圈的实时项目。Fink。原创 2022-10-13 20:36:08 · 2181 阅读 · 1 评论 -
【Hadoop生态圈】7.离线OLAP引擎Hive入门教程
Hive是由Facebook开源的一款数据分析工具,主要用来进行数据提取,转换和加载(ETL)。Hive数据存储是基于Hadoop中的HDFS,它没有自己的存储系统,也没有专门的数据存储格式,它最大的魅力在于用户只需要专注于编写SQL,Hive帮用户把SQL转换为MapReduce程序完成对数据的分析。Hive自动将用户编写的SQL转换为MapReduce程序,处理位于HDFS上的结构化数据。Hive软件本身承担的是HQL语法解析编译称为MapReduce的功能职责。Hive优点:简易性。原创 2022-09-27 09:00:00 · 778 阅读 · 0 评论 -
【Hadoop生态圈】6.MapReduce离线计算引擎入门教程
Mapreduce 是hadoop项目中的分布式运算程序的编程框架,是用户开发"基于hadoop的数据分析应用"的核心框架,Mapreduce 程序本质上是并行运行的。分布式程序运行在大规模计算机集群上,可以并行执行大规模数据处理任务,从而获得巨大的计算能力。谷歌公司最先提出了分布式并行编程模型MapReduce,Hadoop MapReduce是它的开源实现。原创 2022-09-24 08:00:00 · 799 阅读 · 0 评论 -
【Hadoop生态圈】5.HBase列存储数据库入门教程及集群环境搭建
HBase的全称是Hadoop Database,它是一个高可靠,高性能,面向列,可伸缩的NoSQl分布式存数据库.1.海量存储Hbase适合存储PB级别的海量数据,在PB级别的数据以及采用廉价PC存储的情况下,能在几十到百毫秒内返回数据。这与Hbase的极易扩展性息息相关。正式因为Hbase良好的扩展性,才为海量数据的存储提供了便利。2.面向列这里的列式存储其实说的是列族(ColumnFamily)存储,Hbase是根据列族来存储数据的。列族下面可以有非常多的列,列族在创建表的时候就必须指定。原创 2022-09-23 00:37:02 · 1044 阅读 · 0 评论 -
【Hadoop生态圈】4.Kafka入门教程及集群环境搭建
Kafka入门及集群环境搭建原创 2022-09-21 22:54:17 · 744 阅读 · 0 评论 -
【Hadoop生态圈】3.Zookeeper入门教程及集群环境搭建
Zookeeper入门及集群环境搭建原创 2022-09-21 18:19:48 · 826 阅读 · 0 评论 -
【Hadoop生态圈】1.Hadoop入门教程及集群环境搭建
Hadoop集群环境搭建原创 2022-09-21 15:45:51 · 1292 阅读 · 0 评论 -
使用ELK8.4.1环境+Filebeat收集nginx日志
使用ELK8.4.1环境+Filebeat收集日志原创 2022-09-08 22:36:14 · 2044 阅读 · 3 评论 -
【Hadoop生态圈】2.使用Flume采集日志数据到HDFS中
使用Flume采集日志数据到HDFS中原创 2022-09-21 00:18:30 · 7726 阅读 · 1 评论