天津飞机哥-CSDN博客

原创 Hadoop Summary

Hadoop SummaryHadoopHadoop的组成hadoop 1.x: HDFS: 存; MapReduce: 算 + 资源调度(内存, CPU, 磁盘, 网络带宽…)hadoop 2.x/3.x: HDFS: 存; MapReduce: 算; Yarn: 资源调度HDFS的架构HDFSHadoop分布式文件系统, 文件系统是用于对文件进行存储和管理.分布式可以理解为由多台机器共同构成一个完整的文件系统.NameNode(nn)描述: 负责管理HDFS中所有文件的元数据信息.

2020-12-10 10:59:54 402

原创 Flink流处理API 使用

Flink流处理API 使用一、Source1、以kafka消息队列的数据作为来源package com.atguigu.day02;import org.apache.flink.api.common.serialization.SimpleStringSchema;import org.apache.flink.streaming.api.datastream.DataStreamSource;import org.apache.flink.streaming.api.environmen

2020-12-10 10:58:38 1042

原创 5 分钟搞懂布隆过滤器，亿级数据过滤算法你值得拥有！

5 分钟搞懂布隆过滤器，亿级数据过滤算法你值得拥有！在程序的世界中，布隆过滤器是程序员的一把利器，利用它可以快速地解决项目中一些比较棘手的问题。如网页 URL 去重、垃圾邮件识别、大集合中重复元素的判断和缓存穿透等问题。布隆过滤器（Bloom Filter）是 1970 年由布隆提出的。它实际上是一个很长的二进制向量和一系列随机映射函数。布隆过滤器可以用于检索一个元素是否在一个集合中。它的优点是空间效率和查询时间都比一般的算法要好的多，缺点是有一定的误识别率和删除困难。一、布隆过滤器简介当你往简单数

2020-12-09 21:26:44 764

原创 Kylin

Kylin1、简介Kylin Apache Kylin是一个开源的分布式分析引擎，提供Hadoop/Spark之上的SQL查询接口及多维分析（OLAP）能力以支持超大规模数据，最初由eBay开发并贡献至开源社区。它能在亚秒内查询巨大的Hive表。2、 Kylin的工作原理Apache Kylin的工作原理本质上是MOLAP（Multidimension On-Line Analysis Processing）Cube，也就是多维立方体分析。是数据分析中非常经典的理论，下面对其做简

2020-12-09 21:24:54 152

原创 wordcount- scala

一、reduce集合高级函数package com.atguigu.scala.chapter07/** * Copyright (c) 2018-2028 尚硅谷 All Rights Reserved * * Project: scala0621 * Package: com.atguigu.scala.chapter07 * Version: 1.0 * * Created by wushengran on 2020/9/19 9:07 */object Te

2020-09-21 08:25:54 176

原创 hive企业级调优

hive企业级调优10.1 Fetch抓取Fetch抓取是指，Hive中对某些情况的查询可以不必使用MapReduce计算。例如：SELECT * FROM emp;在这种情况下，Hive可以简单地读取emp对应的存储目录下的文件，然后输出查询结果到控制台。在hive-default.xml.template文件中hive.fetch.task.conversion默认是more，老版本hive默认是minimal，该属性修改为more以后，在全局查找、字段查找、limit查找等都不走mapreduc

2020-08-18 21:30:11 78

qq_40001792的博客