大数据的技术栈-逐步完善

最新推荐文章于 2024-04-29 21:08:01 发布
最新推荐文章于 2024-04-29 21:08:01 发布
阅读量285 收藏
点赞数 1
文章标签： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/biqidaoer/article/details/134779538
版权

目录

1.hadoop

        a.HDFS分布式文件系统

        b.Yarn集群资源管理器

        c.MapReduce sql引擎

        d.Impala sql引擎

        e.工具概观

2.数据仓库知识

        a.Hive数据库

                1)Hive Sql

                2)数据库结构

        b.Doris数据库

3.混合处理框架SPARK

        a.Spark

        b.集群架构

4.数仓模型知识

5.开发工具

        a.Dbeaver

        b.Idea

6.kafka

转职开始做大数据了，逐步跟着学习的脚本把知识变成自己的

1.hadoop

        a.HDFS分布式文件系统

        b.Yarn集群资源管理器

                前端工作流异常时候 yarn检查异常信息-CSDN博客

                

        c.MapReduce sql引擎

        d.Impala sql引擎

        e.工具概观

2.数据仓库知识

        a.Hive数据库

                1)Hive Sql

                2)数据库结构

        b.Doris数据库

3.混合处理框架SPARK

        a.Spark

                1)SCALA

                        Scala中的选项(Options )-CSDN博客

        b.集群架构

                使用spark进行递归的可行方案-CSDN博客

                spark读取和保存本机文件-CSDN博客

                本机spark 通idea连接Oracle的坑-CSDN博客

4.数仓模型知识

        a.分层逻辑

        b.模型规范

        c.指标检查

5.开发工具

        

        a.Dbeaver

        b.Idea

                windows idea本地执行spark sql避坑-CSDN博客

6.kafka

刘文钊1
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
大数据时代--大数据的定义-理解和应用.pptx
06-21
大数据时代 大数据时代--大数据的定义-理解和应用全文共24页，当前为第1页。 不知道BIG DATA? 你out了! 反对派认为，我们现在处在一个盲目的大数据崇拜时代 大数据时代--大数据的定义-理解和应用全文共24页，当前为第2页。 大数据的定义 理解大数据 相关技术与应用 目录 大数据时代--大数据的定义-理解和应用全文共24页，当前为第3页。 21世纪是数据信息大发展的时代，移动互联、社交网络、电子商务等极大拓展了互联网的边界和应用范围，各种数据正在迅速膨胀并变大。 互联网（社交、搜索、电商）、移动互联网（微博）、物联网（传感器，智慧地球）、车联网、GPS、医学影像、安全监控、金融（银行、股市、保险）、电信（通话、短信）都在疯狂产生着数据。 "大数据"的诞生： 半个世纪以来，随着计算机技术全面融入社会生活，信息爆炸已经积累到了一个开始引发变革的程度。它不仅使世界充斥着比以往更多的信息，而且其增长速度也在加快。信息爆炸的学科如天文学和基因学，创造出了"大数据"这个概念*。如今，这个概念几乎应用到了所有人类智力与发展的领域中。 大数据时代的背景 大数据时代--大数据的定义-理解和应
大数据技术栈思维导图-很全
08-09
大数据技术栈思维导图
第3章-大数据存储技术----大数据基础.pptx
06-22
第3章 大数据存储技术 大数据项目组 2018年7月 华中科技大学软件学院 第3章-大数据存储技术----大数据基础全文共111页，当前为第1页。 目录 2 理解HDFS分布式文件系统 NoSQL数据库 Hadoop的安装和配置 HDFS文件管理 Hbase的安装和配置 Hbase的使用 第3章-大数据存储技术----大数据基础全文共111页，当前为第2页。 HDFS简介 3 HDFS文件系统的特点： 1.存储数据较大：运行在HDFS的应用程序有较大的数据处理要求，或存储从GB到TB级的超大文件。 2.支持流式数据访问：HDFS放宽了可移植操作系统接口（POSIX）的要求，可以以流的形式访问文件系统中的数据。 3.支持多硬件平台：Hadoop可以运行在廉价、异构的商用硬件集群上，并且在HDFS设计时充分考虑了数据的可靠性、安全性及高可用性，以应对高发的节点故障问题。 分布式文件系统HDFS（Hadoop Distributed File System）是Hadoop核心子项目，为Hadoop提供了一个综合性的文件系统抽象，并实现了多类文件系统的接口。HDFS基于流式数据访问、存储和处理
大数据预处理技术---- 预处理大数据预处理技术
04-09
大数据预处理技术---- 预处理大数据预处理技术
大数据大创新-阿里巴巴云上数据中台之道.zip
08-20
大数据大创新-阿里巴巴云上数据中台之道
平台搭建---大数据框架---RPC 框架
06-08 1078
主成分分析原理 scikit-learn 中PCA类介绍 来源 官网链接 在scikit-learn中，与PCA相关的类都在sklearn.decomposition包中。最常用的PCA类就是sklearn.decomposition.PCA，我们下面主要也会讲解基于这个类的使用的方法。 除了PCA类以外，最常用的PCA相关类还有KernelPCA类。它主要用于非线性数据的降维，需要用到
阿里云大数据计算服务 - MaxCompute (原名 ODPS)
weixin_30550081的博客
04-20 1079
　　MaxCompute 是阿里EB级计算平台，经过十年磨砺，它成为阿里巴巴集团数据中台的计算核心和阿里云大数据的基础服务。去年MaxCompute 做了哪些工作，这些工作背后的原因是什么？大数据市场进入普惠+红海的新阶段，如何与生态发展共赢？人工智能进入井喷阶段，如何支持与借力？本文从过去一年的总结，核心技术概览，以及每条技术线路未来展望等几个方面做一个概述。 　　BigData 概念在上世...
《云计算与大数据技术应用》
热门推荐
m0_64366382的博客
01-13 1万+
《第一章》云计算概述 1.1什么是云计算? 1.1.1云计算的定义 云计算是分布式计算的一种，指的是通过网络“云”将巨大的数据计算处理程序分解成无数个小程序，然后，通过多部服务器组成的系统进行处理和分析这些小程序得到结果并返回给用户。云计算早期，简单地说，就是简单的分布式计算，解决任务分发，并进行计算结果的合并。因而，云计算又称为网格计算。通过这项技术，可以在很短的时间内（几秒钟）完成对数以万计的数据的处理...
漫谈阿里那些大数据技术，大数据学习者必看
浩天的博客
05-01 1万+
目前人人都在谈大数据，谈DT时代，但是，大数据是什么，每个人都有自己的一个看法，好比盲人摸象，每个都认为自己摸到是真正的大象。我也担心我所看到的，只是大数据的冰山一角，毕竟，将引领整个人类下一次变革的大数据，不是几篇文章就能说清楚的。 　　一，DT时代 　　大数据这个概念，其实在上世纪九十年代就有人提出来了，当时希望通过将所有零散的数据归并起来，然后进行数据挖掘，以看到以前存在的问题，去预...
大数据培训-详谈数据科学与大数据技术专业-光环大数据培训.pdf
11-28
大数据培训-详谈数据科学与大数据技术专业-光环大数据培训.pdf
大数据面试题 —— Spark数据倾斜及其解决方案
hu_wei123的博客
04-27 834
有的时候，我们可能会遇到大数据计算中一个最棘手的问题 ——数据倾斜，此时 Spark 作业的性能会比期望差很多。数据倾斜调优，就是使用各种技术方案解决不同类型的数据倾斜问题，以保证 Spark 作业的性能。
【ROMA解决方案和功能架构】
数据也是生产力，保持热爱，奔赴山海！
04-23 767
1、基于ROMA融合集成平台，实现企业应用、数据、API 、OT设备、云服务、合作伙伴应用之间的集成连接。2、ROMA主要包含四个组件：数据集成（Fast Data Integration，简称FDI）、服务集成（API Connect，简称APIC）、消息集成（Message Queue Service，简称MQS）、设备集成（LINK）。
生产数据采集系统
weixin_50072277的博客
04-23 692
在数字化浪潮的推动下，生产数据采集系统已经成为企业提升生产效率、优化运营管理的关键工具。那么，什么是生产数据采集系统呢？简单来说，生产数据采集系统是指通过一系列技术手段，实时收集、处理和分析生产线上的各类数据，从而为企业的决策提供有力支持的系统。
Impala系统架构理解
weixin_64881847的博客
04-26 483
这些执行任务的Impalad实例会根据查询的执行计划，直接在HDFS上读取数据并进行计算。用于跟踪Impala集群中所有Impalad实例的健康状态和位置信息，确保Impala能够了解集群中各个Impalad的状态，从而能够选择合适的Impalad来执行查询任务。这也就意味着一个Impalad进程可能不仅作为协调者分发任务，还可能作为接受者接收并执行来自其他Impalad的任务，这取决于集群的负载和任务的分布。，以便选择最靠近数据所在DataNode的那个节点上的Impalad来执行任务。
哪些情况下左联接的数据量比左表大？
Java/Python/大数据干货分享
04-26 338
本文主要探讨SQL和Pandas左连接数据量比左表大的问题。在某些情况下，执行左连接时，SQL和Pandas输出的结果会比左表数据量大。这是为什么呢？左连接是关系型数据库中最常见的连接之一。它的作用是从左表中取出所有的行，以及与右表匹配的所有行。如果某个行在右表中没有匹配到，则会在输出结果中以NULL的形式呈现1）左表与右表为一对多或多对多2）左表与右表关联键都存在空值NULL1）视情景删除或聚合右表中重复关联键的数据2）过滤表中关联键值为NULL的行。
踏上大数据第一步：flume
Hanko的专栏
04-29 354
Flume是一个分布式、可靠、可用的系统,用于高效地收集、聚合和移动大量日志数据。它旨在从不同的数据源收集数据,并将其存储到中央数据存储中,如HDFS、HBase或Solr等。Flume是Apache旗下的一个顶级项目,是Hadoop生态系统中的一个重要组件。日志收集Flume可以高效地从各种Web服务器、应用服务器等收集日志数据,并将其传输到HDFS或其他存储系统中,为后续的数据分析做准备。数据采集。
25计算机考研院校数据分析 | 电子科技大学
最新发布
m0_72717598的博客
04-29 407
是国家“985工程”、“211工程”、“世界一流大学和一流学科”重点建设高校，入选“2011计划”、“111计划”、“卓越工程师教育培养计划”、“国家建设高水平大学公派研究生项目”、“中国政府奖学金来华留学生接收院校”，两电一邮成员。题库中抽取题目作答，重点考查程序设计、算法设计与分析、软件工程、计算机组成原理、数据库、计算机网络、编译原理、密码学（该科目限报考083900网络空间安全专业考生）等基础知识情况。101思想政治理论、201英语一、301数学一、820计算机专业基础【22数据结构+操作系统】
25计算机考研院校数据分析 | 四川大学
m0_72717598的博客
04-24 643
复试成绩总分为200分，其中笔试部分占100分，面试占60分，外语能力测试占40分，笔试、面试和外语听说能力成绩之和为复试成绩，复试成绩折合成百分制应不低于60分，否则视为复试不合格，不予录取。复试成绩总分为200分，其中笔试部分占100分，面试占60分，外语能力测试占40分，笔试、面试和外语听说能力成绩之和为复试成绩。复试成绩折合成百分制应不低于60分，否则视为复试不合格，不予录取。复试成绩总分为200分，其中笔试部分和实践能力部分共占120分，面试占80分，笔试和面试成绩之和为复试成绩。
大数据技术栈使用比例
09-10
根据目前的市场情况，大数据技术栈的使用比例可以根据不同的需求和场景而有所不同。一般来说，以下是一些常见的大数据技术栈及其使用比例： 1. Hadoop生态系统：Hadoop是一个开源的分布式计算框架，包括HDFS...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值