大数据学习笔记，学习清单

最新推荐文章于 2024-11-18 14:51:17 发布
最新推荐文章于 2024-11-18 14:51:17 发布
阅读量222 收藏
点赞数
文章标签： 大数据 学习 笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_46183404/article/details/131495077
版权

大数据目前技术组件有很多，比如有hdfs,hive,spark,flink,kafka,clickhouse,cdh,nifi,streamset等等技术，主流的开发语言有Java，Scala，Python等等开发语言，大数据SQL必须要会，MySQL和hive，click house等等SQL语言都要会，SQL语言必须要会而且要能随时写百行以上的SQL语言

下面是我整理的学习笔记和大数据学习的基本路线，对于新手入门非常友好，笔记对于面试很有帮助，需要的可以私聊一下，可以加一下扣扣1514517020，当然也可以聊一下技术

 

平凡天下
关注
MES学习笔记
m0_71440605的博客
10-20 268
要实现定制化的MES系统，一般主要包括需求调研、MES系统定制开发、实施、试运行几个主要阶段。
DAMA学习笔记(十三)-大数据和数据科学
weixin_44852067的博客
08-10 1487
组织的大数据战略需要与其整体业务战略和业务需求保持一致并提供支持，并成为其数据战略的一部分。1）组织试图解决什么问题，需要分析什么。2）要使用或获取的数据源是什么。3）提供数据的及时性和范围。4）对其他数据结构的影响以及与其他数据结构的相关性。5）对现有建模数据的影响。组织应仔细管理与大数据源相关的元数据，以便对数据文件及其来源和价值进行准确的清单管理。数据量大（Volume）、数据更新快（Velocity）、数据类型多样/可变（Variety）。数据黏度大（Viscosity）。
Paimon 学习笔记
第一片心意的博客
08-08 4234
Apache Paimon 学习笔记，流式数据湖平台。
大数据 Hadoop 学习笔记 02
Joker的博客
12-06 951
简介： 今天来聊聊 HDFS，它是 Hadoop 分布式文件系统（HDFS）是一种旨在在商品硬件上运行的分布式文件系统。 具有高度的容错能力，旨在部署在低成本硬件上。HDFS 提供对应用程序数据的高吞吐量访问，并且适用于具有大数据集的应用程序。 从 Hadoop 的架构中看出，HDFS 是最底层存储集群中所有存储节点文件的文件系统，犹如一座大厦的地基。 01-HDFS 架构 HDFS 总体上采...
大数据秋招学习笔记1
qq_44427262的博客
08-03 223
Hadoop基础知识： 1）bigdata特点：4V，大量(volume)，高速(velocity)，多样性(variety)，低价值密度(value)。 2）Hadoop是Apache基金会开发的分布式系统基础架构，主要用于解决海量数据的存储和分析计算问题，广义上通常指Hadoop生态圈。 3）Hadoop1.* 和 Hadoop2.* 的区别：Hadoop1.* 中的Mapreduce同时负责业务逻辑计算与资源的调度，Hadoop2.* 中增加了Yarn，Yarn负责资源调度，Mapreduce只负责运
大数据分析与内存计算学习笔记
m0_74972727的博客
04-27 1429
Line类的第一个参数表示其位置，第二个参数表示另一个端点，Line放缩的时候，其中点位置不变，长度按倍数放缩（注意，缩放时，其两个端点信息也改变了），另外，Line的move行为影响了另一个端点，需要对move方法进行重载。另外直线类Line和圆类Circle都混入了Drawable特质，要求对draw进行重载实现，其中类Line的draw输出的信息样式为“Line:第一个端点的坐标--第二个端点的坐标)”，类Circle的draw输出的信息样式为“Circle center:圆心坐标,R=半径”。
大数据学习笔记(HDFS常用操作)
smy12138的博客
11-13 211
1、创建目录命令 HDFS有一个默认的工作目录/user/USER，其中USER，其中USER，其中USER是用户的登录用户名。不过目录不会自动建立，需要mkdir建立它 命令格式：hadoop fs -mkdir 如： 在user目录下创建chen目录 hadoop fs -mkdir /user/chen 注意：Hadoop的mkdir命令会自动创建父目录，类似于带-p的ＵＮＩＸ命令 ２、上传...
信创学习笔记(一),信创内容思维导图
weixin_43688085的博客
07-08 998
用一张图归纳学习信创内容,信创内容思维导图
CISA注册信息系统审计师学习笔记：第四章——信息系统运维和业务恢复能力
AlanLafayette的博客
06-03 439
任何存储设备都可以是让其他计算机感染恶意软件的载体。灾难恢复计划包括了一个离主数据中心足够远的支持在灾难发生时恢复的热站，热站的位置与主设备的距离应该大于500米，热站通常使用在低恢复时间目标（但是没有冗余站点快）的关键应用系统上，磁盘空间不充足非常危险。对于容许有较长恢复期的高回复时间目标的敏感系统在可接受的成本上可以通过人工方式执行恢复，对于这样的系统冷站（不提供组件）提供了成本效益最佳的解决方案。虽然一个暖站（可以进行简单操作）可以提供较好地解决方案，但它不是更适当的，因为与冷站相比更昂贵。热、冷、暖
Learning-Note:记录学习笔记
03-09
个人学习笔记整理追踪 如果你想就这些文章进行交流和讨论，欢迎在问题中评。 也欢迎大家入群交流，我的微信：515618367，请备注：姓名+公司+ Github。...大数据生态学习笔记 2020-01-12 进行中 Redis学习笔
自动化运维工具ansible学习笔记
08-29
自动化运维工具Ansible学习笔记 Ansible是一个简单的自动化运维管理工具，可以用来自动化部署应用、配置、编排task（持续交付、无宕机更新等）。Ansible基于Pythonparamiko开发，分布式，无需客户端，轻量级，配置...
2021-01-29 大数据课程笔记 day9
qq_44745905的博客
01-29 737
@R星校长 hadoop 第一天 Hadoop一共六天课程： 分布式存储 两天 MapReduce计算 两天 案例 两天 第一天内容安排 1T文件操作（训练） hadoop起源（了解） HDFS架构（重点） 数据块副本放置策略（重点） HDFS的权限（了解） hadoop的安全模式（理解） HDFS写文件流程（重点） HDFS读文件流程（重点） 伪分布式搭建（熟练） 热身1T文件操作的思考： 分治思想 单机处理大数据的问题 集群分布式处理大数据的辩证 分治思想引入案例 十万个元素（数字或单词.
【大数据入门笔记系列】第五节 SpringBoot集成hadoop开发环境（复杂版的WordCount）
热门推荐
Jack_Roy的博客
02-17 1万+
【大数据入门笔记系列】第五节 SpringBoot集成hadoop开发环境（复杂版的WordCount）前言环境清单创建SpringBoot项目创建包创建yml编写代码 前言 本来是想直接扒一扒MapReduce的工作原理，但是觉得只是图解或者文字描述，没有Demo的运行体验总是无趣的，一遍走下来也没有什么成就感，因此还是要撸一撸代码的。 那么谈到MapReduce的工作原理，我们的Demo首选...
Flink升级程序和版本
chanyue123的博客
11-15 262
讲解如何升级flink程序和flink框架版本
大数据应用开发——实时数据处理（二）
谁呛我名字的博客
11-14 208
大数据应用开发——实时数据采集大数据应用开发——实时数据处理Flink完成Kafka中的数据消费，将数据分发至Kafka的dwd层中hadoop，zookeeper，kafka，flink，hbase要开启目录并在HBase中进行备份。
《大数据中的高级 SQL 技巧技》
最新发布
weixin_47266126的博客
11-18 278
本文将介绍大数据中的高级 SQL 技巧，包括窗口函数、CTE（Common Table Expressions）、子查询、连接查询、聚合函数、数据分区等，帮助读者更好地处理大数据。本文介绍了大数据中的高级 SQL 技巧，包括窗口函数、CTE、子查询、连接查询、聚合函数、数据分区等。数据分区可以提高查询性能、管理数据的存储和备份、实现数据的并行处理等。连接查询是一种将两个或多个表中的数据按照一定的条件进行连接的查询方式。CTE 可以将复杂的查询分解为多个简单的查询，提高查询的可读性和可维护性。
【大数据学习 | flume】flume之常见的source组件
2301_80912559的博客
11-16 724
监控/root/spool 目录，把文件cp到目录下，flume就开始归集，归集完，把文件重命名为xxx.COMPLETED。用来接收http协议通过get或者post请求发送过来的数据，一般get用于测试，常用的是接收post请求发送过来的数据。a1.sources.r1.ignorePattern = ^(.)*\.tmp$ # 跳过.tmp结尾的文件。，即只要应用程序向日志(文件)里面写数据，source组件就可以获取到日志(文件)中最新的内容。，指定正则格式的文件的内容，作为它的数据源，并支持。
Flink监控checkpoint
chanyue123的博客
11-18 494
本文讲解 flink checkpoint页面的详细信息
如何保证RabbitMQ的可靠性传输
m0_74312445的博客
11-13 1443
默认情况下，消费端取回消息后，默认会自动返回ACK确认消息，所以在前面的测试中消息被消费端消费之后，RabbitMQ得到ACK确认信息就会删除消息。但实际开发中，消费端根据消息队列投递的消息执行对应的业务，未必都能执行成功，如果希望能够多次重试，那么默认设定就不满足要求了。消费者异常，消息还没到消费者，比如说消费者宕机，消费逻辑有问题。生产者端发送消息之后，回调confirm()方法。，因为原交换机转入备份交换机时并不会指定路由键。代码或者配置层错误，导致路由是失败。队列也是有一些特性：长度，有效期。
虚拟机中安装与配置Centos的大数据学习笔记
"这是一份关于大数据学习的个人笔记，主要涵盖了虚拟机的安装和配置，特别是使用VMware安装Centos虚拟机的步骤，以及后续的虚拟机IP地址、主机映射和主机名的设置。" 这篇笔记首先介绍了如何安装虚拟机。在这一部分...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值