大数据技术刷题笔记1：

最新推荐文章于 2024-09-03 17:17:12 发布
最新推荐文章于 2024-09-03 17:17:12 发布
阅读量836 收藏 1
点赞数
分类专栏： 数据挖掘 文章标签： 大数据 hadoop 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46838716/article/details/129634190
版权
本文强调了在就业市场中，学习大数据技术的重要性，特别是SQL和Oracle数据库对于开发和测试岗位的必要性。文章提到了数据挖掘的基础知识，适合网络警察公务员考试的需求，并概述了Hadoop生态系统中的MapReduce、HDFS和Hive等组件的功能和局限性。此外，还讨论了大数据处理的优化、实时流处理和数据治理的相关概念。
摘要由CSDN通过智能技术生成

大数据技术刷题笔记1：

2022找工作是学历、能力和运气的超强结合体，遇到寒冬，大厂不招人，可能很多算法学生都得去找开发，测开
测开的话，你就得学数据库，sql，oracle，尤其sql要学，当然，像很多金融企业、安全机构啥的，他们必须要用oracle数据库
这oracle比sql安全，强大多了，所以你需要学习，最重要的，你要是考网络警察公务员，这玩意你不会就别去报名了，耽误时间！
与此同时，既然要考网警之数据分析应用岗，那必然要考数据挖掘基础知识，今天开始咱们就对数据挖掘方面的东西好生讲讲

文章目录

不属于大数据技术的关键技术

在这里插入图片描述

不属于大数据治理范畴的是

在这里插入图片描述
你共享与否，跟大数据治理有啥关系呢

不属于大数据存储和计算一体数据库管理系统的是

在这里插入图片描述

kafka默认接受的最大消息是

在这里插入图片描述

Hbase中删除表格的命令是

在这里插入图片描述

管理MapReduce作业进程的是

在这里插入图片描述

启动HDFS系统的命令，start最起码啊

在这里插入图片描述

与zookeeper类似的框架是

在这里插入图片描述
ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，
是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。
它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。

与HDFS类似的框架是GFS

在这里插入图片描述
HDFS（Hadoop Distributed File System ）Hadoop 分布式文件系统。
是根据 google 发 表的论文翻版的。论文为 GFS（Google File System）Google 文件系统。

俩题目都是一个样

MapReduce计算框架不擅长处理实时分析问题

它是离线大数据计算
在这里插入图片描述

1.MapReduce的优点

在大数据和人工智能时代，MapReduce如此受欢迎主要因为它具有以下几个优点。

**● MapReduce 易于编程。**通过简单接口完成分布式程序的编写，可运行在众多服务器组成的集群上。即编写一个分布式程序与编写一个简单的串行程序是一模一样的。也正是易于使用的特点使得 MapReduce 编程变得越来越流行。

● 良好的扩展性。出现资源不足的情况，可以直接增加机器数量来扩展集群的计算能力这与HDFS通过增加机器扩展集群存储能力的道理是一样的。

**● 高容错性。**高容错性提现在MapReduce能使程序能够部署在廉价商用服务器上。如果其中一台机器故障，自动切换到其他节点，而且这个过程不需要人工参与，完全在 Hadoop 内部完成。

● MapReduce 适合PB级以上海量数据的离线处理。

2.MapReduce的缺点

MapReduce 虽然具有很多优势，但也有不适用的场景，即有些场景下并不适合 MapReduce 来处理，主要表现在以下几个方面。

不适合实时计算。 MapReduce 无法毫秒级内返回结果。MapReduct 并不适合数据的在线处理。
不适合进行流式计算。 MapReduce设计之初 输入数据集是静态的，不适合输入动态数据，不适合即流式计算。
不适合 DAG（有向无环图）计算。程序之间的依赖性，MapReduce的处理方法是将使用后每个 MapReduce 作业的输出结果写入磁盘，这样会造成大量的磁盘 IO，导致性能非常低下。

尽管 Hadoop MapReduce 还有很多局限性，但也是目前最为成功、最易于使用的大数据并行处理技术。

ok

窄依赖，宽依赖

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

Hive适合处理非实时的在线数据分析，和MapReduce类似

在这里插入图片描述

一、优点

1.操作接口采用类SQL语法，提高快速开发的能力（简单、容易上手）

2.避免了去写MapReduce，减少开发人员的学习成本

3.Hive擅长处理大数据，对小数据处理没有优势，因为Hive的延迟比较高

二、缺点

1.Hive的HQL表达能力有限，迭代算法无法表达

2.不擅长数据挖掘方面，由于MapReduce数据处理流程的限制，效率更高的算法却无法实现

3.Hive自动生成的MapReduce作业，通常情况下不够智能化

4.Hive调优比较困难，粒度较粗

5.Hive不擅长处理实时性高的场合

关于MapReduce说法正确的是，离线计算

在这里插入图片描述
别记混了

关于HDFS说法正确的是

在这里插入图片描述

关于Hive说法正确的是

在这里插入图片描述

关于Hbase说法正确的是

在这里插入图片描述

大数据引擎的性能优化手段，包含下面

在这里插入图片描述

使用Hbase的优势在于

在这里插入图片描述

实时流式计算特征包含

在这里插入图片描述

大数据治理标准涵盖的方面包括

在这里插入图片描述

MapReduce和Hbase之间并没有关系

在这里插入图片描述

处理大数据常用的排序有

在这里插入图片描述

kafka有什么优势

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

适合HDFS的场景有

在这里插入图片描述

下列哪些方法可以将非结构化的文本数据结构化

在这里插入图片描述
在这里插入图片描述

pandas的三维数据分析工具为Panel

在这里插入图片描述

SEMMA是数据挖掘项目方法论的名称，而且数据分析没有规定数据分析要求几步

在这里插入图片描述

同样的数据分析方法论适用于所有的分析领域？？？？

在这里插入图片描述

哪类分析对数据的时效性要求高？

在这里插入图片描述

数据质量检验的方式错误的是

在这里插入图片描述

大数据团队对外交付的数据不包含

在这里插入图片描述

数据分析的第一个步骤是：明确分析目的

在这里插入图片描述

数据分析的最高层次是优化？？？

在这里插入图片描述

np.var是求方差，std是标准差

在这里插入图片描述

一手数据和二手数据，说法错误的是

在这里插入图片描述
一手确实成本高

RFM模型的R代表最近一次消费

在这里插入图片描述
一个客户的近期购买行为、
购买的总体频率
以及花了多少钱
RFM
recent
frequency
money
在这里插入图片描述

在这里插入图片描述

数据预处理特征选择的目标有很多

在这里插入图片描述

数据归一化，不是数据转换

在这里插入图片描述

数据规范化的方法有

在这里插入图片描述

商业报告自然也是要建立在数据模型上

在这里插入图片描述

并行度方面，transformer模型效率是最高

在这里插入图片描述
从复杂度上来说，单个Transformer Block计算量大于单层RNN和CNN。
**但是结合可并行，实际运行效率：Transformer Base最快，**CNN次之，再次Transformer Big，最慢的是RNN。RNN比前两者慢了3倍到几十倍之间。

LSTM单元有几个输入？

在这里插入图片描述

attention，计算权重，当前词越近，权重越大

在这里插入图片描述

单个感知机相当于线性回归

在这里插入图片描述

NLP应用实践不包含句法分析？

在这里插入图片描述

词法分析不是NLP的核心技术吗？？？？

在这里插入图片描述

ANN通过组合多个非线性模型实现非线性划分

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
2017 年，谷歌在《Attention is All You Need》一文中提出了 Transformer。自

BERT的fine-ting不解决下列哪个任务

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

总结

提示：重要经验：

1）
2）学好oracle，即使经济寒冬，整个测开offer绝对不是问题！同时也是你考公网络警察的必经之路。
3）笔试求AC，可以不考虑空间复杂度，但是面试既要考虑时间复杂度最优，也要考虑空间复杂度最优。

冰露可乐
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
大数据开发 --- sql刷题篇
d_eng_的博客
02-21 834
⏳环境：window10、CentOs7、VMware15.5📃专栏：刷题篇（力扣sql题）
出一套高端大数据开发面试题（刷起来！！！）
fenghuo9527的博客
07-27 1万+
一千个读者眼中有一千个哈姆雷特，一千名 大数据 程序员心目中就有一千套 大数据面试题。本文就是笔者认为可以用来面试大数据 程序员的面试题。 这套题的题目跟公司和业务都没有关系，而且也并不代表笔者本人可以把这些题回答得非常好，笔者只是将一部分觉得比较好的题从收集的面试题里面抽出来了而已。 收集的面试题有以下三个来源： 笔者在准备面试的过程中搜集并整理过的面试题。 笔者在准备面试的过程中自己思...
【大数据开发阶段三】算法刷题【持续更新】
skyman30的博客
03-06 257
链接：https://leetcode.cn/problems/plus-one。给定一个由 整数 组成的 非空 数组所表示的非负整数，在该数的基础上加一。最高位数字存放在数组的首位， 数组中每个元素只存储单个数字。缺点：当数组长度很长时，所算出来的数值精度会丢失，未通过测试。将数组转换为数字，并对这个数字加一，然后将数字转换为数组。你可以假设除了整数 0 之外，这个整数不会以零开头。输入：digits = [1,2,3]解释：输入数组表示数字 123。输出：[1,2,4]
大数据刷题必备基础知识整理
yrsg666的博客
08-27 1129
归并排序：https://www.cnblogs.com/hapjin/p/5518921.html hashmap排序的几个方法：https://blog.csdn.net/jackyrongvip/article/details/89370396 堆排序：https://www.cnblogs.com/Java3y/p/8639937.html ...
【Day15】算法刷题（解题思路+详细注释）[面试题 17.09. 第 k 个数 ][424. 替换后的最长重复字符 ][438. 找到字符串中所有字母异位词 ]
ebb29bbe的博客
09-28 326
算法刷题第十五天 [面试题 17.09. 第 k 个数 ][424. 替换后的最长重复字符 ][438. 找到字符串中所有字母异位词 ]
数据研发笔试Leetcode刷题笔记12：剪绳子
weixin_41961559的博客
04-22 208
文章目录1 题目描述2 解题思路3 代码实现（Python3）4 复杂度分析 1 题目描述 来源：力扣（LeetCode） 给你一根长度为 n 的绳子，请把绳子剪成整数长度的 m 段（m、n都是整数，n>1并且m>1），每段绳子的长度记为 k[0],k[1]…k[m] 。请问 k[0]×k[1]×…×k[m] 可能的最大乘积是多少？例如，当绳子的长度是8时，我们把它剪成长度分别为2、3...
谷歌师兄的leetcode刷题笔记-hectorsharp:Cassandra的高级.NET客户端
06-30
提到的“leetcode刷题笔记”意味着笔记包含了解决LeetCode上的各种算法问题的经验、技巧和解决方案，这对于准备技术面试和提高编程能力非常有帮助。 标签“系统开源”提示我们，这份资料可能是开源的，这意味着它的...
2024年大数据最全Python基础（一）：Python入门介绍，大数据开发面试刷题
2401_84573219的博客
05-05 606
Python是时下最流⾏、最⽕爆的编程语⾔之⼀。它是一种在 AI 开发中受到关注的编程语言，并且由于有专门用于机器学习的库，因此它已被用作 AI 开发的标准语言。此外由于它简单易懂，因此经常用于编程教育。除了 AI 开发之外，它还用于 Web 应用程序和游戏开发等各个领域。流行的具体原因如下：1、简单、易学，适应⼈群⼴泛2、免费、开源3.、应⽤领域⼴泛Google开源机器学习框架：TensorFlow开源社区主推学习框架：Scikit-learn百度开源深度学习框架：Paddle二、
大数据技术——Hadoop（学习笔记1）
RomanticRick的博客
03-25 2261
大数据技术——Hadoop Hadoop概述 Hadoop 运行环境搭建 1.Hadoop概述 1.1Hodoop是什么？ 1）Hadoop 是一个由Apache基金会所开发的分布式系统基础框架。 2）主要功能是处理海量数据的存储和海量数据的分析计算问题。 3）在广义上来说，Hadoop并不是单指一个技术和工具，它代表一个更广泛的概念——Hadoop生态圈。 1.2Hadoop发展历史（了解） 创始人：Doug Cutting Hadoop的大数据思想之源是来自Google在.
谷歌师兄的leetcode刷题笔记-Data-Partial-Google:过滤“部分响应”的数据结构，谷歌风格
06-30
这个“谷歌师兄的LeetCode刷题笔记”特别关注了“Data-Partial-Google”主题，这可能涉及到在处理大量数据时，如何有效地过滤出“部分响应”的数据结构和策略，尤其是符合谷歌编程风格的方法。 首先，我们来理解...
大数据面试经典题
09-10
大数据面试经典考题2018，提高对知识点的复习。上传的版本为最新版，整理过的。
35套选择题目：大数据架构、高性能、数据治理题目.docx
03-17
35套选择题目：大数据架构、高性能、数据治理题目.docx，复习基本知识点必备
推荐一款very good的刷题网站
nihaotaiman的博客
04-22 572
大家好，我是阿Q。 今天给大家上点干货，推荐一款之前我一直在用的刷题网站——牛客网的在线题库。 很多小伙伴们都知道牛客有丰富的「面经」、「笔经」、「内推资源」，但是可能不知道其实在牛客上也有丰富的「在线题库」，例如各种编程语言、算法、SQL、以及各个公司的笔试真题等等，并且无论是题目的内容，还是讨论区的氛围，都不得不说做的非常优秀。 大家在备战春招或者秋招期间，如果想要通过多刷题保持手感的话，不妨来看一下！ Java篇 在Java在线编程的语法模块下，包含了基础语法、面向对象、常用API、集合类以
Hive 基础50题 【1-10题】
qq_34125999的博客
03-17 498
【代码】Hive 基础50题 【1-10题】
大数据学习之Hive——07Hive经典练习题
bingque6535的博客
05-22 577
1. 求单月访问次数和总访问次数 1. 数据说明 字段说明 用户名，月份，访问次数 数据集A,2015-01,5 A,2015-01,15 B,2015-01,5 A,2015-01,8 B,2015-01,25 A,2015-01,5 A,2015-02,4 A,2015-02,6 B,2015-02,10 B,2015-02,5 A,2015-03,16 A,2015-03,22 B,2015-03,23 B,2015-03,10 B,2015-03,1 2. 数据准备 建表 create
大数据--hive--经典SQL题目（百度面试SQL题目）
数据挖掘+大数据研发+算法学习
09-01 1366
一：题目一：第n多和连续三天思维 有一个日志数据解析得到的table 有三个字段： timestamp username user_action 1）统计近10天每日行为数量 2）行为第三多的用户及其数量 3）连续3天有行为的用户？ 解答： 1.1统计近10天每日行为数量 1.1.1 答案： -- 统计近10天每日行为数量 select pt_dt, count(1) from ( select to_date(timest...
HiveSQL初级题目
W_chuanqi的博客
06-10 2237
两张表：score_info，student_info。
大数据期末复习题目汇总
热门推荐
渴望飞的鱼的博客
05-23 4万+
大数据期末复习题目汇总
Maxwell 学习总结
最新发布
lucky_love816的博客
09-03 471
目录下，如果当前尚未对库做任何修改，则 binlog 文件大小一定为 154 字节，每次重启 MySQL 都会生成新的 binlog 文件，mysql-bin.index 文件内记录了当前使用的 binlog 文件名称。此时在数据库中修改的数据，会被 Maxwell 监听到并发送到 Kafka Broker，Kafka 消费者会订阅到所有 Maxwell 发送的内容。可以看到，即便是一条 sql，Maxwell 也将会返回多条 json，每条 json 对应一条记录。，同时多条 json 的。
labuladong刷题笔记精华：数据结构与算法详解
"刷题笔记1"是一份针对IT专业人员的在线学习资料，特别聚焦于数据结构和算法的相关题型，涵盖了多种重要概念和技术。该笔记分为两大部分：基础数据结构和进阶数据结构。 在基础部分，学习者将接触到各类经典问题，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

冰露可乐

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值