![](https://img-blog.csdnimg.cn/dd0c7ad7512d40c3bdfb9392b4e195a7.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
大数据开发
文章平均质量分 76
这里有大数据开发的基础知识,也有进入常见面试题,还有开发过程中的总结与归纳,让我们一起在数据的海洋翱翔!
Z_凌云
用心的产品让生活更美好!
展开
-
DBeaver连接MySQL提示“Public Key Retrieval is not allowed”的解决办法
2.2 在“连接设置”中选择“驱动属性”,将“allowPublicKeyRetrieval”值改为“TRUE”,点击确定,再次连接就可以连接成功了。一段时间没使用DBeaver,再次打开DBeaver连接MySQL提示“Public Key Retrieval is not allowed”。Public Key Retrieval is not allowed:不允许进行公钥检索。2.1 右键连接失败的数据连接,点击“编辑连接”;原创 2023-04-22 14:47:36 · 2972 阅读 · 1 评论 -
Linux常见实用操作汇总(带示例版)
linux命令是对Linux系统进行管理的命令。对于Linux系统来说,无论是中央处理器、内存、磁盘驱动器、键盘、鼠标,还是用户等都是文件,Linux系统管理的命令是它正常运行的核心,与之前的DOS命令类似。linux命令在系统中有两种类型:内置Shell命令和Linux命令。原创 2023-04-18 21:26:06 · 821 阅读 · 0 评论 -
快速了解数据仓库建模
数据仓库,英文名称为Data Warehouse,可简写为DW或DWH。数据仓库,是为企业所有级别的决策制定过程,提供所有类型数据支持的战略集合。它是单个数据存储,出于分析性报告和决策支持目的而创建。 为需要业务智能的企业,提供指导业务流程改进、监视时间、成本、质量以及控制。原创 2023-04-18 21:21:15 · 614 阅读 · 0 评论 -
大数据开发必备面试题Flume篇合集
Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。原创 2023-04-18 20:57:25 · 568 阅读 · 0 评论 -
Hadoop平台三台虚拟机完成防火墙、SElinux和时间同步等系统设置
集群化软件之间需要通过端口互相通讯,为了避免出现网络不通的问题,我们可以简单的在集群内部关闭防火墙。每台机器都要执行。原创 2023-04-18 15:05:24 · 308 阅读 · 0 评论 -
数据仓库的概念及与数据库等对比
**数据仓库是信息(对其进行分析可做出更明智的决策)的中央存储库**。通常,数据定期从事务系统、关系数据库和其他来源流入数据仓库。业务分析师、数据工程师、数据科学家和决策者通过商业智能 (BI) 工具、SQL 客户端和其他分析应用程序访问数据。原创 2023-04-16 17:26:43 · 459 阅读 · 0 评论 -
大数据开发必备面试题Kafka篇合集
Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者在网站中的所有动作流数据。原创 2023-04-14 16:09:45 · 469 阅读 · 0 评论 -
大数据开发必备面试题Spark篇合集
Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架,Spark,拥有Hadoop MapReduce所具有的优点;但不同于MapReduce的是--Job中间输出结果可以保存在内存中,从而不再需要读写HDFS,因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。原创 2023-04-11 20:46:02 · 629 阅读 · 0 评论 -
大数据开发必备面试题Spark篇02
Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架,Spark,拥有Hadoop MapReduce所具有的优点;但不同于MapReduce的是--Job中间输出结果可以保存在内存中,从而不再需要读写HDFS,因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。原创 2023-04-11 20:37:41 · 461 阅读 · 0 评论 -
大数据开发必备面试题Spark篇01
Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架,Spark,拥有Hadoop MapReduce所具有的优点;但不同于MapReduce的是--Job中间输出结果可以保存在内存中,从而不再需要读写HDFS,因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。原创 2023-04-09 10:06:27 · 466 阅读 · 0 评论 -
大数据开发必备面试题Hive篇
Hive是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具,可以用来进行数据提取转化加载(ETL),这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。Hive 定义了简单的类 SQL 查询语言,称为 HQL,它允许熟悉 SQL 的用户查询数据。同时,这个语言也允许熟悉 MapReduce 开发者的开发自定义的 mapper 和 reducer 来处理内建的 mapper 和 reducer 无法完成的复杂的分析工作。原创 2023-04-08 15:23:26 · 758 阅读 · 0 评论 -
大数据开发必备面试题Hadoop篇
Hadoop 面试中主要有三部分内容:分布式存储(HDFS)、分布式计算框架(MapReduce)和资源调度框架(YARN)。原创 2023-04-07 16:02:17 · 607 阅读 · 0 评论 -
2023Java高频必背面试题Java 虚拟机篇合集
新建⾃定义类继承⾃java.lang.ClassLoader,重写findClass、loadClass、defineClass⽅法。原创 2023-04-07 09:41:01 · 355 阅读 · 0 评论 -
2023Java高频必背并发编程面试题02
CAS 算法是,如果当前有两个线程,⼀个线程将变量值从 A 改为 B ,再由 B 改回为 A,当前线程开始执⾏ CAS 算法时,就很容易认为值没有变化,误认为读取数据到执⾏ CAS 算法的期间,没有线程修改过数据。juc 包提供了⼀个 AtomicStampedReference,即,解决 ABA 问题。原创 2023-04-06 15:40:58 · 347 阅读 · 0 评论 -
2023Java高频必背并发编程面试题合集
线程状态有 NEW、RUNNABLE、BLOCK、WAITING、TIMED_WAITING、THERMINATED。原创 2023-04-06 15:41:53 · 665 阅读 · 0 评论 -
2023Java高频必背并发编程面试题01
Java内存模型定义了程序中各种变量的访问规则:(1)所有变量都存储在主存,每个线程都有⾃⼰的⼯作内存;(2)⼯作内存中保存了被该线程使⽤的变量的主存副本,线程对变量的所有操作都必须在⼯作空间进⾏,不能直接读写主内存数据;(3)操作完成后,线程的⼯作内存通过缓存⼀致性协议将操作完的数据刷回主存。原创 2023-04-06 15:05:49 · 644 阅读 · 0 评论 -
Linux系统中进行JDK环境的部署
JDK:Java Development Kit,是用于Java语言开发的环境。部署JDK不需要懂得Java语言,只需要掌握Linux相关命令即可。原创 2023-04-05 20:40:37 · 1055 阅读 · 0 评论 -
免费且好用的ssh工具FinalShell的下载与安装
云端同步,免费海外服务器远程桌面加速,ssh加速,本地化命令输入框,支持自动补全,命令历史,自定义命令参数。原创 2023-04-03 21:57:53 · 1784 阅读 · 0 评论 -
FinalShell连接VMware的Linux步骤
路径:C:\Windows\System32\drivers\etc。1.2 Windows中hosts文件已修改;1.1 VMware中Linux已配置好;三、点击图示小标,选择“SSH连接”;五、右键连接主机,选择“连接”;七、连接成功,界面功能如图所示。四、按如下顺序填写信息;六、点击“接受并保存”;二、点开下图标注位置;原创 2023-04-03 21:54:23 · 986 阅读 · 0 评论 -
MySQL入门必备知识与语法总结(带示例收藏版)
SQL全称: Structured Query Language,结构化查询语言,用于访问和处理数据库的标准的计算机语言。SQL语言1974年由Boyce和Chamberlin提出,并首先在IBM公司研制的关系数据库系统SystemR上实现。经过多年发展,SQL以成为数据库领域统一的数据操作标准语言,可以说几乎市面上所有的数据库系统都支持使用SQL语言来操作。简单来说,SQL语言就是操作数据库的专用工具。原创 2023-03-30 16:55:29 · 471 阅读 · 0 评论 -
MySQL图形化工具DBeaver下载安装与连接MySQL步骤详解
1.1 进入MySQL“win+r”输入“cmd”,点击确认,打开命令提示符,输入命令“mysql -uroot -p”后,输入密码;1.2 进行简单操作1.2.1 查看有哪些数据库:show databases;1.2.2 使用某个数据库:use world;1.2.3 查看数据库内有哪些表:show tables;1.2.4 退出:exit1.3 命令行环境下缺点。原创 2023-03-29 15:20:55 · 3628 阅读 · 0 评论 -
MySQL的介绍与安装步骤详解
MySQL 是一个,由瑞典 MySQL AB 公司开发,目前属于 Oracle 公司。MySQL 是一种关联数据库管理系统,关联数据库将数据保存在不同的表中,而不是将所有数据放在一个大仓库内,这样就增加了速度并提高了灵活性。MySQL 是开源的,目前隶属于 Oracle 旗下产品。MySQL 支持大型的数据库。可以处理拥有上千万条记录的大型数据库。MySQL 使用标准的 SQL 数据语言形式。MySQL 可以运行于多个系统上,并且支持多种语言。原创 2023-03-28 21:32:11 · 435 阅读 · 0 评论