![](https://img-blog.csdnimg.cn/20210416105430649.jpg?x-oss-process=image/resize,m_fixed,h_224,w_224)
大数据
文章平均质量分 59
大数据(big data),IT行业术语,是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
(YSY_YSY)
有道无术,术尚可求;有术无道,止于术。
展开
-
大数据之就业岗位
1.负责分析大数据平台各个组件运行状态,负责大数据平台运行故障的分析,定位和解决,并根据业务场景进行定制优化2.负责业务集群日常问题的解答、汇总整理、跟踪解决等;3.参与大数据集群自动化运维工具的设计与实施;4.参与新技术、新组件的技术探索、测试和应用。......原创 2022-07-19 11:44:46 · 745 阅读 · 0 评论 -
大数据之YARN架构概述
1)ResourceManager (RM):整个集群资源(内存,CPU等)的老大2)NodeManager (NM) : 单个节点服务器资源老大3)ApplicationMaster (AM):单个任务运行的老大4)Container:容器,相当于一台独立的服务器,里面封装了任务运行所需要的资源,如内存,cpu,磁盘,网络等。说明1:客户端可以有多个说明2:集群上可以运行多个ApplicationMaster说明3:每个NodeManager上可以有多个Container小知识:一个Con原创 2022-07-06 19:25:20 · 329 阅读 · 0 评论 -
Exception in thread “main“ java.lang.NoSuchMethodError: org.apache.spark.internal.config.package$.SH
项目场景:Spark中DataFrame的导包问题问题描述:Exception in thread "main" java.lang.NoSuchMethodError: org.apache.spark.internal.config.package$.SHUFFLE_SPILL_NUM_ELEMENTS_FORCE_SPILL_THRESHOLD()Lorg/apache/spark/internal/config/ConfigEntry; at org.apache.spark.sql.i原创 2021-11-17 11:16:58 · 2589 阅读 · 5 评论 -
Scala基础知识
Scala基础知识Scala简介Scala安装与配置Scala简介Scala是一门多范式的编程语言,设计初衷是要集成面向对象编程和函数编程的各种特性。Scala运行在Java虚拟机上,并兼容现有的Java程序。Scala源代码被编译成Java字节码,所以它可以运行于JVM之上,并可以调用现有的Java类库。函数编程范式更适合用于Map/Reduce和大数据模型,它摒弃了数据与状态的计算模型,着眼于函数本身,而非执行的过程的数据和状态的处理。函数范式逻辑清晰、简单,非常适合用于处理基于不变数据的批原创 2021-06-15 18:19:51 · 235 阅读 · 0 评论 -
hadoop介绍
hadoop介绍1.hadoop的来源2.hadoop的角色分工3.Hadoop的安装模式1.hadoop的来源Google 搜索引擎的 2003年海量数据的存储 GFS google filesystem海量数据计算 MapReduce 编程框架 分布式计算快速查询的机制 bigtableDoug Cutting Lucence 搜索引擎 Nuth 爬虫 海量数据存储 海量数据计算 快速查询 java 语言 实现了google的三篇论文 G原创 2021-06-14 15:25:37 · 184 阅读 · 0 评论 -
大数据介绍
大数据介绍1. 大数据的概念2. 数据分类3. 大数据特点4. 大数据的价值5. 数据来源6. 大数据中的几个核心概念:1. 大数据的概念大数据的概念: 数据的观察 实验的结果2. 数据分类1. 结构化数据 二维表2. 半结构化数据 html,xml,js,css,property3. 非结构化数据 视频,音频,图片3. 大数据特点 海量数据 特点:5v 1. 数据量大 Byte KB MB GB TB PB EB ZB YB BB NB DB 2. 数据种类多原创 2021-06-13 22:13:09 · 239 阅读 · 3 评论 -
Linux 忘记密码解决方法——RedHat
Linux 忘记密码解决方法——RedHat前言一、第一步二、第二步三、第三步四、第四步五、第五步六、第六步七、第七步八、第八步九、第九步十、第十步十一、第十一步总结前言Linux—RedHat 忘记密码解决方法提示:以下是本篇文章正文内容,下面案例可供参考一、第一步将忘记密码的rhel7.4版本的虚拟机打开提示:可以点击描述下面的方框,对自己的用户及密码经行描述,防止忘记密码二、第二步等待3秒左右出现这个画面时,用方向键,将光标移动到第二栏处,接着按“e”键三、第三步接在在l原创 2021-04-17 00:05:08 · 3328 阅读 · 3 评论