- 博客(208)
- 资源 (41)
- 收藏
- 关注
原创 面向对象程序设计——第3章 案例
用户通过键盘输入一个整数值,判断该数值是否为“水仙花数”。“水仙花数”是指一个3位数,其各位数的三次方和等于该数本身。例如:水仙花例如: 153是一个“水仙花数”,因为本案例程序运行的结果如图本案例的实现过程应满足以下要求。
2024-08-06 16:57:35
1099
原创 面向对象程序设计——单元3 流程控制与数组
程序设计的流程控制主要包括3种结构:顺序结构、选择结构和循环结构。其中,选择结构根据给定条件的判断结果来控制程序的流程,而循环结构可以减少重复书写代码的工作量,用来描述重复执行某段算法的问题,这是程序设计中最能发挥计算机特长的程序结构。优良的程序控制结构需要和合适的数据组织形式搭配使用,才能提升程序的运行效能,数组就是一种最常用的数据组织结构。本单元将介绍Java灵活、高效的选择结构、循环结构以及Java独特的数组结构。
2024-08-06 11:07:50
523
原创 面向对象程序设计——单元2 Java语言基础
构成程序的最基本元素包括变量、常量和语句等。变量是指程序运行过程中其值可以被改变的量,比如表示不同班级学生平均成绩的变量;常量则是指程序运过程中,值不会发生变化的量,比如最常见的圆周率。无论是变量还是常量,在使用之前都要先为它们指定一个名字。而语句则是组成一段程序的最基本单元。本单元主要介绍 Java 的基本语法,包括标识符、保留字、变量、常量、数据类型、运算符和表达式等。
2024-07-05 16:35:18
615
原创 面向对象程序设计——Java语言基础
构成程序的最基本元素包括变量、常量和语句等。变量是指程序运行过程中其值可以被改变的量,比如表示不同班级学生平均成绩的变量;常量则是指程序运过程中,值不会发生变化的量,比如最常见的圆周率。无论是变量还是常量,在使用之前都要先为它们指定一个名字。而语句则是组成一段程序的最基本单元。
2024-06-25 13:57:58
840
原创 Ubuntu Linux操作系统——项目7 Shell编程基础
在Linux操作系统环境中,Shell不仅是常用的命令解释程序,还是高级编程语言。 用户可以通过编写Shell程序来完成大量自动化的任务。 Shell可以互动地解释和执行用户输入的命令,也可以用来进行程序设计,它提供了定义变量和参数的手段以及丰富的程序控制结构。
2024-06-21 14:52:44
1016
原创 Ubuntu Linux操作系统——项目6 软件包安装配置与管理
在系统的使用和维护过程中,安装和卸载软件是必须掌握的技能。 Linux软件的安装需要考虑软件的依赖性问题,目前在Linux系统上安装软件已经变得与Windows系统上一样便捷。 可供Linux安装的开源软件非常丰富,Linux提供多种软件安装方式,从最原始的源码编译到最高级的在线自动安装和更新。 在简单介绍Linux软件包管理知识的基础上,重点讲解Ubuntu系统的软件安装方式和方法,除了传统的Deb软件包安装,还讲解APT高级软件包工具以及Snap软件包安装,这种方式提供更好的隔离性和安全性
2024-06-14 16:34:49
772
原创 Ubuntu Linux操作系统——项目5 系统高级配置与管理
进程:Linux系统上所有运行的任务都可以称之为一个进程,每个用户任务、每个应用程序或服务也都可以称之为进程,Ubuntu也不例外。对于管理员来说,没有必要关心进程的内部机制,而是要关心进程的控制管理。管理员应经常查看系统运行的进程服务,对于异常和不需要的进程,应及时将其结束,让系统更加稳定地运行。
2024-04-25 10:32:59
890
原创 Ubuntu Linux操作系统——项目4 磁盘配置与管理
对于任何一个通用操作系统而言,磁盘管理与文件管理都是必不可少的功能,因此,Linux操作系统提供了非常强大的磁盘与文件管理功能。Linux操作系统的管理员应掌握配置和管理磁盘的技巧,高效地对磁盘空间进行使用和管理。如果Linux服务器有多个用户经常存取数据,则为了有效维护用户数据的安全性与可靠性,应配置逻辑卷及RAID管理。本章主要讲解了磁盘管理、磁盘挂载与卸载、磁盘管理其他相关命令、配置管理逻辑卷以及RAID管理。
2024-04-20 08:30:00
1386
原创 Ubuntu Linux操作系统——项目3 用户群组与文件目录权限管理
Ubuntu Linux是一个多用户、多任务的操作系统,可以让多个用户同时使用系统。为了保证用户之间的独立性,允许用户保护自己的资源不被非法访问,用户之间可以共享信息和文件,也允许用户分组工作,对不同的用户分配不同的权限,使每个用户都能各自不受干扰地独立工作,因此,作为系统的管理员,掌握系统配置、用户权限设置与管理、文件和目录的权限设置是至关重要的。本章主要讲解了用户账户、组群管理、su和sudo命令的使用以及文件和目录权限管理。
2024-04-19 08:30:00
1543
原创 Ubuntu Linux操作系统——项目2 Linux基本操作命令
Linux操作系统的Shell作为操作系统的外壳,为用户提供使用操作系统的接口。它是命令语言、命令解释程序及程序设计语言的统称。Shell是用户和Linux内核之间的接口程序,如果把Linux内核想象成一个球体的中心,Shell就是围绕内核的外层。当从Shell或其他程序向Linux传递命令时,内核会做出相应的反应。Shell是一个命令语言解释器,它拥有自己内建的Shell命令集,Shell也能被系统中的其他应用程序所调用。用户在提示符下输入的命令都先由Shell解释再传给Linux核心。
2024-04-18 08:30:00
772
原创 搭建Java开发环境
JDK 基本介绍JDK 的全称(Java Development Kit Java 开发工具包)JDK = JRE + java 的开发工具 [java, javac,javadoc,javap 等]JDK 是提供给 Java 开发人员使用的,其中包含了 java 的开发工具,也包括了 JRE。所以安装了 JDK,就不用在单独安装 JRE 了。JRE 基本介绍JRE(Java Runtime Environment Java 运行环境)JRE = JVM + Java 的核心类库[类]
2024-04-17 15:41:23
807
原创 Spark运行架构
Spark Core包含Spark最基础和最核心的功能,当提及Spark运行架构时,就是指Spark Core的运行架构。本节首先介绍Spark的基本概念和架构设计,然后介绍Spark运行基本流程,最后介RDD 的设计与运行原理。
2024-04-12 15:37:52
897
原创 Hadoop分布式计算框架(MapReduce)——案例实践:气象大数据离线分析
数据格式由Year(年)、Month(月)、Day(日)、Hour(时)、Temperature(气温)、Dew(湿度)、Pressure(气压)、Wind dir.(风向)、Wind speed(风速)、Sky Cond.(天气状况)、Rain 1h(每小时降雨量)、Rain 6h(每6小时降雨量)组成。打包成功后,在项目的targer目录下找到编译好的bigdata-1.0-SNAPSHOT.jar包,然后将其上传至/home/hadoop/shell/lib目录下(没有相关目录可手动创建)
2023-12-21 16:46:18
1635
5
原创 Hadoop分布式计算框架(MapReduce)——MapReduce运行机制
它首先为Map任务发出请求,该请求优先级要高于Reduce任务的请求,这是因为所有的Map任务必须在Reduce的排序阶段能够启动前完成,直到有5%的Map任务已经完成时,为Roduce任务的请求才会发出。在Map任务和Reduce任务运行时,子进程和自己的父Application Master通过接口进行通信,默认每隔3s,任务通过这个接口向自己的Application Master报告进度和状态(包括计数器), Application Master会形成一个作业的汇聚视图。
2023-12-21 16:37:12
159
原创 Hadoop分布式计算框架(MapReduce)—— MapReduce的编程模型
从MapReduce自身的命名特点可以看出,MapReduce由Map和Reduce两个部分组成。用户只需实现Mapper和Reducer两个抽象类,编写map和reduce两个函数,即可完成简单的分布式程序的开发。这就是最简单的MapReduce编程模型。
2023-12-21 14:44:12
444
原创 Hadoop分布式计算框架(MapReduce)——初识MapReduce
MapReduce 是一个使用简单的软件框架,基于它写出来的应用程序能够运行在由上千个商用机器组成的大型集群上,并以一种可靠容错式并行处理TB级别的数据集。MapReduce是一个并行程序的计算模型与方法MapReduce是一个并行程序运行的软件框架MapReduce是一个基于集群的高性能并行计算平台。
2023-12-21 14:30:23
181
原创 YARN的调度器
理想情况下,YARN应用发出的资源请求应该立刻给予满足,然而在现实中,资源是有限的。在一个繁忙的集群上,一个应用经常需要等待才能得到所需要的资源。YARN调度器的工作就是根据既定策略为应用分配资源。
2023-09-28 15:06:00
360
原创 YARN的高可用
HA表示高可用,YARN的HA主要指ResourceManager的HA,因为ResourceManager作为主节点存在单点故障,所以要通过HA的方式解决ResourceManager单点故障问题。
2023-09-28 15:03:51
272
原创 YARN的容错性
由于Hadoop致力于通过廉价的商用房服务器提供服务,这样就很容易导致在YARN中运行的各种应用程序出现任务失败或节点宕机,最终导致应用程序不能正常执行的情况。为了更好地满足应用程序的正常运行,YARN通过以下几个方面来保障容错性。
2023-09-28 15:02:40
169
原创 MapReduce ON YARN工作流程
YARN是一个统一的资源调度框架,它可以运行很多种应用程序,如MapReduce、spark、Flink等,接下来以MapReduce为例详细介绍作业在YARN中的工作流程。
2023-09-28 15:01:44
162
原创 YARN架构设计与工作原理
Apache Hadoop另一种资源协调者(YARN)是一种新的Hadoop资源管理器,是一个通用的资源管理系统,可为上层应用提供统一的资源管理和作业调度服务,它的引入为集群在资源利用、资源的统一管理调度和数据共享等方面带来了巨大的好处。
2023-09-28 15:00:37
762
原创 案例实践:Shell定时上传文件至HDFS
公司在线服务器每天都会产生网站运行日志,为了避免单个日志文件过大,日志文件需要每个小时进行回滚,现在要求每小时定时上传日志文件到HDFS集群,后期再使用MapReduce计算框架定时处理日志文件。
2023-09-21 11:48:48
418
原创 HDFS联邦机制
在HDFS联邦机制中,设计了多个相互独立的NameNode(名字节点),这使得HDFS的命名服务能够水平扩展,这些NameNode分别进行各自命名空间和数据块的管理,不需要彼此协调,同时每个NameNode还可以实现HA避免单点故障。每个DataNode(数据节点)要向集群中所有的NameNode注册,并周期性地发送心跳信息和数据块信息,报告自己的状态。
2023-09-21 11:30:42
665
原创 HDFS高可用(HA)
为了整个系统的可靠性,我们通常会在系统中部署两台或多台主节点,多台主节点形成主备的关系,但是某一时刻只有一个主节点能够对外提供服务,当某一时刻检测到对外提供服务的主节点“挂”掉之后,备用主节点能够立刻接替已挂掉的主节点对外提供服务,而用户感觉不到明显的系统中断。这样对用户来说整个系统就更加的可靠和高效。
2023-09-21 11:27:28
1279
原创 1. HDFS架构设计与工作原理
副本技术也叫分布式数据复制技术,是分布式计算的一个重要组成部分。该技术允许数据在多个服务器端共享,而且一个本地服务器可以存取不同物理地点的远程服务器上的数据,也可以使所有的服务器均持有数据的副本。通过副本技术,文件系统具有以下优点:(1)提高系统可靠性系统不可避免地会产生故障和错误,拥有多个副本的文件系统不会导致无法访问的情况,从而提高了系统的可用性。另外,系统可以通过其他完好的副本对发生错误的副本进行修复,从而提高了系统的容错性。(2)负载均衡副本可以对系统的负载量进行扩展。
2023-09-19 11:27:29
313
原创 Scala基础(四)
Scala是一种纯粹的面向对象语言,面向对象语言有两个重要的概念:类和对象。其中,类是对象的抽象,也可以把类理解为模板,对象才是真正的实体。class ClassName(参数列表) extends t {一个Scala源文件中可以有多个类,并且Scala类可以有参数。一般,Scala类名的第一个字母需要大写,如果需要使用几个单词构成一个类的名称,那么每个单词的第一个字母都要大写。与Java等其他语言不同的是,Scala中的类不定义为public。
2023-04-05 01:00:00
679
2
原创 Scala基础(三)
Scala的列表(List)与数组非常相似,列表的所有元素都具有相同的类型。与数组不同的是,列表是不可变的,即列表的元素不能通过赋值进行更改。定义列表时,需要写明列表元素的数据类型,或者根据列表初值类型自动推断。具有类型T的元素的列表类型可写为List[T]。【例】分别定义不同数据类型的列表。
2023-04-05 00:45:00
702
原创 Scala基础(二)——if判断和for循环
是常见的for循环,多重循环也称为for循环嵌套,是指在两个或多个区间内循环反复,多个循环区间用分号隔开。定义函数count(area:String)统计广州号码段数量,首先使用一个数组存储数据,初始化sum为0,再遍历该数组,判断数组中的元素是否包含参数area,若是则sum加1。retVar是变量名,for关键字后的括号用于指明变量和条件,而yield会将每一次循环得到的返回值保存在一个集合中,循环结束后将返回该集合,并赋值给变量retVar。Scala中的if判断根据复杂程度可分为if语句、if…
2023-04-05 00:30:00
1162
原创 Scala基础(一)——常用数据类型
在Scala中,使用val关键字定义一个常量,使用var关键字定义一个变量。1.常量 在程序运行过程中值不会发生变化的量为常量或值,常量通过val关键字定义,常量一旦定义就不可更改,即不能对常量进行重新计算或重新赋值。 定义一个常量的语法格式如下。 val关键字后以依次跟着的是常量名、冒号“:”、数据类型、赋值运算符“=”和初始值。 数组是Scala中常用的一种数据结构,数组是一种存储了相同类型元素的固定大小的顺序集合。Scala定义一个数组的语法格式如下。
2023-04-04 16:49:01
851
原创 Scala安装步骤详解
Scala安装步骤详解:1.在网页上运行Scala 2.在Windows系统上安装scala 3.在Linux和macOS系统上安装Scala 4.在软件中安装scala插件 1.下载与安装IDEA 2.scala插件的安装与使用 3.安装完成后测试scala插件
2023-04-04 16:33:41
4519
原创 eclipse如何安装server
在eclipse中想添加配置server的是否,发现Preference目录里并没有Server这个选项,也就是说,我们并没有办法新建服务器。在下拉列表中选择http://download.eclipse.org/releases/mars,,mars是eclipse的版本。选择自己eclipse的版本。Location: http://download.eclipse.org/releases/kepler,之后点击OK。完成后重启eclipse,就可以在preferences里找到server了。
2022-09-07 14:45:40
3468
4
原创 为eclipse添加tomcat插件(eclipse tomcat plugin)
配置后,再按第一个Tomcat按钮(Start Tomcat)即可在eclipse中启动Tomcat,其输出信息会输出到eclipse的console中。打开站点:http://marketplace.eclipse.org/content/eclipse-tomcat-plugin。先点按钮Add...打开Add Repository对话框,再点按钮Archive...定位到你下载的本地包文件,OK。随后,你需要配置一下,打开Windows->Preferences,选择你的tomcat版本和安装目录。
2022-09-07 10:44:02
2199
1
原创 判断文件的几种方法及其优劣对比
上周,我写了⼀篇给Python学习者的⽂件读写指南,跟⼤家⼀起详尽地学习了⽂件读写的基础内容,以及 with语句与上下⽂管理器的进阶知识。 这份指南虽然写得很⽤⼼,但是因为只关注了⽂件读写的核⼼内容,所以也有美中不⾜不处,有些在实战 中所需的知识点没有谈到,例如,为了能够进⾏⽂件读写,⾸先得找到⽂件、⽂件得可读写才⾏。 我们知道当⽂件不存在的时候,open()⽅法的写模式与追加模式都会新建⽂件,但是对⽂件进⾏判断的场 景还有很多,⽐如,在爬⾍下载图⽚的时候,可能需要判断⽂件是否存在...
2021-08-19 09:51:04
339
原创 给Python初学者的⽂件读写指南
对于初学者来说,⼀份详尽⼜清晰明⽩的指南很重要。今天,猫猫跟⼤家⼀起,好好学习Python⽂件读写 的内容,这部分内容特别常⽤,掌握后对⼯作和实战都⼤有益处。学习是循序渐进的过程,欲速则不达。 ⽂章较⻓,建议⼤家收藏,以备复习查阅哦。 1. 如何将列表数据写⼊⽂件? 2. 如何从⽂件中读取内容? 3. 多样需求的读写任务 4. 从with语句到上下⽂管理器 ⾸先,我们来看看下⾯这段代码,并思考:这段代码有没有问题,如果有问题的话,要怎么改? 现在公布答案,这段代码会报错...
2021-06-15 17:11:55
462
1
原创 Python 操作 JSON,⽹络数据交换不⽤愁
今天带⼤家学学 Python 中操作 JSON 的知识。学完本⽂,你可以学到如下内容:1、JSON 是什么?2、JSON 与 XML 的优劣差异?3、将 Python 对象编码成 JSON 字符串4、将已编码的 JSON 字符串解码为 Python 对象5、解决 JSON 中⽂乱码问题JSON 是什么?JSON 的全称是 JavaScript Object Notation,是⼀种轻量级的数据交换格式。最初,JSON 只是JavaScript...
2021-06-08 10:49:12
402
3
原创 学习 Python 列表,只需这篇⽂章就够 了
千⾥之⾏,始于⾜下。要练成⼀双洞悉⼀切的眼睛,还是得先把基本功扎扎实实地学好。今天就带⼤家仔细温习⼀下 Python的列表。当然,温习的同时也要发散思考,因为有些看似⽆关紧要的、约定俗成的语⾔习惯,例如数组索引为何从0开始,其背后可能⼤有来历。最后,在基础知识之上,更要探索进阶,例如学习⽣成器表达式,这样既能更扎实地掌握基础,⼜能融会 贯通,获得更全⾯的认知升级。Python 的列表是怎样的?列表(list)是⼀种有序的集合,可以随时添加、查找和删除元素。 列表⽀持加⼊不同数据类型的元...
2021-05-28 16:55:43
275
4
原创 Python拼接字符串方法总结
这篇文章主要给大家总结介绍了关于Python拼接字符串的7种方法,分别是来自C语言的%方式、format()拼接方式、() 类似元组方式、面向对象模板拼接、join()拼接方式以及f-string方式,文中通过示例代码介绍的非常详细,需要的朋友可以参考下在Python中,我们经常会遇到字符串的拼接问题,几乎任何一种编程语言,都把字符串列为最基础和不可或缺的数据类型。而拼接字符串是必备的一种技能。1、来自C语言的%方式#字符串拼接——占位符print('%s,%s'%('hello','...
2020-09-09 11:53:20
540
MouseInc2.10.21.7z
2020-08-07
Cameyo单文件打包制作v3.1.1530.0.7z
2020-08-06
mini虚拟机安装,ssh免密登录,软件安装
2018-11-07
Linux系统安装加载与基本命令操作
2018-11-07
sqoop基本概念
2018-10-22
mapreduce高级特性3
2018-10-22
mapreduce高级特性2
2018-10-22
mapreduce高级特性及shuffle
2018-10-22
初三信息技术复习资料-学校内部使用.pdf
2021-12-09
python学习书籍介绍.rar
2021-08-19
2021青少年机器人比赛.zip
2021-06-15
人工智能实战与应用课件与代码.zip
2020-08-29
Typore破解版
2018-11-07
Linux脚本awk
2018-11-07
Linux -- 网络篇
2018-11-07
Linux的shell脚本
2018-11-07
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人