- 博客(36)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 Spark 笔记
初识是用于大数据处理的集群计算框架，Spark并没有以 MapReduce 作为执行引擎，而是使用了它自己的分布式运行环境在集群上执行工作。Spark最突出的表现在于它能够将作业与作业之间产生的大规模的工作数据集存储在内存中。即使你不需要在内存中进行缓存，Spark还会因为其出色的 DAG 引擎和用户体验而具有吸引力。与 MapReduce 不同，Spark 的 DAG 引擎可以处理任意操作流水线，并为用户将其转换为单个作业。Spark 还是用于构建分析工具的出色平台。为此，Apache Spark项目包
2022-01-17 17:53:50
1355
原创 Hive 笔记
Hive概念Hive是一个构建在 Hadoop 上的数据仓库框架，是一个 Apache 项目，很多组织把它用作一个通用的、可伸缩的数据处理平台。Hive 一般在工作站上运行。它把 SQL 查询转换为一系列在 Hadoop 集群上运行的作业。Hive 把数据组织为表，通过这种方式存储在 HDFS 上的数据赋予结构。元数据（如表模式）存储在 metastore 数据库中。优势Hive 把查询转换为一个作业并执行这个作业，然后将结果打印到控制台。虽然 Hive 和其他数据库有一些细微的差别，例如 Hive
2022-01-13 18:09:02
1743
2
原创 Zookeeper
Zookeeper概述Zookeeper 是一个开源的分布式的，为分布式框架提供协调服务的 Apache 项目。Zookeeper工作机制特点1）Zookeeper：一个领导者（Leader），多个跟随者（Follower）组成的集群。2）集群中只要有半数以上节点存活，Zookeeper集群就能正常服务。所 以Zookeeper适合安装奇数台服务器。3）全局数据一致：每个Server保存一份相同的数据副本，Client无论连接到哪个Server，数据都是一致的。4）更新请求顺序执行，来自同一
2021-12-05 08:54:50
359
原创 大数据之 Hadoop（Yarn）
Yarn 资源调度器Yarn 是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而 MapReduce 等运算程序则相当于运行于操作系统之上的应用程序。思考：如何管理集群资源？如何给任务合理分配资源？Yarn 基础架构YARN 主要由 ResourceManager、NodeManager、ApplicationMaster 和 Container 等组件构成。Yarn 工作机制（1）MR 程序提交到客户端所在的节点。（2）YarnRunner 向 R
2021-12-03 09:19:32
427
原创 大数据之 Hadoop （MapReduce）
MapReduce 概述MapReduce：一个分布式运算程序的编程框架，是用户开发“基于 Hadoop 的数据分析应用”的核心框架。MapReduce 核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个 Hadoop 集群上。MapReduce 优缺点优点1）MapReduce 易于编程它简单的实现一些接口，就可以完成一个分布式程序，这个分布式程序可以分布到大量廉价的 PC 机器上运行。也就是说你写一个分布式程序，跟写一个简单的串行程序是一模一样
2021-12-02 09:08:10
726
原创 大数据之 Hadoop（HDFS）
HDFS 概述HDFS: Hadoop Distributed File System，它是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。使用场景：适合一次写入，多次读出的场景。一个文件经过创建、写入和关闭之后就不需要改变。HDFS 优缺点优点1）高容错性➢ 数据自动保存多个副本。它通过增加副本的形式，提高容错性。➢ 某一个副本丢失以后，它可以自动恢复。2）适合处理大数据➢ 数据规模：能够处理数据规模达到
2021-12-01 09:58:14
337
原创 大数据之 Hadoop 初识
Hadoop概述Hadoop:一个由Apache基金会所开发的分布式系统基础架构，主要解决海量数据的存储和海量数据的分析计算问题。Hadoop优势 (4高）高可靠性：Hadoop底层维护多个数据副本，所以即使Hadoop某个计算元 素或存储出现故障，也不会导致数据的丢失。高扩展性：在集群间分配任务数据，可方便的扩展数以千计的节点。高有效性：在MapReduce的思想下，Hadoop是并行工作的，以加快任务处 理速度。高容错性：能够自动将失败的任务重新分配。Hadoop组成 （面试重点）H
2021-11-30 09:20:31
1755
原创 什么是大数据呢
大数据(bigdata) ：或称巨量资料，指的是所涉及的资料量规模巨大到无法透过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。大数据主要解决的问题海量数据的采集、存储和分析计算。按顺序给出数据存储单位：bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB 1Byte = 8bit 1K = 1024Byte 1MB = 1024K 1G = 1024M 1T = 1024G 1P = 1024T大数据特点（4V）1、V
2021-11-15 11:18:30
1579
原创 计算机网络之计算机网络体系结构
计算机网络体系结构计算机网络概念是一个将分散的、具有独立功能的计算机系统，通过通信设备与线路连接起来，由功能完整的软件实现资源共享和信息传递的系统。简而言之，计算机网络就是一些互联的、自治的计算机系统的集合。（自治：无主从关系）组成从不同的角度，可以将计算机网络的组成部分分为如下几类1.从组成部分看，计算机网络由硬件、软件、协议三大部分组成，硬件主要由主机（也称端系统）、通信链路（如双绞线、光纤）、交换设备（如路由器、交换机等）和通信处理机（如网卡）等组成。软件主要包括各种实现资源共享的软件和方
2021-09-21 12:46:19
356
1
原创 Redis笔记
** Redis**Redis是一个开源的，内存中的数据结构存储系统，它可以用作数据库、缓存和消息中间价。它支持多种类型的数据类型，如五大常用数据类型：字符串string,集合set,哈希hash,列表list,有序集合sorted sets）和三种特殊数据类型（geospatial地址位置,hyperloglog基数统计,bitmaps位图）打开一个 cmd 窗口 使用 cd 命令切换目录到 C:\redis 运行：redis-server.exe redis.windows.conf如果想方便
2021-03-23 21:06:58
300
原创 【JAVA设计模式】- 代理模式
代理模式：创建具有现有对象的对象，以偏于向外界提供功能接口，是SpringAOP的底层分类静态代理和动态代理角色分析抽象角色：一般会使用接口或抽象类来实现真实角色：被代理角色代理角色：代理真实角色，附加一些附属操作客户：访问代理的人优缺点优点可以使真实角色的操作更加纯粹！不用去关注一些公共业务公共也就交给代理角色！实现了业务的分工！公共业务发生扩展的时候，方便集中管理缺点一个真实角色会产生一个代理角色，代码量增加开发效率变低静态代理 实现之租房Rent.java//租房
2020-07-25 18:28:11
135
原创 【JAVA设计模式】- 桥接模式
桥接模式将抽象部分与它的实现部分分离，使它们可以独立地变化。它是一种对象结构型模式，又称为柄体模式或接口模式优点与缺点优点桥接模式类似于多继承方案，但是多继承方案违背了类的单一职责原则，复用性比较差，类的个数也非常多，桥接模式是比多继承方案更好地解决方法。极大的减少了子类的个数，从而降低管理和维护的成本桥接模式提高了系统的可扩充性，在两个变化维度中任意扩展一个维度，都不需要修改原有系统。符号开闭原则，就像一座桥，可以把两个变化的维度连接起来缺点桥接模式的引入会增加系统的理解与设计难度，由于聚合
2020-07-11 10:08:46
206
原创 【JAVA设计模式】- 适配器模式
适配器模式将一个类的接口转换成客户希望的另外一个接口。角色分析目标接口：客户所期待的接口，目标可以是具体的或抽象的类，也可以是接口需要适配的类：需要适配的类或适配者类适配器：通过包装一个需要适配的对象，把原接口转换成目标对象适配器分类分为对象适配器和类适配对象适配器优点一个对象适配器可以把多个不同的适配到同一个目标可以适配一个适配者的子类，由于适配器和适配者之间是关联关系，根据"里氏代换原则"，适配者的子类也可通过该适配器进行适配类适配器缺点对于Java等不支持多重类集成的语言，一次
2020-07-10 09:59:03
144
原创 【JAVA设计模式】- 抽象工厂模式
抽象工厂模式提供了一个创建一系列相关或者相互依赖对象的接口，无需指定它们具体的类适用场景客户端（应用层）不依赖于产品类实例如何被创建、实现等细节强调一系列相关的产品对象（属于同一产品族）一起适用创建对象不需要大量的重复代码提供一个产品类的库，所有的产品以同样的接口出现，从而使得客户端不依赖于具体的实现优缺点优点具体产品在应用层的代码隔离，无需关心创建的细节将一个系列的产品统一到一起创建缺点规定了所有可能被创建的产品聚合，产品簇中扩展新的产品困难增加了系统的抽象性和理解难度实现X
2020-07-08 14:47:12
221
原创 【JAVA设计模式】- 工厂模式
工厂模式实例化对象不使用new,用工厂方法实现将选择实现类，创建对象统一管理和控制。从而将调用者跟实现类解耦三种模式：简单工厂模式工厂方法模式抽象工厂模式应用场景JDK中的Calendar的getInstance()方法JDBC中的Connection对象的获取Spring中IOC容器管理bean对象反射中Class对象的newInstance方法小结简单工厂模式（静态工厂模式）虽然某种程度上不符合设计原则，但实际使用最多工厂方法模式不修改已知类的前提下，通过增加新的工厂
2020-07-07 08:23:33
1348
原创 【JAVA设计模式】- 原型模式
原型模式创建重复的对象，这种设计模式属于创建型模式，这种模式实现了一个原型接口，用于创建当前对象的克隆克隆分为：浅克隆和深克隆浅克隆被复制对象的所有变量都含有与原来的对象相同的值，而所有的对其他对象的引用仍然指向原来的对象。换言之，浅复制仅仅复制所拷贝的对象，而不复制它所引用的对象。深克隆被复制对象的所有变量都含有与原来的对象相同的值，除去那些引用其他对象的变量。那些引用其他对象的变量将指向被复制过的新对象，而不再是原有的那些被引用的对象。换言之，深复制把要复制的对象所引用的对象.
2020-07-06 10:01:19
2429
原创 【JAVA设计模式】- 建造者模式
建造者模式也属于创建型模式，它提供了一种创建对象的最佳模式用户只需要给定复杂对象的类型和内容，建造者模式负责按顺序创建复杂对象应用场景需要生成的产品对象有复杂的内部结构，这些产品对象具备共性隔离复杂对象的创建和使用，并获得相同的创建过程可以创建不同的产品适合于一个具有较多的零件（属性）的产品的创建过程实现：盖房子之地基、钢筋工程、铺电线和粉刷package com.li.builder.demo;//抽象的建造者：方法public abstract class Builder
2020-07-05 15:00:52
2498
原创 【Python学习笔记】- Day6
Python不仅适用于研究和原型构建，同时也适用于构建生产系统。对于高并发，多线程的应用程序，Python不是一种理想的编程语言，因为Python有一个叫 全局解释锁 的东西，这是一种防止解释器同时执行多条Python字节码指令的机制。这并不是说Python不能执行真正的多线程并行的代码，只不过这些代码不能在单个Python进程中执行而已。重要的Python库NumPy科学计算的基础包，提供的功能快速高效的多维数组对象ndarray用于对数组执行元素级计算以及对数组执行数学运算的函数
2020-06-27 09:14:41
716
原创 【Python学习笔记】- Day5
自顶向下和自顶向上程序需要采用自顶向下的设计方法，采用自顶向上的执行方法一个解决复制问题行之有效的方法被称为自顶向下的设计方法，其基本思想是一个总问题开始，试图把它表达为很多小问题的解决方法。再用同样的技术依次攻破每个小问题，最终问题变得非常小。然后只需把所有的碎片组合起来，就可以得到一个程序。网络爬虫Robots排除协议：也称爬虫协议，是网站管理者表达是否希望爬虫自动获取网络信息意愿的方法。管理者可以在网站根目录放置一个robot.txt文件，并在文件中列出哪些链接不允许爬虫爬去库.
2020-06-25 10:37:22
395
原创 【Python学习笔记】- Day4
循环遍历：for语句基本使用方法：for <循环变量> in <遍历结构> : <语句块>函数使用def保留字定义一个函数语法形式：def <函数名>(<参数列表>) : <函数体> return <返回值类型>组合数据类型（3类）：序列类型(字符串、元组和列表)、集合.
2020-06-24 12:12:14
256
原创 【Python学习笔记】- Day3
Python学习笔记Day3基本数据类型整数类型十进制 无引导符号二进制 0b或0B八进制 0o或0O十六进制 0x或0Xpow（x,y)函数，用来计算x的y次方可以嵌套使用 pow(x,pow(y,z))浮点数类型与数学中的实数的概念一样，表示带有小数的数值高精度浮点数 ：通过标准库decimal提供更精确的数字类型decimal，在使用过程中，需要用单引号，如decimal.Decimal(‘20’)getcontext().prex参数自定义浮点数精度
2020-06-24 01:43:18
742
原创 【Python学习笔记】- Day2
算数运算乘方** 整除//注释单行注释 #多行注释 ：以三个单引号开头和结尾’‘’‘’‘循环语句while(<条件>)： <语句块1><语句块2>注意：不要忘了冒号：函数输入 input()输出 print()表达式方式解析并执行字符串 eval()turtle库：直观有趣的图形绘制函数库绘图坐标体系：turtle.setup()函数定义：turtle.setup(width,height,.
2020-06-24 00:13:54
233
原创 【Python学习笔记】- Day1
缩进在每行开头的空白很重要。称之为缩进。在行首的主要的空白（空格键和制表符）用来决定逻辑行缩进的层次，从而来决定语句分组。这意味着同一层次的语句必须有相同的缩进。每一组这样的语句称为一个块。如何缩进不要混合使用制表符和空格来缩进，因为这在跨越不同的平台的时候，无法正常工作。在每个缩进层次使用单个制表符或两个或四个空格。选择这三种缩进风格之一。更加重要的是，选择一种风格，然后一贯地使用它，即只使用这一种风格。给静态语言程序员的注释：Python 总是使用缩进来代表代码块，不再使用括号。运行 fro
2020-06-23 12:15:38
250
原创 【Linux】先来先服务（FCFS）优先调度算法，最短作业优先 ( SJF ) 优先调度算法(非抢占式与抢占式)，高响应比优先 （HHRM）调度算法
先来先服务（FCFS）优先调度算法FCFS: First-come first-service最简单的调度算法，既可以用于作业调度 ，也可以用于程序调度，当作业调度中采用该算法时，系统将按照作业到达的先后次序来进行调度，优先从后备队列中，选择一个或多个位于队列头部的作业，把他们调入内存，分配所需资源、创建进程，然后放入“就绪队列”,直到该进程运行到完成或发生某事件堵塞后，进程调度程序才将处理机分配给其他进程。最短作业优先( SJF ) 优先调度算法(非抢占式与抢占式)SJF:Shortest Job
2020-05-29 12:41:22
6938
原创 【MySQL 错误】- Cannot connect to MySQL on localhost! 的原因及解决方法
[MySQL错误]- Cannot connect to MySQL on “localhost”!的原因及解决方法原因：MySQL服务未启动解决方法：打开安装MySQL文件里的mysql_start.bat文件
2020-05-29 10:48:21
2394
原创 【MySQL错误 #1452】 - Cannot add or update a child row: a foreign key constraint fails... 原因及解决方法
错误原因：添加外键失败解决方法：删除外键约束，再插入数据。
2020-05-29 09:25:51
829
原创 【JAVA设计模式】- 设计模式概述
设计模式有23种，其实是一种面向对象设计原则的实际运用，是对类的封装性、继承性和多态性，以及类之间关系的更深理解。设计模式分类分为三种类型：创建型模式（5种）：单例模式、抽象工厂模式、建造者模式、工厂模式、原型模式。结构型模式（7种）：适配器模式、桥接模式、装饰模式、组合模式、外观模式、享元模式、代理模式。行为型模式（11种）：模版方法模式、命令模式、迭代器模式、观察者模式、中介者模式、备忘录模式、解释器模式（Interpreter模式）、状态模式、策略模式、职责链模式(责任链模式)、访问者模
2020-05-23 20:49:57
429
原创 【JAVA设计模式】- 单例模式
概念单例模式（Singleton Pattern）是 Java 中最简单的设计模式之一。这种设计模式属于创建型模式。保证一个类仅有一个实例，并提供一个访问它的全局访问点。常用的有饿汉式和懒汉式两种。单例模式一般体现在类声明中，单例的类负责创建自己的对象，同时确保只有单个对象被创建。这个类提供了一种访问其唯一的对象的方式，可以直接访问，不需要实例化该类的对象。优点在内存里只有一个实例，减少了内存的开销，避免对资源的多重占用。实现方式一个类的对象的产生是由类构造函数来完成的。如果一个类对.
2020-05-23 12:31:59
409
原创 Java Web之Session和Cookie
Session 是一个接口（HttpSession），是会话，用来维护客户端和服务器之间的技术。每个客户端都会有自己的一个 Session 会话。Session 会话中，人们经常用来保存登录之后的信息。
2020-05-21 16:39:01
239
原创 Servlet之request对象和response对象
request这个对象不用事先声明，就可以在JSP网页中使用，在编译为Servlet之后，它会转换为javax.servlet.http.HttpServletRequest形态的对象，HttpServletRequest对象是有关于客户端所发出的请求的对象，只要是有关于客户端请求的信息，都可以藉由它来取得，例如请求标头、请求方法、请求参数、客户端IP，客户端浏览器等等信息。
2020-05-18 09:01:53
382
原创 HTTP之Get和Post的区别
容器调用Servlet的servlce()方法时，如果是GET请求就会调用doGet(),如果是POST请求就会调用doPost(),GET：幂等性，数据提交会显示到URL地址栏。POST：安全级别比GET高，Web容器会通过request的方法来传递数据。如request.getParameter()指定请求参数名称来取得对应的值。request.getParameterValues()如果窗体上有可复选的元件，如复选框，列表等，则同一个请求参数名称会有多个值。请求编码处理：GET：若浏览
2020-05-14 17:07:01
332
原创 MySQL插入数据中错误提醒 1366 Incorrect string value...的解决方法
报错原因： windows 安装MySQL 时选择的是默认编码，创建数据库也选择默认编码，导致该库的编码默认为gbk.该库下的表默认也会是gbk，字段默认也是gbk.解决方法：第一种方法是windows在安装MySQL的bin目录下my.ini文件中添加[client]default-character-set =utf8[mysql]default-character-se...
2020-04-30 00:48:33
1320
1
2019年数学建模C题资源.rar
2020-07-31
ATM需求分析(1).docx
2020-05-31
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人