- 博客(42)
- 收藏
- 关注
RSS订阅原创 HDFS-第6章 DataNode
6.1 工作机制1）一个数据块在DataNode上以文件形式存储在磁盘上，包括两个文件，一个是数据本身，一个是元数据包括数据块的长度，块数据的校验和，以及时间戳。2）DataNode启动后向NameNode注册，通过后，周期性（1小时）的向NameNode上报所有的块信息。3）心跳是每3秒一次，心跳返回结果带有NameNode给该DataNode的命令如复制块数据到另一台机器，或删除某个数据块。如果超过10分钟没有收到某个DataNode的心跳，则认为该节点不可用。4）集群运行中可以安全
2020-07-19 17:06:11
144
原创 HDFS-第5章 NameNode和SecondaryNameNode
5.1 NN和2NN工作机制思考：NameNode中的元数据是存储在哪里的？ 首先，我们做个假设，如果存储在NameNode节点的磁盘中，因为经常需要进行随机访问，还有响应客户请求，必然是效率过低。因此，元数据需要存放在内存中。但如果只存在内存中，一旦断电，元数据丢失，整个集群就无法工作了。因此产生在磁盘中备份元数据的FsImage。 这样又会带来新的问题，当在内存中的元数据更新时，如果同时更新FsImage，就会导致效率过低，但如果不更新，就会发生一致性问题，一旦NameNod...
2020-07-19 09:31:23
119
原创 HDFS-第4章 HDFS的数据流
4.1 HDFS写数据流程4.1.1剖析文件写入1）客户端通过Distributed FileSystem模块向NameNode请求上传文件，NameNode检查目标文件是否已存在，父目录是否存在。2）NameNode返回是否可以上传。3）客户端请求第一个 Block上传到哪几个DataNode服务器上。4）NameNode返回3个DataNode节点，分别为dn1、dn2、dn3。5）客户端通过FSDataOutputStream模块请求dn1上传数据，dn1收到请求会继.
2020-07-19 08:48:19
124
原创 HDFS-第3章HDFS客户端操作
3.1 客户端环境准备1. 根据自己电脑的操作系统拷贝对应的编译后的hadoop jar包到非中文路径（例如：D:\Develop\hadoop-2.7.2）2. 配置HADOOP_HOME环境变量3. 配置Path环境变量4. 创建一个Maven工程5.导入相应的依赖坐标+日志添加//pom.xml<dependencies> <dependency> <groupId>junit</groupId> <ar
2020-07-19 08:05:02
179
原创 HDFS-第2章HDFS的Shell操作
常用命令实操：（0）启动Hadoop集群sbin/start-dfs.sh sbin/start-yarn.sh（1）-help：输出这个命令参数hadoop fs -help rm（2）-ls: 显示目录信息 hadoop fs -ls /（3）-mkdir：在HDFS上创建目录hadoop fs -mkdir -p /sanguo/shuguo（4）-moveFromLocal：从本地剪切粘贴到HDFStouch kongming....
2020-07-18 10:35:54
121
原创 HDFS-第1章概述
1.1 定义 hdfs是一个文件系统，用于存储文件，通过目录树来定位文件；其次，hdfs是分布式的，由很多台服务器联合起来实现功能。1.2 优缺点优点： 1）高容错性：数据自动保存多个副本；某一个副本丢失后，它可以自动恢复； 2）适合处理大数据：GB、TB级别的数据； 3）可构建在廉价机器上，通过多副本机制，提高可靠性。缺点： 1）不适合低延时数据访问，比如毫秒级别的存储数据，是无法做到的； 2）无法高效的对大量小文件进行存储：一般会采...
2020-07-18 10:07:31
94
原创 java.lang.ClassCastException: class com.sun.jersey.core.impl.provider.ent
Text的包导错了
2020-07-06 09:49:10
127
原创 3.运行hadoop案例（完全分布模式）
1）虚拟机克隆：hadoop01、 hadoop02、 hadoop032）编写集群分发脚本xsync（a）脚本编写#!/bin/bash#1 获取输入参数个数，如果没有参数，直接退出pcount=$#if((pcount==0)); thenecho no args;exit;fi#2 获取文件名称p1=$1fname=`basename $p1`echo fname=$fname#3 获取上级目录到绝对路径pdir=`cd -P $(dirname $p1);
2020-07-05 10:09:03
161
原创 3.运行hadoop案例（本地模式、伪分布模式）
Hadoop运行模式包括：本地模式、伪分布式模式以及完全分布式模式。Hadoop官方网站：http://hadoop.apache.org/1.本地模式1）创建在hadoop-2.7.2文件下面创建一个wcinput文件夹2）在wcinput文件下创建一个wc.input文件3）编辑wc.input文件4）回到Hadoop目录/opt/module/hadoop-2.7.2，并且执行程序（此时输出文件夹必须没有，不然会报错）hadoop jar share/hadoop/map
2020-07-05 09:16:13
164
原创 2.hadoop目录结构
bin：存放对Hadoop相关服务（HDFS,YARN）进行操作的脚本etc：Hadoop的配置文件目录，存放Hadoop的配置文件includelib：存放Hadoop的本地库libexecLICENSE.txtNOTICE.txtREADME.txtsbin：存放启动或停止Hadoop相关服务的脚本share：存放Hadoop的依赖jar包、文档、和官方案例...
2020-07-05 08:41:07
89
原创 1.hadoop运行环境搭建
1.克隆虚拟机（创建完整克隆）2.修改克隆虚拟机的静态IP地址3.修改主机名称和hosts文件4.关闭防火墙5.在/opt目录下创建文件夹software和module6.安装JDK检查是否安装了jdk：rpm -ga|grep-java如果jdk版本小于1.7应该卸载：java -version；rpm -e 软件包1）首先把jdk通过ftp工具导入linux，放入software文件夹2）解压tar.gztar -zxvf jdk-8u1
2020-07-05 08:36:23
96
原创 java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.
分析异常：根据提示应该是Hadoop binaries.中缺少winutils.exe这个配置。解决方法：1.首先检查本地window环境是否已经安装hadoop，若没有则先配置hadoop环境变量1）下载Hadoop，我本次操作使用的是hadoop-2.7.3，当然你可以根据自己需求去官网下载官网下载地址：网盘分享我使用的版本：链接: https://pan.baidu.com/s/1-ssNBynSzrC5iG5ozwqAUA 提取码: zdu52）配置windows环境变.
2020-07-04 08:07:00
2281
原创 操作系统-填空题
1.虚拟内存的执行基础是 程序执行的局部性 。2.CPU的数据输出速度远远超过了打印机的打印速度，为了解决提出了 缓冲技术 。3.使用文件之前必须 打开文件 。4.把作业地址空间中使用的逻辑地址变为内存中的物理地址称为重定位。5.磁带上的文件一般只能 顺序存取。6.请求调页系统的页表除了记录帧号外，还记录了有效/无效位，访问位和修改位。7.磁盘的访问时间：寻道时间 + ...
2020-04-02 10:25:44
383
原创 数据库-填空题
1.SQL的数据定义功能：定义数据库、定义表、定义视图、定义索引 。2.SUM公司整个系统分为四层：客户层、顶端WEB服务层、应用服务层和数据库层。3.数据库常用的四种文件组织形式：顺序文件、索引文件、散列文件、倒排文件。4.关系规范化理论是设计 关系数据库 的指南和工具。5.数据库各种类型的用户:DBA权限用户、CONNECT权限用户、Resource权限用户...
2020-03-31 11:39:04
195
原创 leecode-62圆圈中最后的数字
0,1,,n-1这n个数字排成一个圆圈，从数字0开始，每次从这个圆圈里删除第m个数字。求出这个圆圈里剩下的最后一个数字。例如，0、1、2、3、4这5个数字组成一个圆圈，从数字0开始每次删除第3个数字，则删除的前4个数字依次是2、0、4、1，因此最后剩下的数字是3。示例 1：输入: n = 5, m = 3输出:3示例 2：输入: n = 10, m = 17输出:...
2020-03-30 16:12:38
72
原创 操作系统-第7章文件系统
一、初识文件系统文件定义：一组有意义的信息的集合。文件属性：文件名、标识符、文件类型、创建者、创建时间、上次修改时间、文件物理地址、文件路径文件内部如何组织起来的（文件的逻辑结构）文件之间如何被组织起来的（目录结构）操作系统向上提供哪些功能（create、delete、open、close、read、write系统调用）文件如何存放在外存（文件的物理结构）操作系统如何...
2020-03-30 10:39:59
115
原创 操作系统-第5章虚拟存储器
虚拟存储器：具有请求调入功能和置换功能，能从逻辑上对内存容量扩充的一种存储器系统。页表结构： 页号 物理块号 状态位P 访问字段A 修改位A 外存地址 页表置换算法：FIFO、OPT、LRU、LFU、Clock算法访问内存的有效时间：命中率* (快表+访存）+ (1-命中率)*[ （1-缺页率）*（快表+页表+访存）+...
2020-03-30 09:53:08
172
原创 操作系统-第4章存储器管理
1.内存的分配方式 单一连续分配：划分为系统区和用户区，内存中仅允许驻留一道程序，适合于单用户、单任务的操作系统。 固定分区分配：分区大小相同 或 分区大小不等。需要一张分区说明表来记录分区的情况。 动态分区分配：它是根据进程的实际需要，动态地为之分配内存。需要空闲分区表或者空闲分区链。2.动态分区分配算法 首次适应算法(first fit,FF)：要求空...
2020-03-30 09:16:48
110
原创 操作系统-第3章处理机调度与死锁
1.处理机调度的层次（1）高级调度：决定将外存上处于后备队列的哪几个作业调入内存，把它们放入就绪队列。（2）中级调度：把暂时不能运行的进程调出内存，选择符合条件的进程调入放在就绪队列等待，实际是存储器管理的对换。（3）低级调度：根据一定的算法从就绪队列选择一个进程为其分配处理机。CPU使用率：CPU实际运行时间/(CPU实际运行时间+上下文切换时间)吞吐量：单位时间内完成进...
2020-03-29 15:46:45
121
原创 操作系统-第2章进程的描述与控制
1.进程概念：程序段、数据段和PCB构成了进程实体。一般情况，进程实体=进程。2.进程的特征 动态性：程序的一次执行过程叫做进程，而程序是一组有序指令的集合，本身不具备活动的含义是静态的。 并发性：没有建立PCB的程序是不可以并发执行的。 独立性：进程是一个独立运行、独立获得资源和独立接受调度的基本单位，未建立PCB...
2020-03-29 15:24:32
83
原创 操作系统-第1章操作系统引论
1.操作系统的目标：方便性、有效性、可扩充性和开放性。一句话就是：安全高效！2.操作系统的作用 (1)OS作为用户与计算机硬件系统之间的接口 (2)OS作为计算机资源的管理者 (3)OS实现了对计算机资源的抽象3.操作系统的发展过程 (1)手工操作阶段 (2)批处理阶段：单道批处理系统[自动性、顺...
2020-03-29 14:36:36
139
原创 数据库-第11章并发控制
并发操作带来的问题：丢失修改、不可重复读、读‘脏’数据（后两种也被称为幻影现象）并发控制的方法：封锁、时间戳、乐观控制法和多版本并发控制等1.封锁封锁类型：排他锁和共享锁一级封锁协议：事务T在修改数据R之前必须对其加X锁，知道事务T结束以后才释放。解决了：丢失修改二级封锁协议：在一级封锁协议的基础上，增加读数据之前必须加S锁，读完就可以释放。解决了：丢失修改和读脏数据三级...
2020-03-29 10:54:00
157
原创 数据库-第10章数据库恢复技术
1.事务的概念 事务是用户定义的一个数据库序列，这些操作要么全做、要不不做，是一个不可分割的工作单位。2.事务的特性(ACID） A:原子性，一个事务要么全做，要么不做； C:一致性，事务执行的结果必须让数据库从一个一致性状态到另一个一致性状态； I:隔离性，一个事务的执行不能被其他事务干扰，并发执行的各个事务之间互不干扰； ...
2020-03-29 10:26:51
97
原创 数据库-第8章数据库编程
八、数据库编程（存储过程、函数）1.存储过程(1)变量定义： 变量名 数据类型 := 初值表达式；(2)常量定义 常量名 数据类型 := 常量表达式；(3)赋值语句 变量名:=表达式；(4)条件控制语句 IF 条件 THEN sequence;...
2020-03-29 09:48:21
119
原创 数据库-第7章数据库设计
七、数据库设计(设计ER图【ER图转换为关系模式】、画对象联系图、画UML图）1.ER图 找出实体 -> 标出实体的属性和码->找出实体之间的关系(名称，属性，一对一....) -> 检查 一对一、一对多的转换为外键 多对多的转换为单独的表，码为两个实体的码2.对象联系图...
2020-03-29 09:22:33
148
原创 数据库-第6章范式
六、范式（求候选键？判断范式？分解范式？判断无损连接和保持函数依赖？）1.求候选键 定型（是否都为LR）-> 选择求解方法(快速法、一般递推法) -> 求解候选码2.判断范式？ 求Fm ->求出候选码（主属性、非主属性) -> 看码和非主属性的关系 -> 看码和其他主属性的关系3.分解范式 1NF...
2020-03-29 09:07:46
184
原创 数据库-第5章完整性
五、数据库完整性（在SQL语句中进行考察） 数据库完整性：数据的正确性和相容性。实体完整性 参照完整性 用户定义的完整性 1.实体完整性表现：创建表中的primary key要求：（1）检查主码是否唯一，如果不唯一则拒绝插入或修改； （2）检查主码各个属性是否为空，只要有一个为空则拒绝插入或修改。2.参照...
2020-03-28 10:58:20
106
原创 数据库-第4章安全性
四、数据库安全性（选择、填空、SQL语句）1.数据库安全性：保护数据库以防止不合法使用造成的数据泄露、更改和破坏。2.数据库的不安全因素： (1)非授权用户对数据库的恶意存取和破坏； (2)数据库中重要或者敏感数据被泄露； (3)安全环境的脆弱性。3.措施： (1)用户身份的鉴别：静态口令鉴别、动态口令鉴别、生物特征鉴别和智能卡鉴别...
2020-03-28 10:18:29
242
原创 数据库-第3章SQL
三、SQL语句1.SQL的特点（优点） (1)综合统一 (2)高度非过程化 （3）面向集合的操作方式 （4）同一种语法结构提供多种形式 （5）语言简洁，易学易用2.DDL 创建 删除 修改 模式 √ √ 表 √ √ √ 视图...
2020-03-28 09:41:53
98
原创 数据库-第2章关系代数
二、关系代数（关系代数的运算、关系表达式的书写、书写关系模式） 关系的三种类型：基本表、查询表、视图表 关系操作：关系代数 和 关系演算 关系代数： （1）传统的集合运算符：∪ - ∩ × （2）专门的关系运算符： σ π ⋈÷ 连接中：自然连接（去列，其中...
2020-03-28 09:04:21
188
原创 数据库-第1章绪论
一、绪论（选择 填空 简答题）1.四个概念： 数据(data)：描述事物的符号。 数据库(DB)：长期储存在计算中的、有组织的、可共享的大量数据的集合。（特点：永久存储、有组织和可共享） 数据库管理系统(DBMS)：DBMS和OS一样是计算机的基础软件，包括数据定义功能、数据组织存储管理、数据操纵功能、数据库的事务管理和运行管理、数据库的建立和维护.........
2020-03-28 08:47:49
103
原创 leetcode-20有效的括号
给定一个只包括 '('，')'，'{'，'}'，'['，']'的字符串，判断字符串是否有效。有效字符串需满足：左括号必须用相同类型的右括号闭合。左括号必须以正确的顺序闭合。注意空字符串可被认为是有效字符串。示例 1:输入: "()"输出: true示例2:输入: "()[]{}"输出: true示例3:输入: "(]"输出: false示例4:输...
2020-03-17 09:48:43
56
原创 leetcode-1130.拼写单词
给你一份『词汇表』（字符串数组）words和一张『字母表』（字符串）chars。假如你可以用chars中的『字母』（字符）拼写出words中的某个『单词』（字符串），那么我们就认为你掌握了这个单词。注意：每次拼写时，chars中的每个字母都只能用一次。返回词汇表words中你掌握的所有单词的长度之和。class Solution { public i...
2020-03-17 09:20:19
84
原创 相对路径和绝对路径
在HTML里只要涉及文件的地方(如超级链接、图片等)就会涉及绝对路径与相对路径的概念。 1.绝对路径 绝对路径是指文件在硬盘上真正存在的路径。例如“bg.jpg”这个图片是存放在硬盘的“E:\book\网页布局代码\第2章”目录下，那么 “bg.jpg”这个图片的绝对路径就是“E:\book\网页布\代码\第2章\bg.jpg"。那么如果要使用绝对路径指定网页的背景图片就应该使
2017-11-02 10:17:21
198
原创 java三大部件之Listener
javaWeb三大部件我们已经讲了两个，最后一个监听器。监听器的使用案例:可以在事件发生前、发生后进行一些处理，一般可以用来统计在线人数和在线用户、统计网站访问量、系统启动时初始化信息等。我觉得大家应该挺熟悉的因为呢，我们在java基础时，多多少少有点接触。没错就是GUI，也就是AWT，我们写过比如 点击一个按钮 执行了onclick事件，也就是点击后执行某个函数，就好比一个灯，你点击
2017-11-01 21:18:29
155
原创 java三大部件之Filter
前几天讲到了Servlet，可能有的人不知道怎么配置，其实MyEclipse自带可以生成Servlet的，但是呢有的人就想搞个水落石出，那么好！就满足你。他们的配置在web.xml中，因为Servlet和Filter的配置方法相同，所以我们就一起讲。一：Filter是过滤器，比如你写的项目的某个页面不想让未登录的人访问，想把那些“非法分子”拒之门外，你当然可以在每个servlet验证，但是
2017-11-01 20:54:13
107
原创 java之连接mysql数据库
import java.sql.Connection;import java.sql.DriverManager;import java.sql.ResultSet;import java.sql.Statement;public class Demo { public static void main(String[] args) { /** * 导入驱
2017-10-31 21:57:59
273
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人