- 博客(16)
- 资源 (1)
- 收藏
- 关注
![](https://csdnimg.cn/release/blogv2/dist/pc/img/listFixedTop.png)
原创 spring boot 2.0.2 mybatis升级mybatis-plus
介绍原来项目使用的是mybatis-spring-boot-starter-1.3.0版本的+阿里的Druid1、先把mybatis-spring-boot-starter-1.3.0jar干掉换成mybatis-plus-boot-starter-3.0.7.12、application.yml(durid配置不变)mybatis-plus: configuration:...
2020-04-07 17:24:36
3177
1
原创 DataNode的工作机制
1)一个数据块在DataNode上以文件形式存储在磁盘上,包括两个文件,一个是数据本身,一个是元数据包括数据块的长度,块数据的校验和,以及时间戳。2)DataNode启动后向NameNode注册,通过后,周期性(1小时)的向NameNode上报所有的块信息。3)心跳是每3秒一次,心跳返回结果带有NameNode给该DataNode的命令如复制块数据到另一台机器,或删除某个数据块。...
2019-07-10 21:49:08
204
原创 NameNode故障处理
方法一:将SecondaryNameNode中数据拷贝到NameNode存储数据的目录;1. kill -9 NameNode进程2. 删除NameNode存储的数据(/opt/module/hadoop-2.7.2/data/tmp/dfs/name)[*****@hadoop102 hadoop-2.7.2]$ rm -rf /opt/module/hadoop-2.7.2/...
2019-07-10 21:07:36
202
原创 NN和2NN工作机制
思考:NameNode中的元数据是存储在哪里的? 首先,我们做个假设,如果存储在NameNode节点的磁盘中,因为经常需要进行随机访问,还有响应客户请求,必然是效率过低。因此,元数据需要存放在内存中。但如果只存在内存中,一旦断电,元数据丢失,整个集群就无法工作了。因此产生在磁盘中备份元数据的FsImage。 这样又会带来新的问题,当在内存中的元数据更新时,如果同...
2019-07-09 22:17:17
3784
2
原创 HDFS的读数据流程
1)客户端通过Distributed FileSystem向NameNode请求下载文件,NameNode通过查询元数据,找到文件块所在的DataNode地址。2)挑选一台DataNode(就近原则,然后随机)服务器,请求读取数据。3)DataNode开始传输数据给客户端(从磁盘里面读取数据输入流,以Packet为单位来做校验)。4)客户端以Packet为单位接收,先在本地缓存,然后写...
2019-07-09 22:12:14
381
原创 hadoop节点距离计算
例如,假设有数据中心d1机架r1中的节点n1。该节点可以表示为/d1/r1/n1。利用这种标记,这里给出四种距离描述,如图1所示。大家算一算每两个节点之间的距离,如图所示。...
2019-07-09 22:04:16
749
原创 HDFS的写的流程
1)客户端通过Distributed FileSystem模块向NameNode请求上传文件,NameNode检查目标文件是否已存在,父目录是否存在。2)NameNode返回是否可以上传。3)客户端请求第一个 Block上传到哪几个DataNode服务器上。4)NameNode返回3个DataNode节点,分别为dn1、dn2、dn3。5)客户端通过FSDataOutputStre...
2019-07-09 21:55:37
90
原创 JavaScript运算规则
1、当数字遇到布尔的,布尔变数字。2、当数字遇到字符串,数字变字符串。3、布尔遇到字符串,布尔变字符串。4、括号优先级别最高。5、true变数字为1,false变数字为0例如:'[3]' + (1 + 1 + true + null + 'ccc' + 1 + 1 + true + null) + '<br>' ="[3]3ccc11truenull&...
2019-03-21 10:54:45
474
翻译 解决哈希冲突的常有方法
解决哈希冲突的常用方法有: 开放定址法基本思想是:当关键字key的哈希地址p=H(key)出现冲突时,以p为基础,产生另一个哈希地址p1,如果p1仍然冲突,再以p为基础,产生另一个哈希地址p2,…,直到找出一个不冲突的哈希地址pi ,将相应元素存入其中。 再哈希法这种方法是同时构造多个不同的哈希函数:Hi=RH1(key) i=1,2,…,k当哈希地址Hi=...
2019-03-15 13:25:24
149
转载 maven版本管理
当一个版本发布,新起一个版本时,我们只需要手动修改一下项目中pom.xml的版本号就可以了。但是如果这个maven项目有很多的子模块项目,那么一个个手动的去改就显得费时费力又繁琐了。Maven为我们提供了以下三个命令来帮助我们解决这个问题。以下命令需要进入顶级pom所在的目录。#1 设置新的版本号mvn versions:set -DnewVersion=1.1.0 #2 当...
2019-02-15 10:53:47
302
原创 chromedriver@2.43.1 install: `node install.js`
解决方法npm install appium-chromedriver --chromedriver_cdnurl=http://npm.taobao.org/mirrors/chromedriver或者npm install appium-chromedriver@3.0.1 --ignore-scripts
2018-11-01 16:29:23
2270
原创 springboot启动报错
Error starting ApplicationContext. To display the conditions report re-run your application with 'debug' enabled.2018-05-06 18:21:34.974 ERROR 2724 --- [ main] o.s.b.d.LoggingFailureAnalysis...
2018-05-06 18:30:34
280
原创 springboot整合activemq踩过坑
启动时候就关闭了配置如下server: port: 8762# context-path: /memebereureka: client: service-url: defaultZone: http://localhost:8761/eureka/spring: application: name: member redis: ...
2018-04-22 21:08:28
4834
1
原创 yml配置文件不生效
yml在编译的时候没有编译到target里面。最后只有加一个jar在pom文件中加入<dependency> <groupId>org.yaml</groupId> <artifactId>snakeyaml</artifactId> <version>1.10</version><
2018-04-22 12:48:30
12763
2
快学scala高清版本
2018-11-27
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人