- 博客(16)
- 资源 (1)
- 收藏
- 关注
RSS订阅
原创 spring boot 2.0.2 mybatis升级mybatis-plus
介绍原来项目使用的是mybatis-spring-boot-starter-1.3.0版本的+阿里的Druid1、先把mybatis-spring-boot-starter-1.3.0jar干掉换成mybatis-plus-boot-starter-3.0.7.12、application.yml(durid配置不变)mybatis-plus: configuration:...
2020-04-07 17:24:36
3177
1
原创 DataNode的工作机制
1）一个数据块在DataNode上以文件形式存储在磁盘上，包括两个文件，一个是数据本身，一个是元数据包括数据块的长度，块数据的校验和，以及时间戳。2）DataNode启动后向NameNode注册，通过后，周期性（1小时）的向NameNode上报所有的块信息。3）心跳是每3秒一次，心跳返回结果带有NameNode给该DataNode的命令如复制块数据到另一台机器，或删除某个数据块。...
2019-07-10 21:49:08
204
原创 NameNode故障处理
方法一：将SecondaryNameNode中数据拷贝到NameNode存储数据的目录；1. kill -9 NameNode进程2. 删除NameNode存储的数据（/opt/module/hadoop-2.7.2/data/tmp/dfs/name）[*****@hadoop102 hadoop-2.7.2]$ rm -rf /opt/module/hadoop-2.7.2/...
2019-07-10 21:07:36
202
原创 NN和2NN工作机制
思考：NameNode中的元数据是存储在哪里的？ 首先，我们做个假设，如果存储在NameNode节点的磁盘中，因为经常需要进行随机访问，还有响应客户请求，必然是效率过低。因此，元数据需要存放在内存中。但如果只存在内存中，一旦断电，元数据丢失，整个集群就无法工作了。因此产生在磁盘中备份元数据的FsImage。 这样又会带来新的问题，当在内存中的元数据更新时，如果同...
2019-07-09 22:17:17
3784
2
原创 HDFS的读数据流程
1）客户端通过Distributed FileSystem向NameNode请求下载文件，NameNode通过查询元数据，找到文件块所在的DataNode地址。2）挑选一台DataNode（就近原则，然后随机）服务器，请求读取数据。3）DataNode开始传输数据给客户端（从磁盘里面读取数据输入流，以Packet为单位来做校验）。4）客户端以Packet为单位接收，先在本地缓存，然后写...
2019-07-09 22:12:14
381
原创 hadoop节点距离计算
例如，假设有数据中心d1机架r1中的节点n1。该节点可以表示为/d1/r1/n1。利用这种标记，这里给出四种距离描述，如图1所示。大家算一算每两个节点之间的距离，如图所示。...
2019-07-09 22:04:16
749
原创 HDFS的写的流程
1）客户端通过Distributed FileSystem模块向NameNode请求上传文件，NameNode检查目标文件是否已存在，父目录是否存在。2）NameNode返回是否可以上传。3）客户端请求第一个 Block上传到哪几个DataNode服务器上。4）NameNode返回3个DataNode节点，分别为dn1、dn2、dn3。5）客户端通过FSDataOutputStre...
2019-07-09 21:55:37
90
原创 JavaScript运算规则
1、当数字遇到布尔的，布尔变数字。2、当数字遇到字符串，数字变字符串。3、布尔遇到字符串，布尔变字符串。4、括号优先级别最高。5、true变数字为1，false变数字为0例如：'[3]' + (1 + 1 + true + null + 'ccc' + 1 + 1 + true + null) + '<br>' ="[3]3ccc11truenull&...
2019-03-21 10:54:45
474
翻译 解决哈希冲突的常有方法
解决哈希冲突的常用方法有： 开放定址法基本思想是：当关键字key的哈希地址p=H（key）出现冲突时，以p为基础，产生另一个哈希地址p1，如果p1仍然冲突，再以p为基础，产生另一个哈希地址p2，…，直到找出一个不冲突的哈希地址pi ，将相应元素存入其中。 再哈希法这种方法是同时构造多个不同的哈希函数：Hi=RH1（key） i=1，2，…，k当哈希地址Hi=...
2019-03-15 13:25:24
149
转载 maven版本管理
当一个版本发布，新起一个版本时，我们只需要手动修改一下项目中pom.xml的版本号就可以了。但是如果这个maven项目有很多的子模块项目，那么一个个手动的去改就显得费时费力又繁琐了。Maven为我们提供了以下三个命令来帮助我们解决这个问题。以下命令需要进入顶级pom所在的目录。#1 设置新的版本号mvn versions:set -DnewVersion=1.1.0 #2 当...
2019-02-15 10:53:47
302
原创 chromedriver@2.43.1 install: `node install.js`
解决方法npm install appium-chromedriver --chromedriver_cdnurl=http://npm.taobao.org/mirrors/chromedriver或者npm install appium-chromedriver@3.0.1 --ignore-scripts
2018-11-01 16:29:23
2270
原创 springboot启动报错
Error starting ApplicationContext. To display the conditions report re-run your application with 'debug' enabled.2018-05-06 18:21:34.974 ERROR 2724 --- [ main] o.s.b.d.LoggingFailureAnalysis...
2018-05-06 18:30:34
280
原创 springboot整合activemq踩过坑
启动时候就关闭了配置如下server: port: 8762# context-path: /memebereureka: client: service-url: defaultZone: http://localhost:8761/eureka/spring: application: name: member redis: ...
2018-04-22 21:08:28
4834
1
原创 yml配置文件不生效
yml在编译的时候没有编译到target里面。最后只有加一个jar在pom文件中加入<dependency> <groupId>org.yaml</groupId> <artifactId>snakeyaml</artifactId> <version>1.10</version><
2018-04-22 12:48:30
12763
2
快学scala高清版本
2018-11-27
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人