- 博客(26)
- 收藏
- 关注
RSS订阅原创 mapreduce流程
接下来我们要开始对文件mapreduce了，首先我们的客户端向服务器发起job请求，服务器返回jobid和资源提交的路径，客户端向服务器指定位置（tmp）提交配置文件，job的jar包，配置文件，此时yarn创建resourcemanager，rm此时创建appmanager。首先我们将文件存储到hdfs时，文件会分成128m的block，存进各个服务器的datanode中，细节我们就不多说了。am向resourcescheduler提交job（注意这里的rs是一个job的队列，一个个job执行）
2023-03-24 22:22:07
195
原创 关于windows配置hadoop本地报错org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String；I)Z
网上很多帖子没抓到本质，都是让大家把hadoop.dll文件放入system32，当然我不否认这样可以解决一部分人的问题，但是后面修改源码就更是重量级选手了；有相当一部分解决方案是把org.apache.hadoop.io.nativeio下的NativeIO.java重写return true；最后注意，把32位的JDK环境删除掉，不然编辑器可能不能主动加载64位的环境。首先查看自己的JDK是不是64位，如果不是64，那么报错本质其实是如下。是你的hadoop无法在32位的jdk环境下运行。
2023-03-23 13:47:19
608
5
原创 CENTOS7改变用户组失败的解决方案
etc/passwd 可以查看所有用户，里面可以直接修改用户id，组，用户别名；/etc/group 可以查看所有的组，里面可以直接创建组，或者修改组id，组别名。但是如果没按照顺序导致我们的后续修改出现了不可逆的问题，我们采取如下方法。用户修改组，家，用户名有时候会出错，因为顺序问题，如下提供两种解决思路。/etc/shadow 可以查看所有用户的密码，虽然都是加密的。我们只要知道，我们的所有创建删除修改都是基于如下三个文件。1.在修改用户名之前，先修改家目录。然后按照如下顺序修改就一定不会错。
2023-03-15 19:34:38
452
原创 关于我对事务的理解
此时我们开启第二个查询页面，命名线程二，此时我们查询数据库，发现线程1删除的数据由于未提交，所以可以被线程2读到，我们对相同的数据进行删除，此时会发现线程2被阻塞。基于第一种情况，再开启线程三，最后发现线程2成功删除，线程二是在线程3之前执行，也就是说数据库按照顺序执行删除，先执行先删除；首先我们在navicat中开启一个查询页面，我认为是拿到一个connection，或者说是一个线程，命名线程1。线程1删除不提交，线程2删除相同数据被阻塞，此时线程1提交，线程2成功但未修改，此时为线程1删除了该数据；
2023-03-10 20:05:15
57
原创 大刷带你搞明白HTTP和TCP长连接短链接那点事
首先我们明确一点：TCP设置SO_KEEPALIVE是开启TCP保活机制；HTTP中 Connection: Keep-Alive是开启TCP长连接；这俩不是一个东西，不要混为一谈TCP保活机制，那些参数什么的我就不说了，百度一大堆，我们今天主要谈谈长连接和短连接其实HTTP的长连接就是TCP长连接，或者可以这么说，HTTP实现长连接是基于TCP支持的；那么我们发送请求头 Connection: Keep-Alive 实际上控制的是TCP；TCP短链接实际上就是TCP创建的连接内只能完成一次数
2022-01-04 20:25:08
1317
原创 navicat链接mycat报错1184
看下自己schema配置randomDataNode和node的name名称是否一致如下aaa和bbb的位置是否一致，不要有空格<schema name="aaa" checkSQLschema="true" sqlMaxLimit="100" randomDataNode="bbb"><dataNode name="bbb" dataHost="aaa" database="***" />...
2021-12-28 11:30:48
1088
原创 记录一下：spring-boot-starter-web与jol-core发生冲突
当两个依赖同时存在时，或者只引入spring-boot-starter-web，程序运行正常<dependencies> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-web</artifactId> <version>2.5.2<
2021-12-24 19:49:16
581
原创 泛型＜? extends T＞ 和 ＜? super T＞ 的理解
看了几篇博客，发现写的不是很通俗易懂，所以自己撸一篇如下是代码：首先我们创建了两个类Fruit ，Orange 分别是父子的关系；public class Generics { static class Fruit { } static class Orange extends Fruit { } public static void main(String... args) throws Exception { List<? ext
2021-12-22 19:41:09
618
原创 我对synchronized同步代码块的理解
闲来无事，写点自己的理解，synchronized众所周知是用来给代码块或者方法加锁的（同步代码块和同步方法）同步方法锁定对象我就不赘述了，无非是方法的锁对象静态是类.class，非静态是this等下面就用卖票问题，来说说关于同步代码块的问题：class Runnable02 implements Runnable{ Integer tickets = 10; @Override public void run() { while (true){
2021-12-17 20:59:20
216
原创 串行，并发，并行的解释
串行（同步）：串行：是一种同步操作，多个动作在一个线程内按照顺序执行，当前操作未结束，下一个任务将被阻塞 （进入block）状态；并行，并发（异步）：并发：是异步操作，单个CPU（核心）执行多个任务；并行：是异步操作，多个CPU（核心）执行多个任务；...
2021-12-17 20:36:08
211
原创 spring将配置文件读取成常量
1.创建一个类去实现InitializingBean接口2.在该类加ConfigurationProperties注释并注明前缀prefix =“xxx.xxx”3.private String aaa; public static String AAA;4.重写afterPropertiesSet方法 aaa=AAA;
2021-12-16 14:47:17
372
1
原创 springboot 集成 Redis调试
在Spring Boot中，默认集成Spring Data Redis，Spring Data Redis针对Redis提供了非常方便的操作模版RedisTemplate，并且可以进行连接池自动管理。先导入依赖<!-- spring boot redis缓存引入 --><dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot
2021-12-16 10:27:31
760
原创 代码生成器配置
//代码生成器配置public void Velocity(){AutoGenerator autoGenerator = new AutoGenerator();GlobalConfig globalConfig = new GlobalConfig();String projectPath = System.getProperty(“user.dir”);globalConfig.setOutputDir(projectPath + “/src/main/java”);globalConfi
2021-11-22 19:56:31
1025
原创 闲来无事，写个mybatis-plus的流程
导包，版本什么的我就不说了第一步：写yml文件给个端口号server:port: 8081给个数据源spring:datasource:driver-class-name: com.mysql.jdbc.Driverurl: jdbc:mysql://192.168.47.130:3306/mybatis_plus?serverTimezone=GMT%2B8&characterEncoding=utf-8username: rootpassword: 123456配myba
2021-11-20 08:55:41
900
原创 Spring演变的理解
第一阶段：通过spring注解配置Bean，在方法中使用iocContainer.getBean(“自定义id”)的方式获取第二阶段：在类上使用@Component(value="")注解，扫描进入IOC容器，使用时通过@Autowired或者@Qualifier("")小配置：配置properties，通过@Value("${}")的方式引入，或者直接@Value(“自定义文本”)注入值...
2021-11-17 16:06:53
203
原创 centos8无网络连接解决方法
nmcli n如果是 disabled 进行如下操作nmcli n onsystemctl restart NetworkManager
2021-11-08 19:16:38
1295
原创 spring加载数据库连接池信息报错
报错信息：Caused by: java.lang.IllegalStateException: Cannot convert value of type ‘java.lang.String’ to required type ‘java.sql.Driver’ for property ‘driver’: no matching editors or conversion strategy found把name="driverClassName"改成name="driverClassName"..
2021-09-29 19:19:23
128
原创 关于spring 配置 druid连接池报错 errorCode 1045
将配置文件中username不管大小写，改为任意名称，比如lindashua.username引用位置修改为${lindashua.username}，保证在spring配置文件引用位置不能出现${username}，分析：spring会加载系统环境变量，在环境变量中存在’USERNAME’变量，如下就是你的计算机的用户名，所以要避免在spring配置文件中使用username关键字总结：所有的配置文件中的可自定义名称的变量最好都带上Reference前缀（全限定名）及作用位置保证其唯一性，所以
2021-09-29 19:10:52
697
1
原创 关于Spring IOC容器对象传递机制
比如我在配置文件里面定义了三个bean分别为happyComponent，happyService，controller，传递方式如图所示如下是表现层代码（随便写了一个，就当是servlet吧）可以看到我图二圈出来的位置，有的朋友会问，其实我们在happyService阶段就已经将想要的结果集查出来了，那我在controller里面直接调用happyService.getName()方法不就完事了，为什么要多此一举，在controller类里面写一个set方法，其实问题就在于，我们使用spring框
2021-09-28 21:00:09
99
原创 IDEA新建xml文件显示内容为普通文本，删除掉该文件重新创建后，类型依然不正确
我们在创建文件的时候，没有加后缀名，然后进入到第二个页面很容易乱点到一些规则，导致即使删除掉该文件重新创建后，类型依然不正确，这个时候我们需要进入settings–>Editor–>File Type内一般先查看Auto-detect file type by content里面有没有我们创建的文件，有的话点减号去掉如果上一步没找到你的文件名就走下一步，在Text中寻找你的文件，点减号去掉如果还找不到，看看自己的文件图标，再上图找类型的位置找到对应的图标，去删掉你的文件名即可（最差最差
2021-09-25 17:00:23
890
1
原创 2020.3版本Idea创建servlet右键不显示Create New Servlet的解决方法
很多同学发现自己按照网络上的方法配置了以后，右键依然没有这三个选项，那么请查看自己的tomcat版本（我就是因为用的是8版本，即使配的方法全对，也无法创建Servlet文件，推断tomcat8版本和idea2020.3不兼容），那么赶紧去下载10版本的TomCat替换你的老版本吧，链接我放在下面了https://dlcdn.apache.org/tomcat/tomcat-10/v10.0.10/bin/apache-tomcat-10.0.10.zip2020.3版本右键New已经不存在Create
2021-09-06 21:18:04
2107
原创 集合的理解
Collection 单列集合，用来存储一个个对象List接口：存储有序（下标）的可重复的数据（动态数组，自动扩容，可以理解为数组的升级替换品）ArrayList ： List接口的主要实现类，底层是Object数组（可以理解为Victor的线程不安全替代品）LinkedList ：底层是双线链表，频繁插入和删除效率高Victor ：古老实现类，线程安全，效率底，底层Object数组；List接口常用方法：遍历输出toString，不是地址；.add()：插入操作，默认下一位，第一个参数可以是
2021-09-04 08:22:42
94
原创 虚拟机启动蓝屏解决办法
首先查看bios是否开启虚拟化技术（我这是默认的）。打开控制面板——程序——启动或关闭windows功能——windows虚拟机监控程序平台/虚拟机平台（打上勾）有的默认不开启虚拟化
2021-03-21 12:20:06
6330
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人