- 博客(28)
- 收藏
- 关注
RSS订阅原创 mybatis初步了解
mybatis初步了解1：是什么Mybatis是一个半ORM（对象关系映射）框架，它内部封装了JDBC，开发时只需要关注SQL语句本身，不需要花费精力去处理加载驱动、创建连接、创建statement等繁杂的过程。2:工作流程以下是我查看源码画出mytatis 的流程图...
2022-04-25 18:21:37
344
原创 java锁初步认识
java锁初步认识锁在java中使用最多的是在对象上面，java对象的简单对象指针Oop的markWord中记录了锁标志，01：无锁，偏向锁00：轻量锁（cas）10：重量锁，阻塞11：Gc标志偏向锁：jdk开发者发现大多时候，一个线程将占有使用一个持有锁对象很久，很少有竞争者，这种情况并不需要锁。所以就记录持有锁的线程id在对象中，下次访问资源的如果还是该线程则放行轻量锁：对象处于偏向锁状态，如果再次访问资源的线程并不是记录的线程id，则升级为轻量锁，轻量锁使用cas（比较替换）方法。具
2022-04-14 14:57:33
263
原创 线程池了解
线程池了解多线程实现： 一是实现Runnable接口，然后将它传递给Thread的构造函数，创建一个Thread对象；二是直接继承Thread类什么是线程池？线程池是一种多线程处理形式，处理过程中将任务提交到线程池，任务的执行交由线程池来管理。如果每个请求都创建一个线程去处理，那么服务器的资源很快就会被耗尽，使用线程池可以减少创建和销毁线程的次数，每个工作线程都可以被重复利用，可执行多个任务。为什么要使用线程池？创建线程和销毁线程的花销是比较大的，这些时间有可能比处理业务的时间还要长。这样频繁的
2022-04-14 14:55:08
289
原创 初步了解jvm
1：jvm是什么计算机：有处理器（cpu），存储（硬盘），内存，这些重要组成，也承担了计算机的相关工作，那虚拟机是如何实现的，相关工作的，首先计算功能应该是交给操作系统完成的，jvm虚拟机：指令集，寄存器，栈，堆，方法区，本地方法栈指令集是用来和操作系统互动栈是程序执行的发生过程控制寄存器存储程序执行的状态，例如线程阻塞停止下来方法区是栈中指针的指引，是程序方法体的存在地本地方法栈，是执行java 本地程序的地方，java是c++编写，这里的方法可能是c++代码2：java是一个对象编程语言
2022-04-14 14:51:26
269
原创 Eureka初步了解
Eureka初步了解1：Eureka是什么Eureka是netflix开发的一个服务发现框架，目的是达到负载均衡和故障转移，1：服务注册2：服务发现3：缓存4：心跳5：多注册中心分区缓存：数据结构二级级结构：ConcurrentHashMapA<instanceId,Lease>一级结构：ConcurrentHashMap<spring.application.name,ConcurrentHashMapA>完整的结构：ConcurrentHashMap&l
2022-04-14 14:41:24
194
原创 MYSQL初步认识
MYSQL初步认识一： 在理解mysql之前我们先来看一点有趣的东西计算机的最小信息单位是什么？是byte，例如010100，计算机的存储部件是什么？固态硬盘，机械硬盘机械硬盘怎么存储数据的？磁信号与电信号的转换，机械硬盘的结构？1：磁盘转动的时候，磁头会在磁盘上留下圆弧轨迹，称为磁道，两个磁道之间的环形会被为若干份，其中一份称为扇区重要的情报：物理扇区是机械硬盘处理的最小存储单位2：我们可以想到磁盘最外围住的扇区是会比里面的扇区面积更大，所以以前的硬盘中心区域的磁密度更高，是为了让每一个扇
2022-04-14 14:37:40
191
转载 Eureka注册中心多中心配置＜搬运＞
Eureka注册中心多中心配置本博客搬运与[原博客](https://blog.csdn.net/j3oker/article/details/76164424)配置配置说明本博客搬运与原博客在增加防灾能力或者其他原因的时候，我们可能会在多机房部署springcloud注册中心，Eureka提供了分区的的用法，使得这个场景有了更有趣的设置，那就是在同区内，服务优先使用本机房的服务。例如北京的机房的服务将优先使用北京机房的服务，如果北京机房的注册中心崩了，就会使用外地的注册中心。配置如下配置serve
2022-04-09 20:30:04
663
原创 this.$store.addRoutes(）动态路由刷新失效
router.addRoutes(）this.$store.addRoutes(）动态路由刷新失效 动态路由其他router.addRoutes动态路由动态路由可以由前端控制（路由权限或者隐藏功能），或者后端实现，数据库存储权限根据权限传给前端，前端组装后add进路由，本次记录使用vue-router开发动态路由的探索（煎熬）过程。1：把权限按层级关系存入数据库2：登录时跳转到主页，3：登录后持久化路由信息在前端框架，可以用 localStorage，store（使用vuex-persist）
2022-04-01 03:30:55
531
原创 flink 异常记录
1：java.lang.NoSuchMethodError: scala.Product.initinitinit(Lscala/Product;)V设置对应的scala版本解答：jar包引用和运行时的scala版本不同，如果在开发过程遇到修改了环境配置还有这个问题，应该关闭所有idea窗口再打开才能生效。...
2020-11-27 09:38:46
247
翻译 flinkSql连接kafkaddl配置
选项必要类型描述connector需要String指定要使用的连接器，对于Kafka，选项为：‘kafka’, ‘kafka-0.11’, ‘kafka-0.10’.topic需要String主题名称properties.bootstrap.servers需要String用逗号分隔的Kafka brokers列表。properties.group.id通过源设定String卡夫卡源的使用者组的标识，卡夫卡接收器是可选的。format需...
2020-11-26 17:27:01
1598
原创 flink内存管理认识
了解flink内存管理对理解flink作业有很大的帮助，也可以解决一些程序运行问题，所以接下来进行flink的内存管理学习本次学习的主要资料来源是flink中文学习网站 ververiva.cn上图是flink资源调度划分，job是任务级别的，task是进程级别，进程级别是程序执行的最小单位，所以我将详细了解task的内存管理情况如下图所示，看上去有点眼花缭乱，怎么一个小小的slot里要区分这么多内存类型？貌似因为在以后slot有望进行slot之间的资源共享，也就是不耗内存的slot可以分一些资源给
2020-11-25 10:48:52
317
转载 Flink 生产配置实践＜搬运＞
以下是搬运flink官方教学视频运维篇配置原作者–席建刚（趣头条 实时平台负责人）#jobManager的IP地址jobmanager.rpc.address: localhost#JobManager的端口号jobmanager.rpc.port: 6123JobManager JvM heap 内存大小JVMjobmanager.heap.mb: 1024#TaskManager JvM heap内存大小JVMtaskmanager.heap.mb: 1024#每个TaskManager提
2020-11-23 12:14:24
388
原创 关于锁的认知探究
关于锁的认知探究临界资源，临界区：每个进程中访问临界资源的那段代码称为临界区。若能保证诸进程互斥地进入自己的临界区，便可实现诸进程对临界资源的互斥访问。为此，每个进程在进入临界区之前，应先对欲访问的临界资源进行检查，看它是否正被访问。如果此刻该临界资源未被访问，进程便可进入临界区对该资源进行访问，并设置它正被访问的标志；如果此刻该临界资源正被某进程访问，则本进程不能进入临界区。在操作系统中，有临界区的概念。临界区内放的一般是被1个以上的进程或线程（以下只说进程）共用的数据。临界区内的数据一次只能同时被一个
2020-11-14 21:11:45
138
原创 flink基础知识之window的灵活计算--aggregate
flink基础知识之window的灵活计算–aggregate在前面的博客里，我讲过window的Trigger，它是窗口的触发器可以灵活的控制窗口的关闭，今天我要介绍window的灵活计算，windos的aggregate方法。AggregateFunction内置有四个方法：createAccumulator()我的理解是定义一个用于累加的容器add()add()是一个很重要的方法，有两个参数IN value, ACC accumulator，value是输入数据，acc是我们定义的容器，我
2020-10-30 23:46:39
1230
原创 flinkTrigger基础认识
flinkTrigger是什么，为什么，怎么做，原理是是什么：trigger是flink窗口的触发器，也就是说它决定着什么时候窗口关闭，它有四个内置方法，*onElement() 方法会在窗口中每进入一条数据的时候调用一次*onProcessingTime() 方法会在一个ProcessingTime定时器触发的时候调用*onEventTime()方法会在一个EventTime定时器触发的时候调用*clear()方法会在窗口清除的时候调用比如说在一个对学生分数进行keyby–windo
2020-10-29 12:22:36
341
原创 重启虚拟机异常：Unmount and run xfs_repair
重启虚拟机异常：Unmount and run xfs_repair解决办法：原因：看出来应该是sda3分区损坏，修复就可以了1：启动虚拟机E进入单用户模式2：在linux16开头的哪一行后面添加rd.break，ctrl+x进入救援模式3：执行umount /dev/sda3执行xfs_repair -L /dev/sda3如果没有成功尝试 xfs_repair -L /dev/sda2再执行3步骤我是java开发，自己搭集群练习的时候遇到的问题，在网上找了很多方法都没有解决，后来到
2020-10-26 12:25:27
6561
8
原创 window安装hadoop客户端
window安装hadoop客户端场景提示：在我做flink到hive的sink练习的时候，运行代码时发生异常：HADOOP_HOMEand hadoop.home.dir are unset1:分析：我在本地虚拟机已经按照hadoop集群，在工程里的配置也指向我的集群地址，讲实话想不到会是什么原因导致没有设置hadoop，在网上查资料解释是说我没有在本地安装hadoop，但我以为我在集群部署了。后来想经验丰富的大佬求问才知道我需要在window安装hadoop的客户端才行，并不需要安hadoop，因为
2020-10-09 23:11:49
454
原创 flume自定义拦截器遇到的问题
flume自定义拦截器遇到的问题1:问题场景：通过flume同步mysql数据到kafka，再由flink消费，kafka分区功能可以提高消费能里，但是我们必须把一些有相同属性的数据放在同一个partition中。2：flume对kafkaSink提供两种指定partition的配置defaultPartitionId – 指定此通道中要发送到的所有事件的Kafka分区ID(整数)，除非partitionIdHeader覆盖。默认情况下，如果没有设置此属性，则事件将由Kafka生成器的分词器分发—
2020-10-07 21:26:34
1189
原创 解决linux配置ssh免密登录遇到的异常：-bash: cd: /root/.ssh: Not a directory
解决异常：-bash: cd: /root/.ssh: Not a directory事件场景：搭建了一个kafka集群，现在做脚本启动集群，发现需要做免密登录，在正常的免密设置中一台机遇到了该问题，花了不少时间解决所以记录一下一：免密登录的设置步骤原理：执行ssh-keygen生成秘钥 id_rsa.pub，将产生的id_rsa.pub放到authorized_keys文件，authorized_keys文件依次在集群中添加公钥id_rsa.pub，再覆盖之前集群里的authorized_keys，
2020-10-06 12:23:18
10668
5
原创 flink on yarn遇到的问题
flink on yarn遇到的问题在搭建flink on yarn集群遇到了很多问题，在踩坑的同时也学习了很多东西，记录下来第一做记录，第二希望给以后遇到这些问题的同学一个解决问题的思路，第三我作为初学者观点难免狭隘，希望有前辈看到给我指点，能多学点东西。1：The number of requested virtual cores for application master 1 exceeds the maximum number of virtual cores 0 available in t
2020-09-14 11:48:55
2249
1
原创 启动hadoop异常
启动hadoop异常背景：在安装flink on yarn的时候发现一年前安装的hadoop集群有不少问题，由于安装太久忘记了很多配置，所以重装了hadoop，但是启动hadoop异常，在网络上寻找答案很快解决问题，不过对于问题的产生没有在答案里看到异常信息：ATTEMPTING TO OPERATE ON HDFS NAMENODE AS ROOT解决办法：在你的Hadoop集群所有节点的安装目录hadoop/etc/hadoop/start-dfs.sh hadoop/etc/hado
2020-09-13 23:55:45
135
原创 关于我在Hadoop3.2.1集群安装hive3.1.2的过程记录
背景前提已经安装好了hadoop3.2.1集群，但是没有安装hive，hadoop3.2.1是比较新的版本，在网上有不少hadoop3.2.x版本安装hive3.1.2所以我认为，这两个版本应该是兼容的，整体安装是比较简单的，但还是遇到一些问题，所以记录一下安装hive下载地址：http://archive.apache.org/dist/hive/hive-3.1.2/[root@slave1 ~]# tar -zxvf apache-hive-3.1.2-bin.tar.gz [root
2020-09-11 20:12:38
1031
原创 flume入门学习过程
flume入门学习过程前景提要：现在我们对数据的处理更加的快速高效，我们使用flink，spark，storm等大数据处理工具来实时处理数据，这些工具的上游数据来源可能是应用，可能是各种数据库。那有什么工具可以把数据从多源头推送到大数据引擎？这样的工具有很多比如Flume， sqoop， canal，nifi等，经过了解我决定先学习flume，因为flume开发起来比较快，而且支持的平台很多。当然选用某个工具的时候最先考虑的应该是你当时的业务场景。flume是什么：是一个高可用的，高可靠的，分布式的
2020-09-08 23:55:13
251
转载 在linux上安装mysql教程
在linux上安装mysql教程最近在学习flume，需要在本次linux上安装mysql，在网上找了几个教程安装起来后面总是不能成功，后面终于遇到这个大哥的教程，终于把mysql安装好了，中间也遇到一些问题，自己也解决了，所以记录一下。转载于：https://blog.csdn.net/lizy928/article/details/82531749下载安装包wget http://repo.mysql.com/mysql57-community-release-el7-8.noarch.rp
2020-09-08 17:00:09
216
原创 Xshell无法连接虚拟机
Xshell无法连接虚拟机发生场景：台式机保存电脑文件，重装系统问题体现：Xshell连接虚拟机地址后，没有弹出输入账户/密码解决过程：重装Xshell，VMware，不过均没有解决问题最终解决：修改虚拟机网关解析问题：之前虚拟机的网关是 192.138.170.2，重装VMware后变成了192.168.63.123，所以导致虚拟机无法连接外网，Xshell去连接虚拟机的时候自然也是...
2020-01-10 16:37:39
303
原创 关于vmware提示Vmware提示以独占方式锁定此配置文件失败
关于vmware提示Vmware提示以独占方式锁定此配置文件失败场景：win10计算机因为异常不得不以不删除文件的方式更新电脑系统，打开电脑后C盘安装的很多软件都没有了，不过没有安装在c盘的软件是在的，不过我的vmware打开遇到了一些问题，显示以独占方式锁定此配置文件失败，我安装了10个左右的linux系统，奇怪的是有些能打开有一些不能，我把正常的软件关闭后，从新打开也异常了。我在网上找了一下...
2019-12-20 10:38:36
786
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人