- 博客(33)
- 问答 (1)
- 收藏
- 关注
原创 Kafka笔记
如果研发人员可以根据企业需求,自己重新实现分区器。需求例如我们实现一个分区器实现,发送过来的数据中如果包含 atguigu,就发往 0 号分区,不包含 atguigu,就发往 1 号分区步骤定义类实现 Partitioner 接口。/*** 1. 实现接口 Partitioner* 2. 实现 3 个方法:partition,close,configure* 3. 编写 partition 方法,返回分区号*//*** 返回信息对应的分区* * @param topic 主题。
2024-01-22 22:12:11
945
原创 spark 学习笔记
Spark CoreSpark 是一种基于内存的快速,通用,可扩展的大数据分析计算引擎和Hadoop 进行比较Hadoop MapReduce 由于其设计初衷并不是为了满足循环迭代式数据流处理,因此在多并行运行的数据可复用场景(如:机器学习、图挖掘算法、交互式数据挖掘算法)中存在诸多计算效率等问题。所以 Spark 应运而生,Spark 就是在传统的 MapReduce 计算框架的基础上,利用其计算过程的优化,从而大大加快了数据分析、挖掘的运行和读写速度,并将计算单元缩小到更适合并行计算和重复使用的
2024-01-22 19:31:52
1681
原创 性能调优思路(待完善)
总体性能调优思路为性能瓶颈点分析、关键参数调整以及SQL调优。在调优过程中,通过系统资源、吞吐量、负载等因素来帮助定位和分析性能问题,使系统性能达到可接受的范围。
2024-01-22 10:59:52
384
原创 lvm 分区扩容
l :显示已知的分区类型,其中82为Linux swap分区,83为Linux分区。t :改变一个分区的系统号码(比如把Linux Swap分区改为Linux分区)pvcreate /dev/sdb2 对新分区创建PV。q :退出fdisk程序,不保存任何修改。s :创建一个新的空白的Sun磁盘标签。w :保存修改结果并退出fdisk程序。o :创建一个新的空白的DOS分区表。lsblk 如果没有显示新的分区信息。b :修改bsd的磁盘标签。p :显示磁盘当前的分区表。n :增加一个新的分区。
2023-10-27 11:25:21
100
原创 scala 学习笔记
Scala是一门以Java虚拟机(JVM)为运行环境并将面向对象和函数式编程的最佳特性结合在一起的静态类型编程语言(静态语言需要提前编译的如:Java、c、c++等,动态语言如:js)Scala是一门多范式的编程语言,Scala支持面向对象和函数式编程。(多范式,就是多种编程方法的意思。有面向过程、面向对象、泛型、函数式四种程序设计方法。)安装对应Java版本的scala 解压 配置系统环境变量默认情况下 IDEA 不支持 Scala 的开发,需要安装 Scala 插件。可在线安装默认下,Maven 不支持
2022-07-31 20:31:45
1851
转载 数据一致性部分算法基础
分布式部分算法思考:**Zookeeper 是如何保证数据一致性的?**这也是困扰分布式系统框架的一个难题Paxos算法Paxos算法:一种基于消息传递且具有高度容错特性的一致性算法**Paxos算法解决的问题:**就是如何快速正确的在一个分布式系统中对某个数据值达成一致,并且保证不论发生任何异常,都不会破坏整个系统的一致性。描述算法缺陷推演下面我们针对上述描述做三种情况的推演举例:为了简化流程,我们这里不设置 Learner。Paxos 算法缺陷:在网络复杂的情况下,一个应用 Pa
2022-05-21 21:47:40
107
原创 redis 笔记
Redis 笔记概述技术分类解决功能性的问题:Java,Jsp,Tomcat,Html,RDMS,Linux解决扩展性的问题:Spring,SpringMVC,Mybatis解决性能的问题:NoSQL,Java线程,Hadoopnosql 数据库的特点-以简单的key-value模式存储场景——分布式下session存储问题:解决存在客户端cookie——不安全,网络负担效率低session——session数据冗余,节点越多浪费越大存在文件服务器或者数据库里——大量IO效率问题
2022-03-28 19:19:48
1567
原创 mysql 锁与事务
mysql 锁与事务锁按锁级别划分:共享锁与排他锁共享锁(读锁):其他事务可以读,但不能写。多个共享锁是可以并行的共享锁就是只针对update时候加锁,在未对update操作提交之前,其他事务只能够获取最新的记录但不能够update操作。排他锁(写锁) :其他事务不能读取,也不能写。一开始就对记录上锁了,在本事务未提交之前别的事务无权进行任何操作按锁的粒度划分:表级锁,行级锁和页级锁(mysql BDB支持)表级锁和行级锁对比:表级锁: MySQL 中锁定 粒度最大 的一种锁
2022-03-24 17:03:41
1324
原创 mysql日志
MySql 三大日志binlog-mysql-server层redolog-innodb-存储引擎层redolog-崩溃恢复比如 MySQL 实例挂了或宕机了,重启时,InnoDB存储引擎会使用redo log恢复数据,保证数据的持久性与完整性。每条 redo 记录由“表空间号+数据页号+偏移量+修改数据长度+具体修改的数据”组成MySQL 中数据是以页为单位,你查询一条记录,会从硬盘把一页的数据加载出来,加载出来的数据叫数据页,会放入到 Buffer Pool 中。后续的查询都是先从 Bu
2022-03-23 16:14:51
844
原创 tcp https 整理笔记
TCP 如何保证可靠性应用数据被分割成 TCP 认为最适合发送的数据块。TCP 给发送的每一个包进行编号,接收方对数据包进行排序,把有序数据传送给应用层。校验和: TCP 将保持它首部和数据的检验和。这是一个端到端的检验和,目的是检测数据在传输过程中的任何变化。如果收到段的检验和有差错,TCP 将丢弃这个报文段和不确认收到此报文段。TCP 的接收端会丢弃重复的数据。流量控制: TCP 连接的每一方都有固定大小的缓冲空间,TCP 的接收端只允许发送端发送接收端缓冲区能接纳的数据。当接收方来不及处理
2022-03-23 16:13:55
1172
原创 mysql mvcc
mysql MVCCMVVC 实现:排他锁+undolog+版本事务链+一致性read-view视图+版本事务链匹配规则两段提交举例 证明为什么要有prepare阶段**先写redo log后写binlog:**假设在redolog写完,binlog还没有写完的时候,mysql进程异常重启。由于我们前面说过的,redolog写完之后,系统即使崩溃,仍然能够把数据恢复回来,所以恢复后这一行c的值是1。但是由于binlog没写完就crash了,这时候binlog里面就没有记录这个语句。因此,之后备
2022-03-21 21:27:53
1844
原创 mysql索引笔记
Mysql 索引笔记create table数据类型 int char varchar decimal date(time)主键-联合主键(每张表都应该有个主键 ) 主键——数据库表中每一行的唯一标识约束: not null/ unique / primart key / foreign key如果说数据是字典的话,索引就是字典的目录mysql常用的索引有两种B+Tree和Hash默认是前者(实际上InnoDB只支持BTree)创建索引 删除索引:create index idx_ema
2022-03-21 13:40:21
897
原创 docker入门(基础篇笔记)
Docker(基础篇)[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-oeFBvGbZ-1639288602543)(E:/%E5%AD%A6%E4%B9%A0/%E7%AC%94%E8%AE%B0/docker.assets/576507-docker1.png)]概述一款产品:开发——上线 两套环境! 应用环境,应用配置!配置麻烦,不能够跨平台传统:开发jar,运维来做现在:开发打包部署上线,一套流程做完!Docker 给以上的问题,提出了解决方案java
2022-01-01 16:56:25
788
原创 logback简介及配置详解
logback简介Logback是由log4j创始人设计的另一个开源日志组件,官方网站: http://logback.qos.ch。logback的结构:主要由三个模块组成:logback-core // 基础模块,其他模块基于此logback-classic // 它是log4j的一个改良版本,同时它完整实现了slf4j API,可以更换成其它日志系统,如log4jlogback-access // 访问模块与Servlet容器集成提供通过Http来访问日志的功能用它取代log4
2021-12-12 14:11:52
409
原创 ElasticSearch(狂神说笔记)
ElasticSearch(狂神说笔记)ES安装及head插件安装声明:JDK 1.8以上,最低要求!ElasticSearch 客户端。界面工具!Java 开发,ElasticSearch的版本和我们之后对应的Java的核心jar包!版本对应!JDK环境是正常!官网:https://www.elastic.co/cn/elasticsearch/ELK三件客,解压即用‘ 我用的都是 7.6.1的版本window下安装解压即用熟悉目录bin 启动文件config 配置文件log
2021-12-11 19:55:06
2497
原创 mybatis_generator 插件笔记
MyBatis Generator的使用介绍MyBatis Generator 生成的文件包含三类:(1)Model实体文件,一个数据库表对应生成一个 Model 实体;(2)Mapper接口文件,数据数操作方法都在此接口中定义;(3)Mapper XML配置文件pom.xml 分析<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0"
2021-10-14 20:16:06
129
原创 SpringMVC 狂神说笔记
SpringMVCssm框架:研究官方文档,锻炼自学能力,锻炼项目能力SpringMVC:SpringMVC的执行流程!1、回顾MVCjavaweb:模型(dao,service)、视图(jsp)、控制器(Servlet)的简写1.1、什么是MVCMVC是模型(Model)、视图(View)、控制器(Controller)的简写,是一种软件设计规范。是将业务逻辑、数据、显示分离的方法来组织代码。MVC主要作用是降低了视图与业务逻辑间的双向偶合。MVC不是一种设计模式,MVC是一种架构模式
2021-09-21 15:08:52
461
原创 Spring 笔记 狂神说
Spring 开源免费的框架(容器)Spring是轻量级别的开源的JavaEE框架 非入侵式的框架解决企业应用开发的复杂性核心功能:IOC、AOPIOC:控制反转,把创建对象过程交给Spring进行管理AOP:面向切面.不修改源代码进行修改Spring特点(1) 方便解耦,简化开发(2) 支持AOP(3) 方便测试(4) 方便整合其他框架(5) 方便进行事务操作(6) 降低API开发难度SSH:Spring+Struct2+HiberanteSSM:Spr
2021-09-09 16:08:30
169
原创 Mybatis 狂神说笔记
Mybatis-9.28环境:JDK 1.8Mysql 5.7maven 3.6.1SSM框架:配置文件,最好的方式:看官方文档简介1.1 什么是MybatisMyBatis 是一款优秀的持久层框架它支持自定义 SQL、存储过程以及高级映射。MyBatis 免除了几乎所有的 JDBC 代码以及设置参数和获取结果集的工作MyBatis 可以通过简单的 XML 或注解来配置和映射原始类型、接口和 Java POJO(Plain Old Java Objects,普通老式 Java 对
2021-09-02 13:59:42
223
原创 mysql(八)
10,JDBC(重点)10.1 数据库驱动驱动:声卡,显卡,数据库我们的程序会通过数据库驱动,和数据库打交道10.2 JDBCSUN 公司为了简化 开发人员的(对数据库的统一操作),提供了一个(java操作数据库的规范),俗称 JDBC这些规范的实现由具体厂商去做~对于开发人员来说,我们只需要掌握JDBC接口的操作即可!架构——没有什么是加一层解决不了的java.sqljavax.sql还需要导入一个数据库驱动包 mysql-connector-java-5.1.47.jar第一
2021-08-16 12:24:10
180
原创 mysql(七)
8,权限管理和备份8.1 用户管理SQLyog 用户可视化管理[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-rBsglxAE-1628768441361)(E:/%E5%AD%A6%E4%B9%A0/%E5%BC%80%E5%8F%91%E5%AD%A6%E4%B9%A0/mysql/mysql07.assets/image-20210811212958599.png)]SQL 命令操作本质:mysql.user 表-- 创建用户 CREATE USER
2021-08-12 19:43:49
106
原创 mysql(六)
事务6.1 什么是事务要么都成功,要么都失败SQL 执行 A给B 转账 A 1000 —>200 B 200SQL 执行 B收到A的钱 A 800 —> B 400将一组SQL 放在一个批次中去执行事务管理 ACID原子性(Atomicity) 针对同一个事务 要么都完成,要么都不完成一致性(Consistency)最终一致性,针对一个事务操作前与操作后的状态一致隔离性(Isolation) 针对多个用户同时操作,主要是排除其他事务对本次事务的影响
2021-08-11 21:24:58
81
原创 mysql(五)
5,Mysql常用函数5.1 常用函数-- ================= 常用函数 ===================-- 数学运算SELECT ABS(-8) -- 绝对值SELECT CEILING(9.4) -- 向上取整SELECT FLOOR(9.4) -- 向下取整SELECT RAND() -- 返回一个 0~1的随机数SELECT SIGN(10)-- 判断一个数字的符号 正数:1,负数:-1 0-0-- 字符串函数SELECT CHAR_LENGT
2021-08-11 21:21:41
49
原创 mysql(四)
4,DQL查询数据(最重点)[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-VPsEHNzO-1628593264949)(E:\学习\开发学习\mysql\mysql04.assets\image-20210809103926011.png)]SELECT语法SELECT [ALL | DISTINCT]{* | table.* | [table.field1[as alias1][,table.field2[as alias2]][,...]]}FROM ta
2021-08-10 19:02:04
117
原创 初识java网络编程
网络编程1.1 概述打电话——连接——接了——通话 TCP发短信——发送了就完事了——接收 UDP计算机网络:计算机网络是指将地理位置不同的具有独立功能的多台计算机及其外部设备,通过通信线路连接起来,在网络操作系统,网络管理软件及网络通信协议的管理和协调下,实现资源共享和信息传递的计算机系统网络编程的目的:传播,数据交换,通信想要达到这个效果需要什么:如何准确的定位网络上的一台主机 地址:192.168.16.125 端口port,定位到这个计算机上的某个资源找到了这个主机,如何
2021-08-09 11:59:09
134
原创 初识HTML
HTMLhyper text markup language(超文本标记语言)[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-eSBAjljw-1628480782770)(C:\Users\Administrator\AppData\Roaming\Typora\typora-user-images\image-20210704100045599.png)]HTML 5+CSS 3[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-80DlS
2021-08-09 11:47:38
107
原创 mysql(三)
3 mysql数据管理3.1 外键(了解即可)学生的年级信息会到年纪表里面查外键——约束 constraint设置外键的条件:要设置外键的字段不能为主键改键所参考的字段必须为主键两个字段必须具有相同的数据类型和约束方式一,在创建表的时候,增加约束(麻烦,比较复杂)CREATE TABLE IF NOT EXISTS `teacher`( `id` INT(4) NOT NULL AUTO_INCREMENT COMMENT'学号', `name` VARCHAR(30)
2021-08-07 23:06:46
56
原创 mysql(二)
操作数据库操作库-操作表-操作表里的字段mysql 的关键字不分大小写2.1 操作数据库创建数据库CREATE DATABASE IF NOT EXISTS class删除数据库DROP DATABASE IF EXISTS class使用数据库USE school-- tab键的上面,如果你的表名或者字段名是一个特殊字符,就需要``SELECT `user` FROM student查看数据库SHOW DATABASES --查看所有的数据库2.
2021-08-07 23:06:07
68
原创 mysql(一)
1.初识MySQLjavaEE:企业级java开发 Web前端(页面:展示,数据!)后台(连接点:连接数据库:JDBC,连接前端(控制,控制视图跳转,和给前端传递数据))数据库(存数据)why岗位需求得数据得天下被迫需求:存数据,去IOE数据库是所有软件体系中最核心的存在 DBA什么是数据[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-1chTaZgT-1628348658984)(C:\Users\Administrator\AppData\Roam
2021-08-07 23:05:20
51
原创 layout2img 项目复现经验
Layout2im 项目复现经验错误:cl: 命令行 error D8021 :无效的数值参数“/Wno-cpp"参考文章:(27条消息) 错误:cl: 命令行 error D8021 :无效的数值参数“/Wno-cpp”_随海亮-CSDN博客windows10编译Pycocotools出现pycocotools mask.c, No such file or directory错误的解决办法参考文章:(27条消息) windows10编译Pycocotools出现pycocotools
2021-06-30 14:48:45
131
原创 image generation from scene graphs 论文+code复现总结
text2img(一)论文+code复现总结 image generation from scene graphsabstraction传统方法在一些限制好的领域像鸟或花,这些方法都还不错,但是在如实地分解复杂的段落为多个对象和关系上都很失败。他们提出了一个方法,从场景图生成图像,明确地推理对象和他们的关系用图卷积网络处理输入图像,计算一个场景布局通过预测边界框和对象分割遮罩,通过级联优化网络(一对鉴别器)将布局转化为网络introduction传统方法 RNN+GAN句子是线性结构[外链图
2021-04-06 20:50:21
610
原创 cs61b proj0
cs61b proj0 问题总结第一次 提交项目 遇到蛮多问题的NBody 类main()方法的运行mian() 方法的编译不成功开始以为是自己哪里写的不对(浪费了时间) 但上网查了之后发现是编译命令没写对(虽然不知道原理) javac -encoding UTF-8 NBody.java如上就可以解决成功git push 不成功出现如下错误OPenSSL SSL_connect:Connection was reset in connection to github.com:443
2021-02-28 19:54:55
549
空空如也
win10家庭版gpedit.msc组策略找不到Device Guard
2021-09-01
TA创建的收藏夹 TA关注的收藏夹
TA关注的人