- 博客(221)
- 收藏
- 关注
RSS订阅转载 二百二十一
如果需要小编其他数学基础博客，请移步小编的GitHub地址 传送门：请点击我如果点击有误：https://github.com/LeBron-Jian/DeepLearningNote这里我打算补充一下机器学习涉及到的一些关于微积分的知识点。微积分是高等数学中研究函数的微分，积分以及有关概念和应用的数学分支。它是数学的一个基础学科。内容主要包括极限，微分学，积分学及其应用。微分学包含求导数的运算，是一套关于变化率的理论。它使得函数，速度，加速度和曲线的斜率等均可用一套通用的符号进行讨论。积分学，包
2021-01-08 08:21:05
593
转载 二百二十一
主备延迟是怎么产生的产生主备延迟的根本原因是备库上消费 binlog 的速度赶不上主库产生 binlog 的速度。比如：大事务，例如一次性delete很多数据；大表的DDL；备库压力大。例如有些像运维、订单等统计分析在备机上跑；主备库的服务器的配置不同，主库的服务器配置好，备库的服务器配置差。主备延迟的排查之路网络网络可能导致主备延迟的问题，比如主库或者备库的带宽满负载、主备之间网络延迟很大，有可能会导致主库的 binlog 没有全量传输到备库，造成延迟。机器性能备库 使用了烂机器？ 比
2021-01-08 08:19:49
130
转载 二百二十
在文章中，我们将对输入到机器学习模型中的数据集进行预处理。这里我们将对一个硬币数据集进行预处理，以便以后在监督学习模型中进行训练。在机器学习中预处理数据集通常涉及以下任务:清理数据——通过对周围数据的平均值或使用其他策略来填补数据缺失或损坏造成的漏洞。规范数据——将数据缩放值标准化到一个标准范围，通常是0到1。具有广泛值范围的数据可能会导致不规范，因此我们将所有数据都放在一个公共范围内。一种热编码标签——将数据集中对象的标签或类编码为N维二进制向量，其中N是类的总数。数组元素都被设置为0，除了与对象
2021-01-08 08:19:05
371
转载 二百一十九
SQL 语句执行慢的原因是面试中经常会被问到的，对于服务端开发来说也是必须要关注的问题。在生产环境中，SQL 执行慢是很严重的事件。那么如何定位慢 SQL、慢的原因及如何防患于未然。接下来带着这些问题让我们开启本期之旅！图注：思维导图写操作作为后端开发，日常操作数据库最常用的是写操作和读操作。读操作我们下边会讲，这个分类里我们主要来看看写操作时为什么会导致 SQL 变慢。刷脏页脏页的定义是这样的：内存数据页和磁盘数据页不一致时，那么称这个内存数据页为脏页。那为什么会出现脏页，刷脏页又怎么会导致
2021-01-08 08:18:23
98
转载 二百一十八
聊聊redis执行lua原理从一次面试场景说起“看你简历上写的精通redis”“额，还可以啦”“那你说说redis执行lua脚本的原理”“这个，这个，不就是那么执行的吗，eval 一段lua脚本就行了”“好的，了解了，今天面试先到这个吧，后续有消息会通知你”“好的，祝您生活愉快”面试场景纯属娱乐，但这个面试题确实是笔者真实遇到过的，今天我们就来看看redis执行lua脚本的原理，希望通过本篇学习可以解决心中的困惑，更深层次的讲可以了解到两种不同语言沟通的一点思想，我觉得这个是最宝贵的。名词
2021-01-08 08:17:46
173
转载 二百一十七
最近在做Python职位分析的项目，做这件事的背景是因为接触Python这么久，还没有对Python职位有一个全貌的了解。所以想通过本次分析了解Python相关的职位有哪些、在不同城市的需求量有何差异、薪资怎么样以及对工作经验有什么要求等等。分析的链路包括：数据采集数据清洗异常的创建时间异常的薪资水平异常的工作经验统计分析大盘数据单维度分析二维交叉分析多维钻取文本分析文本预处理词云FP-Growth关联分析LDA主题模型分析分为上下两篇文章。上篇介绍前三部分内容，下篇重点介绍
2021-01-08 08:16:54
416
转载 二百一十六
SQL注入即是指web应用程序对用户输入数据的合法性没有判断或过滤不严，攻击者可以在web应用程序中事先定义好的查询语句的结尾上添加额外的SQL语句，在管理员不知情的情况下实现非法操作，以此来实现欺骗数据库服务器执行非授权的任意查询，从而进一步得到相应的数据信息。1、SQL注入案例模拟一个用户登录的SQL注入案例，用户在控制台上输入用户名和密码, 然后使用 Statement 字符串拼接的方式实现用户的登录。1.1 数据库中先创建用户表及数据复制代码– 创建一张用户表CREATE TABLE u
2021-01-08 08:15:58
105
转载 二百一十五
基本组件： Connected App Integration Profile Connect user with integration profile APEX REST Class组件用途：Connected App:主要可以生成专属的client id 和client secret, 为两串无规律字符，且一般生成以后不会发生变化，分享给消费者方调用时需要配置，有些鉴权方式下必须要具备这俩个参数时才可以成功调用。同时需要配置相
2021-01-08 08:15:12
101
转载 二百一十四
目录一、纯函数的概念1.纯函数2.非纯函数3.纯函数：相同的输入保证相同的输出4.纯函数和非纯函数对比二、纯函数的 3 个原则三、函数的副作用四、Python 中的内置函数重点需要记住纯函数的概念和函数的副作用，面试会问，哈哈。一、纯函数的概念一个函数的返回结果只依赖于它的参数，并且在执行过程里面没有副作用，我们就把这个函数叫做纯函数。纯函数不是特定的语法，不是特定的功能，它只是一个概念。就是一个函数使用的时候的一种规则。1.纯函数虽然这是个递归函数，它也是纯函数的一种：def
2021-01-08 08:14:18
110
转载 二百一十三
图数据库文章总目录：整理所有图相关文章，请移步(超链)：图数据库系列-文章总目录源码分析相关可查看github（码文不易，求个star~）： https://github.com/YYDreamer/janusgraph版本：JanusGraph-0.5.2转载文章请保留以下声明：作者：洋仔聊编程微信公众号：匠心Java原文地址：https://liyangyang.blog.csdn.net/前言JanusGraph的批量导入速度一直是用户使用的痛点， 下面会依托官网的介绍和个人理解，聊
2021-01-08 08:13:39
166
转载 二百一十二
MyBatis 简介MyBatis 是一个基于 Java 的持久层框架，它内部封装了 JDBC，使开发者只需关注 SQL 语句本身，而不用再花费精力去处理诸如注册驱动、创建 Connection、配置 Statement 等繁杂过程。Mybatis 通过 xml 或注解的方式将要执行的各种 Statement、PreparedStatement 等配置起来，并通过 Java 对象和 Statement 中 SQL 的动态参数进行映射生成最终执行的 SQL 语句，最后由 MyBatis 框架执行 SQL
2021-01-07 08:28:30
123
转载 二百一十一
通过 SpringBoot +MyBatis 实现对数据库学生表的查询操作新建一个09-springboot-web-mybatis项目，方式和之前一样，基于springboot的新建一个数据库springboot，指定字符编码集utf-8，并创建数据表表名为：t_student，并插入几条数据 <dependency> <groupId>org.mybatis.spring.boot</groupId> <artif
2021-01-07 08:27:49
97
转载 二百一十
Java HashMap 源码解读一、 Map1.1 Map 接口在 Java 中, Map 提供了键——值的映射关系。映射不能包含重复的键,并且每个键只能映射到一个值。以 Map 键——值映射为基础，java.util 提供了 HashMap（最常用）、 TreeMap、Hashtble、LinkedHashMap 等数据结构。衍生的几种 Map 的主要特点：HashMap：最常用的数据结构。键和值之间通过 Hash函数 来实现映射关系。当进行遍历的 key 是无序的TreeMap：使用红黑
2021-01-07 08:26:45
120
转载 二百零九
LocaleResolver 组件LocaleResolver 组件，本地化（国际化）解析器，提供国际化支持回顾先来回顾一下在 DispatcherServlet 中处理请求的过程中哪里使用到 LocaleResolver 组件，可以回到《一个请求的旅行过程》中的 DispatcherServlet 的 processDispatchResult 方法中看看，如下：private void processDispatchResult(HttpServletRequest request, HttpS
2021-01-07 08:25:49
142
转载 二百零八
Abp官方异常处理Abp项目默认会启动内置的异常处理，默认不将异常信息发送到客户端。在AppModule文件ConfigureServices方法中使用以下代码：Configure(options =>{options.SendExceptionsDetailsToClients = true;});可将异常信息发送到客户端：如下图：{“error”: {“code”: null,“message”: “ERROR [42000] [Cloudera][ImpalaODBC].
2021-01-07 08:25:06
207
转载 二百零七
一、前言最近，单位APP做了升级，同步的，API也做了升级。升级过程中，出现了一点问题：API升级后，旧API也需要保留，因为有旧的APP还在使用中。那么，API端如何作到多个版本共存呢？为防止非授权转发，这儿给出本文的原文链接：https://www.cnblogs.com/tiger-wang/p/14167625.html二、快速的解决办法API的露出，是在API的Route定义中实现的。看下面的例子：[Route(“api/[controller]”)]public class D
2021-01-07 08:24:24
107
转载 二百零六
环境准备本文介绍从零开始创建多个虚拟机，组建一个测试k8s集群的完整过程，并记录中间踩过的坑创建虚拟机安装vagrant和virtualboxhttps://www.vagrantup.com/https://www.virtualbox.org/wiki/Downloads创建两个目录（一个目录对应一个虚拟机），进入执行vagrant init centos/7初始化，以及vagrant up，然后去吃饭，等待虚拟机装好D:\vm2>vagrant init centos/7A Va
2021-01-07 08:23:42
689
转载 二百零五
说责任链之前，先引入一个场景，假如规定学生请假小于或等于 2 天，班主任可以批准；小于或等于 7 天，系主任可以批准；小于或等于 10 天，院长可以批准；其他情况不予批准；以此为需求，写一个程序，你会怎么做？按着过程思维方式，最快最直白的就是，if else嘛，配合java，无非多追加学生类和各个角色的类。下面介绍的设计模式或许会给我们一些启发。责任链又叫做职责链，是属于行为型设计模式，它的初衷是为了解决一个事件需要经过多个对象处理是很常见的场景。责任链的运作流程是将所有请求的处理者通过前一对象记住其下一
2021-01-07 08:22:48
108
转载 二百零四
背景介绍华为云数据库GaussDB(for Redis) 是一款基于计算存储分离架构，兼容Redis生态的云原生NoSQL数据库；它依靠共享存储池实现了强一致，支持持久化落盘存储，保证数据的安全可靠。其核心特点是：存算分离、强一致、低成本、超大容量。GaussDB(for Redis)服务团队在支撑某客户业务上云的过程中，发现一次由fork引发的时延抖动问题，本着对客户负责任的态度，我们详细探究了fork这个系统调用的性能影响，并且在最新的GaussDB(for Redis)版本已解决了这个抖动问题，清
2021-01-07 08:21:39
83
转载 二百零三
一、背景在迅速变化和发展的物联网市场，新的产品需求不断涌现，因此对于智能硬件设备的更新需求就变得空前高涨，设备不再像传统设备一样一经出售就不再变更。物联网平台支持通过在线升级方式进行设备固件升级，是智能设备修复系统漏洞、实现系统升级的手段，为用户通过固件升级提供更好的服务。固件升级功能不仅能够更新固件，而且还能重新配置片上硬件资源。同时，在线升级也是嵌入式设备端的敏捷式开发的新型产品化方式。二、固件升级对设备的重要性物联网领域具有多样性，应用和最终解决方案需求也是如此。面对和传统设备的需求差异，OT
2020-12-31 13:37:19
125
转载 二百零二
近期，Kubernetes在其最新的Changelog中宣布，自Kubernetes 1.20之后将弃用Docker作为容器运行时。这一消息在云原生领域激起了不小的水花，在Rancher技术社区里许多小伙伴也对此进行了激烈的讨论。Kubernetes为什么选择弃用Docker呢？我们需要先简单了解Dockershim。它是一个桥接服务，帮助Kubernetes与Docker进行通信，Kubelet 之前使用 dockershim 实现对 Docker 的 CRI 支持（Docker本身目前尚未实现CRI）
2020-12-31 13:36:03
80
转载 二百零一
图解Janusgraph系列-并发安全：锁机制（本地锁+分布式锁）分析大家好，我是洋仔，JanusGraph图解系列文章，实时更新~图数据库文章总目录：整理所有图相关文章，请移步(超链)：图数据库系列-文章总目录地址：https://liyangyang.blog.csdn.net/article/details/111031257源码分析相关可查看github（码文不易，求个star~）： https://github.com/YYDreamer/janusgraph下述流程高清大图地址：ht
2020-12-31 13:34:45
69
转载 二百
你好，我是YourBatman。上篇文章介绍了PropertyEditor在类型转换里的作用，以及举例说明了Spring内置实现的PropertyEditor们，它们各司其职完成 String <-> 各种类型 的互转。在知晓了这些基础知识后，本文将更进一步，为你介绍Spring是如何注册、管理这些转换器，以及如何自定义转换器去实现私有转换协议。版本约定Spring Framework：5.3.1Spring Boot：2.4.0✍正文稍微熟悉点Spring Framework的小
2020-12-31 13:32:33
83
1
转载 一百九十九
Cisco Packet Tracer NAT模拟实验by: 铁乐猫date: 2020-09-22cisco packet tracer : 7.2.2NAT简介NAT允许将私有IP地址映射到公网(合法的Internet IP) 地址,以此来做到多个内网ip共用一个公网ip之类。NAT使用场景：需要连接Internet,但是你的主机没有公网IP地址更换了一个新的ISP, 需要重新组织网络需要合并两个具有相同网络地址的内网NAT一般应用在边界路由器中,比如公司连接Internet的路由器
2020-12-31 13:31:39
121
转载 一百九十八
1 LEAD与LAG相反，LEAD(col,n,DEFAULT) 用于统计窗口内往下第n行值参数1为列名，参数2为往下第n行（可选，默认为1），参数3为默认值（当往下第n行为NULL时候，取默认值，如不指定，则为NULL）场景用户Peter在浏览网页，在某个时刻，Peter点进了某个页面，过一段时间后，Peter又进入了另外一个页面，如此反复，那怎么去统计Peter在某个特定网页的停留时间呢，又或是怎么统计某个网页用户停留的总时间呢？create table test.user_log(user
2020-12-31 13:30:33
61
转载 一百九十七
一、同步阻塞 IO（BIO）当用户线程调用了 read 系统调用，内核（kernel）就开始了 IO 的第一个阶段：准备数据。很多时候，数据在一开始还没有到达（比如，还没有收到一个完整的Socket数据包），这个时候 kernel 就要等待足够的数据到来。当 kernel 一直等到数据准备好了，它就会将数据从 kernel 内核缓冲区，拷贝到用户缓冲区（用户内存），然后 kernel 返回结果。从用户线程 read 系统调用开始，用户线程就进入阻塞状态，一直到 kernel 返回结果后，用户线程才解除
2020-12-30 14:08:52
61
转载 一百九十六
前言：经过三分钟的思考决定换个标题，这两天其实游戏制作进度推了大半了，加入了许多自我创作的素材，不过想一想用来讲解的实例不该这么花哨，决定还是参照我的一些教材做一些简单的示例不然要说的东西太多，本人学艺不精尚不能把用到的每个版块讲清楚，这篇内容就是创建一个游戏模型并让它有攻击的能力顺便补上之前没说的摄像机与灯光，同时讲解会放前面，实际操作放后面，一些类似的操作就不一步步展示了。自我发挥创作的要素在游戏大体完成后逐步介绍给大家，我会另开一个项目文件用来讲解用，之前那个被塞了太多东西了。射击类游戏实例作为
2020-12-30 14:08:03
82
转载 一百九十五
Java各版本新增特性, Since Java 8作者：Grey原文地址：Github语雀博客园Java 8Reactor of Java 这一章来自于《Spring in Action, 5th》 的笔记，因为这本书讲Reactor of Java讲的太好了，所以作为笔记摘抄了下来。Reactor of JavaIn an imperative programming model, the code would look something like this:String name
2020-12-30 14:07:03
77
转载 一百九十四
属性集【Properties】java.util.Properties类继承于Hashtable，用来表示一个持久的属性集。它使用键值结构存储数据，每个键及其对应的值都是一个字符串。构造方法 public Properties()：创建一个空的属性集列表。共性的api方法public Object setProperty(String key,String value)：保存一对属性。public String getProperty(String key)：使用此属性列表中的指定的键搜索对应
2020-12-30 14:06:03
60
转载 一百九十三
前言随着Asp .Net Core的升级迭代，很多开发者都逐渐倾向于.net core开发。.net core是一个跨平台的应用程序，可以在windows、Linux、macOS系统上进行开发和部署，是一个体系结构更精简模块化框架。生成WebUi和WebApi的统一使用场景；集成新的客户端框架和开发工作流；前后端分离为两个dll（view.dll,web.dll），更容易迭代，可以使用应用版本控制；内置依赖注入，更高效安全；高性能模块化的HTTP请求管道；能够在iis，nginx，apach
2020-12-30 14:05:23
48
转载 一百九十二
一、听听测试跟开发都吐槽对方什么？1.来自开发的问候由于忙于各种业务，所以认识了很多的开发童鞋。接触的多了，大家话题也就聊开了。因为他们也会跟不同的测试人员合作，所以我偶尔就能听到开发对测试的一些吐槽。“那XX，稍微有点不对，直接反手就是一个bug单，问都不问”；“你这算啥，你没看那XXX，说问题就一张截图，无语”；“哎，现在测试都不看数据库的么？前端的锅bug提给我干嘛？”… …不知道大家是否也曾经听到过类似的吐槽，我觉得场景很真实，我相信一定有测试人员是这样做的。别问，问就是我也曾…其实
2020-12-30 14:04:37
123
转载 一百九十一
概述HashMap 是 Map 接口下一个线程不安全的，基于哈希表的实现类。由于他解决哈希冲突的方式是分离链表法，也就是拉链法，因此他的数据结构是数组+链表，在 JDK8 以后，当哈希冲突严重时，HashMap 的链表会在一定条件下转为红黑树以优化查询性能，因此在 JDK8 以后，他的数据结构是数组+链表+红黑树。对于 HashMap ，作为集合容器，我们需要关注其数据的存储结构，迭代方式，能否存放空值；作为使用了数组作为底层结构的集合，我们还需要关注其扩容的实现；同时，针对哈希表的特性，我们还需要关注
2020-12-30 14:03:39
108
转载 一百九十
nacos配置中心使用Nacos不仅可以作为注册中心使用，还可以作为配置中心使用。相比于使用spring-cloud-config-server来说，我们可以不用再去建一个配置文件的git仓库，直接可以在nacos的控制台进行操作，同时配置文件热更新也更为方便，只需要在控制台修改，服务端就更新了。1.加依赖 com.alibaba.cloud spring-cloud-starter-alibaba-nacos-config2.同样的创建bootstrap.yml文件复制代码s
2020-12-30 14:02:18
62
转载 一百八十九
0x00 摘要在我们的业务系统和日常开发之中，定期任务是一个常见的需求。即也有普通需求，也有特殊业务需求。本文和下文就以 SOFARegistry 为例，看看阿里是如何实现定期任务的。这里会结合业务来进行讲解。在学习过程中，要随时考虑：设想如果你是设计者，你应该如何设计，采用什么样的算法和数据结构；如果你想拓展到分布式领域，你需要做哪些额外的考虑，如何修改；本文是系列第八篇，借鉴了网上众多文章，请参见0xFF 参考。也分析了Netty同Kakfa之中的时间轮特点。0x01 业务领域我们将业务系统中
2020-12-30 14:01:33
124
转载 一百八十八
关于事务我们在数据库中需要执行一个系列的操作的时候，要保证这个系列执行的连续性和完整性，要么整个系列的执行都成功，要么就全部失败（只要有一个步骤失败，其他均回滚到之前的状态），保证不会存在一部分成功一部分失败的情况。这就是我们事务的职责。下面举个分苹果的例子：A同学有3个苹果，B同学有2个苹果，如果A同学给一个苹果给B同学，那么A同学只剩下2个苹果，而B同学有了3个。步骤如下1 update tname set apples=apples-1 where name = “A”；2 update
2020-12-30 14:00:33
71
转载 一百八十七
一、 函数调用相关指令关于栈可以看下我之前的这篇文章x86 CPU与IA-32架构在开始函数调用约定之前我们需要先了解一下几个相关的指令1.1 pushpushq 立即数 # q/l是后缀，表示操作对象的大小pushl 寄存器push指令将数据压栈。具体就是将esp(stack pointer)寄存器减去压栈数据的大小，再将数据存储到esp寄存器所指向的地址。1.2 poppopq 寄存器popl 寄存器pop指令将数据出栈并写入寄存器。具体就是将数据从esp寄存器所指向的地址加载到指令
2020-12-29 13:48:52
159
转载 一百八十六
最近参与了一些电商业务中台等复杂业务系统的设计和开发，结合DDD和中台等，有一些架构方面的思考和体会，在这里记录一下。做技术方案，核心是下面几个问题：做什么？- 产品需求业务上怎么做？- 业务文档技术上怎么做？- 技术方案代码怎么实现？- 落地实现明确了这几个问题，可以处理大部分日常需求开发，如果是比较复杂的业务系统，就需要拆解的更精细。比如电商的商品管理、订单交易、促销活动营销中心等系统的开发和重构，业务相对复杂，开发人天在几个月以上，直接开发可能会老虎啃天，无从下手。这时候可以通过一个
2020-12-29 13:47:52
84
1
转载 一百八十五
关于注解的一点点思考简介Java注解是在JDK1.5被引入的技术，配合反射可以在运行期间处理注解，配合apt tool可以在编译器处理注解，在JDK1.6之后，apt tool被整合到了javac里面。什么是注解注解其实就是一种标记，常常用于代替冗余复杂的配置（XML、properties）又或者是编译器进行一些检查如JDK自带的Override、Deprecated等，但是它本身并不起任何作用，可以说有它没它都不影响程序的正常运行，注解的作用在于注解的处理程序，注解处理程序通过捕获被注解标记的代码
2020-12-29 13:47:03
280
转载 一百八十四
1，函数1.1 函数的定义 函数（function）的定义通常分为传统定义和近代定义，函数的两个定义本质是相同的，只是叙述概念的出发点不同，传统定义是从运动变换的观点出发。函数的近代定义是给定一个数据集A，假设其中的元素为x，对A中的元素施加对应法则 f ，记做 f(x)，得到另一数据集B，假设B中的元素为y，则 x 和 y 之间的等量关系可以用 y = f(x) 表示。函数概念含有三个要素：定义域A，值域B和对应法则 f 。其中核心为对应法则 f，它是函数关系的本质特征。在一个变换过程中，发生变
2020-12-29 13:46:05
1771
转载 一百八十三
Atlas 是什么?Atlas是一组可扩展和可扩展的核心基础治理服务，使企业能够有效地满足Hadoop中的合规性要求，并允许与整个企业数据生态系统集成。Apache Atlas为组织提供了开放的元数据管理和治理功能，以建立其数据资产的目录，对这些资产进行分类和治理，并为数据科学家，分析师和数据治理团队提供围绕这些数据资产的协作功能。如果没有Atlas大数据表依赖问题不好解决，元数据管理需要自行开发，如：hive血缘依赖图对于表依赖问题，没有一个可以查询的工具，不方便错误定位，即业务sql开发官网
2020-12-29 13:45:04
83
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人