- 博客(323)
- 资源 (6)
- 收藏
- 关注
RSS订阅原创 煎蛋图片爬虫
煎蛋图片的url之前页数是page-1 page-2，现在变成随机串+序列了。from bs4 import BeautifulSoupimport requestsimport redef download(img_url,headers,n): req = requests.get(img_url, headers=headers) name = '%s'%n+'='...
2020-02-03 21:46:35
248
原创 假期学习进度记录（更新2月11日）
2020-1-11 第一天花了几天时间，今天看完了B站的spring视频，笔记整理了3篇博客https://www.bilibili.com/video/av47952931看两集矩阵论视频 P14-P15https://www.bilibili.com/video/av26603443?p=14百词斩复习单词20个，背新单词20个...
2020-01-11 22:33:44
216
原创 Spring中的事务控制
前言J2EE的事务管理位于业务层，Spring提供了分层设计业务层的事务处理解决方案。spring为我们提供了一组事务控制的接口，这组接口是在spring-tx-5.0.2.RELEASE.jar中。spring的事务控制都是基于AOP的，既可以用编程方式实现，也可以通过配置实现，重点是是基于配置的。PlatformTransactionManagerTransactionDefini...
2020-01-11 21:17:05
209
原创 Spring中的JdbcTemplate
作用对数据库进行操作，实现数据的CUDR操作者。创建方式引入maven依赖，包括jdbc、事务spring-tx和mysql连接驱动配置bean常用方法继承JdbcDaoSupport可以省略注入JdbcTemplate的重复代码，但是使用注解方式Autowired会不行。看你采用哪种方式配置，如果采用xml，可以继承spring的JdbcDaoSupport，如果使用注解，...
2020-01-11 20:43:13
132
原创 Spring中的AOP
概念连接点（Join Point）：业务层接口都是连接点切入点（Point Cut）：不需要被增强的方法所有的切入点都是连接点，但不时所有的连接点都是切入点前置通知：被执行方法前后置通知：被执行方法后异常通知：异常最终通知：finally里中的环绕通知：整个通知过程spring中基于xml的AOP配置步骤1、把通知Bean也交给spring来管理2、使用aop:conf标...
2020-01-11 17:10:33
129
原创 通用模块-user model
用户模块开发git仓库远程redis和mysql甘特图开发出发点想做一个公共通用的模块仓库，用户和权限系统往往是一个通用模块，本篇先介绍用户模块。用户模块主要功能是用户登录、注册、密码找回等功能（是不是几乎所有网站都有这个功能）。其中涉及到安全验证、单点登录、无状态token等知识点。我在git上找到两个star都很多的开源项目来参考。基础的技术选型为：springboot、mybatis、...
2020-01-05 11:16:45
719
原创 【SDN】研究综述
SDN（Software Defined Network）简介SDN起源于2006年斯坦福大学的Clean Slate研究课题。2007年斯坦福大学生Martin Casado领导了一个关于网络安全与管理的项目Ethane，该项目试图通过一个控制器，让网络管理员可以方便地定义给予网络流的安全策略，并将这种策略应用到各种网络设备中，实现对整个网络通讯的安全控制。2008年，基于Ethane和前...
2019-10-26 17:16:54
2505
转载 自然语言处理中的Attention机制总结
https://blog.csdn.net/hahajinbu/article/details/81940355
2019-09-04 21:42:01
120
原创 dubbo服务发送方与消费方多协议xml配置
服务端<dubbo:application name="order-provider" owner="test" /><dubbo:monitor protocol="register" /><dubbo:register protocol="zookeeper" address="192.168.11.129:1111,192.168.11.130:222...
2019-05-27 21:28:28
723
原创 java基础-线程的状态
线程创建后，并不会立刻执行，可是要和其他线程抢占CPU资源。线程从创建到灭亡有七个状态。首先看不包含其他路径的一个线程状态流转图：当然，线程的运行并不是一帆风顺的，其中有很多情况需要考虑。下面增加两种情况：sleeping、wait。Sleeping是一种超时等待，时间结束后，继续去争用CPU资源。wait就是一种等待，除非执行notify或notifyAll。有个这张图后，我们去看代码...
2019-05-20 21:45:24
167
2
原创 zookeeper总结
zookeeper中有四种节点临时接点（有序/无序）持久节点（有序/无序）zookeeper可以做什么zookeeper的znode上并不是要存储数据的，存储的内容一般是内容符号，通过监控数据状态的变化，达到基于数据的集群管理。zookeeper只是一种分布式协调服务，由它的这种特性可以实现数据发布订阅、负载均衡、集群、master选举等功能。特性特性解释原子性要...
2019-05-17 16:05:40
194
原创 ZAB协议
前言为了解决分布式服务下，各个服务器达成最终一致性的问题。ZAB协议是基于paxos协议的一个改进。这里有一个拜占庭问题。ZAB专门为分布式协调服务zookeeper专门设计的一种支持崩溃回复的原子广播协议，zookeeper并没有完全采用paxos协议（paxos有些复杂）。ZAB协议原理1、在zookeeper的主备模式下，通过zab协议来保证集群中各个副本数据的一致性2、zookee...
2019-05-16 21:10:34
622
原创 zookeeper实现master-slave选举（ZkClient实现）
所有客户端都往一个节点注册master节点，只有注册成功的可以成为master。package master_slave;import org.I0Itec.zkclient.IZkDataListener;import org.I0Itec.zkclient.ZkClient;import org.I0Itec.zkclient.exception.ZkNodeExistsExcept...
2019-05-15 16:37:35
745
原创 zookeeper应用场景
订阅发布（配置中心）watch机制统一配置管理（disconf）分布式锁redis：setnxzookeeper：利用临时有序节点和watch机制数据库负载均衡ID生成器分布式队列统一命名服务分布式锁master选举...
2019-05-14 21:05:09
100
原创 zookeeper的Java API
原生apimaven引入 <dependency> <groupId>org.apache.zookeeper</groupId> <artifactId>zookeeper</artifactId> <version>3.4.8<...
2019-05-14 11:29:57
375
原创 zookeeper配置zoo.cfg及客户端
tickTime=2000 #时间单位（一个单位时间长度）initLimit=10 #最终结果需要乘以tickTime 表示leader等待follower0启动并完成数据同步的时间，当数据量太大时需要把这个数改大syncLimit=5 #表示5个tickTime时间，表示leader和follow节点进行心跳检测的时间dataDir=/tmp/zookeeper #...
2019-05-10 16:11:21
933
原创 zookeeper介绍和环境搭建
CAP理论ConsistencyAvailabilityPartition toleranceBASE理论Basically avaliable数据库采用分片方式，5个里面坏了1个，那么还有80%可用Soft-state在基于client-server模式的系统中，server端是否有状态，决定了系统是否具备良好的水平扩展、故障恢复等特性。Server端承诺会维护client端状...
2019-05-09 21:54:31
173
原创 tensorflow实现单层神经网络拟合
定义层的函数，里面有权重值、偏置值、计算和激活函数def add_layer(inputs,in_size,out_size,activation_function=None): Weights = tf.Variable(tf.random_normal([in_size,out_size]),name='W') biases = tf.Variable(tf....
2019-05-05 09:18:15
300
原创 mysql学习笔记
大事务问题：1、运行时间长，回滚时间长2、锁太多，会造成大量阻塞3、执行时间长，主从同步延迟避免大事务的产生：1、避免一次处理太多数据2、移除不必要在事务中进行的selectRaid 0 就是硬盘横向扩展，硬盘利用率100%Raid 1 就是有备份，硬盘利用率50%Raid 10=Raid0+Raid1这种比较适合Windows FreeBSD Solaris Linux...
2019-05-05 09:10:00
154
原创 Redis缓存穿透、雪崩和Key重建问题
缓存穿透是指访问数据库中不存在的key，从而一直对redis和rdb进行访问，造成大量连接的浪费。缓存穿透的解决方案：1、为不存在的key值设置一个短的超时时间，并返回空值。2、用过滤器过滤异常访问。缓存雪崩的解决方案：1、缓存的高可用集群2、后端服务降级限流抗流量3、其他方案Key重建：1、通过互斥锁重建缓存，但是会有死锁问题2、通过设置过期时间不断更新，会有在更新过程中的数...
2019-04-10 11:29:42
413
转载 算法设计：求逆序
public class Lamada { static int count = 0; // 将有二个有序数列a[first...mid]和a[mid...last]合并。 static void mergearray(int a[], int first, int mid, int last, int temp[]) { int i = first,...
2019-03-22 21:43:48
568
原创 leetcode[983]：Minimum Cost For Tickets
本题是个求最小值问题，题目描述：如果要在一年内去旅游，现给定你旅游的日期（1-365天）的数组，一个包日车票数组价格，比如包1天2块钱，包7天7块钱，包30天15块钱这样。求一年内能把所有规定日期都旅游完的最便宜买票策略。例：days[1,4,6,7,8,20]，表明你要在1,4,6,7,8,20去旅游。（范围为1-365）costs[2,7,15]，表明1天的车票是2块钱，7天的车票是7块...
2019-03-06 11:23:31
234
原创 leetcode[198]：House Robber
You are a professional robber planning to rob houses along a street. Each house has a certain amount of money stashed, the only constraint stopping you from robbing each of them is that adjacent hous...
2019-03-04 20:16:34
175
原创 leetcode[53]：Maximum Subarray
给定一个int数组，求最大子序列和Given an integer array nums, find the contiguous subarray (containing at least one number) which has the largest sum and return its sum.Example:Input: [-2,1,-3,4,-1,2,1,-5,4],Out...
2019-03-04 19:29:47
118
原创 leetcode[70]：Climbing Stairs
You are climbing a stair case. It takes n steps to reach to the top.Each time you can either climb 1 or 2 steps. In how many distinct ways can you climb to the top?Note: Given n will be a positive ...
2019-03-04 17:29:24
105
原创 leetcode[746]：Min Cost Climbing Stairs
On a staircase, the i-th step has some non-negative cost cost[i] assigned (0 indexed).Once you pay the cost, you can either climb one or two steps. You need to find minimum cost to reach the top of ...
2019-03-04 16:52:37
144
原创 路由协议——BGP
BGP属于应用层协议，基于TCP。它是边界网关协议，有别于内部网关协议，BGP用来在不同自治系统之间交换路由信息，应用于互联网与互联网之间。BGP只是力求寻找到一条尽可能到目标网络比较好的路径，因为找到最佳路径很不现实。采用路径向量路由选择协议。工作原理：每个自治系统至少有一个路由作为该自治系统的“发言人”，它要与其他自治系统的“发言人”交换路由信息。他们之间建立TCP连接来交换信息。...
2019-02-28 20:05:26
1558
原创 路由协议——RIP和OSPF
为了不使路由表规模太大，互联网被划分为多个自治系统。一个自治系统内部使用的路由协议叫做IGP，内部网关协议，自治系统之间的成为外部网关协议。内部网关协议如：RIP和OSPF。作用都是用来使路由器记录该自治系统内的路由拓扑，以最效率的转发分组。RIP又成距离向量路由。顾名思义是通过距离来选择路由的协议，最大的有点就是简单。属于应用层协议，使用UDP协议，端口号520。距离：每一个路由到目标网...
2019-02-28 19:56:26
2792
原创 算法设计——回溯法
回溯法是一种优化的DFS深度优先搜索。DFS通过visit[i]数组来记录访问过的节点，那么就和回溯法没什么两样了。void DFS(){ if(t&gt;n)//n为深度，t为每次遍历的深度 { Output(x); } else { for(int i=0;i&lt;=节点所包含子节点数量){ x[i]=h[i];//x[i]出的节点值，可以看做是限定条件 i...
2019-02-28 15:42:42
429
原创 动态规划——最长公共子序列
lintcode-77 描述给出两个字符串，找到最长公共子序列(LCS)，返回LCS的长度。这道题可以看做最长连续公共子序列的升级版首先看状态转移：当A[m]=B[n]时，则LCSCount=f[m-1][n-1]+1当A[m]≠B[n]时，则LCSCount=min(f[m-1][n],f[m][n-1]) public static int longestSubstring...
2019-02-26 19:46:05
229
原创 动态规划——最长连续公共子序列
public static int longestSubstring(String A,String B){ int f[][] = new int[A.length()+1][B.length()+1]; for (int i = 1; i &lt;= A.length(); i++) { for (int j = 1; j &lt;= ...
2019-02-26 19:38:02
2161
转载 最长公共子序列
https://blog.csdn.net/lz161530245/article/details/76943991https://www.lintcode.com/problem/longest-common-subsequence
2019-02-26 18:35:24
91
原创 算法学习——动态规划
我在网上看了好多讲动态规划的博客，看着都是似懂非懂，做题还是不会。后来去找讲算法的视频看，有的老师讲的挺详细能听明白点了。下面我做一个自己的学习过程的笔记。动态规划解决的是如下三类问题：1、计数问题：有多少种方式走到右下角、有多少种方法选出K个数是得和为Sum2、最大最小值问题：从左上角走到右下角路径数字的最大和、最长上升子序列 max min shortest longest3、存在...
2019-02-22 09:35:53
155
原创 数据结构之红黑树（图文并茂版、一篇足够版）
为什么会出现红黑树红黑树的原理网络上关于红黑树的资料很多，但是总是上来就给出红黑树的特点，弄的人云里雾里，索性自己学习整理，写一篇较为完整的红黑树文章，文章从上面二个标题来展开，首先介绍红黑树的由来。红黑树动态插入演示红黑树的由来你应该听说过：二叉树、平衡二叉树、B树、B+树、红黑树。说到底红黑树还是一种二叉树，是为了解决普通树存在的问题而诞生的。先来看二叉树1.左子树上所有...
2019-01-22 15:30:40
504
原创 HashMap源码分析之Hash冲突的解决
版本：jdk.18 srcHashMap是java中实现hash算法的数据结构，hash算法是将给定对象经过hash算法，转化成一串数字。hash算法的实现有很多种，设计一个hash算法需靠考虑比较重要的一点是其计算的效率。我们都知道，Java中的Object对象中有equals、hashCode、clone等方法，其他所有对象均继承Object方法。我们来看String对象是如何实现的has...
2019-01-21 18:46:46
730
原创 网络安全-密码体制
密码体制对称秘钥密码体制就是加密与解密的秘钥一样，这种还是不安全公钥秘钥体制加密与解密所用密钥不一样，加密秘钥是公开的，解密秘钥是私有的。信息传递的两个方向，代表着两个概念：A用B的公钥加密信息，B用B的私钥进行解密，这样是正向的信息传递。B用B的私钥进行加密，A用B的私钥进行解密，这样是身份验证，也叫数字签名。应用：因为现有公钥加密算法开销很大，所以我们对一篇文档先进行不可逆压...
2018-12-13 16:36:11
577
原创 TCP可靠传输的实现
滑动窗口自适应RTO选择确认滑动窗口滑动窗口是指发送方维护一个固定大小的环形链表做数据缓存，缓存上有三个指针：p1已发送未确认的首地址，p2已发送未确认的尾地址（允许发送但未发送首地址），p3允许发送但未发送尾地址（未发送首地址）窗口的大小由接收方控制。发送数据后，需要等待接收方的确认，直到收到确认信息后，才会移动p1指针，相当于在未接收确认信息时，是对数据进行缓存的。当经过一段时...
2018-12-06 17:26:02
329
原创 MongoDB稳步认识
事务MongoDB没有事务。为了扩展性MongoDB取消了事务，主要是多服务器上的分布式事务问题，如果多服务器保证事务，需要引入很多其他和数据库本身不相关的中间件和逻辑。当然不能说分布式事务有什么问题，而是这是MongoDB的设计理念。那如何实现关系型数据库的事务操作呢？这说到底是一种原子性。在MongoDB中，为了保证操作字段的原子性，有以下几种方案。首先看一个解决方案，感觉几种事务解...
2018-12-06 14:27:22
171
原创 MongoDB进步认识
关系关系型数据库中有1对1、1对多、多对1、多对多关系，MongoDB也一样。MongoDB用BSON组织数据，这一点要灵活很多。实例：一个人有多个地址。我们可以有两张表来存放，一个user表、一个address表。user和address是一对多关系。看user表中的一个document{ "_id":ObjectId("72355788888abcf289bc9cc4"), ...
2018-12-05 16:09:21
481
ffmpeg的.c和.lib文件
2016-01-19
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人