- 博客(42)
- 收藏
- 关注
RSS订阅
原创 为什么自学Python看不进去？
首先学习python一定要以实用性为导向！盲目看教程，结果大多是浅尝辄止，从入门到放弃。我想告诉你我的经验，如何在一个月内入门python！1、【why】 你为什么要学习python？爬虫？数据分析？机器学习？又或者其它？在找一本python教程准备啃之前，一定要问问自己，我为什么要学习python？python在近几年越来越受追捧，很多童鞋或者职场小伙伴想要提升技能-学习py...
2020-01-18 14:41:18
967
原创 Python——CSV文件读写
非字典类型数据读写（reader、writer）delimiter 用于分隔字段的单字符，默认为 ',' import csvdatas = [[1, 2, 3], ['纪', '宇'], ['xxx', 'yyy', 'zzz'], '字符串']# 写with open('test.csv', 'w+', newline='') as fr: writer = cs...
2020-01-18 14:44:15
230
原创 【DPDK】【CPU usage】DPDK应用如何计算当前系统的压力
【前言】 使用DPDK开发的朋友应该都了解使用dpdk的fwd线程的工作模式是polling模式，即100%轮询的方式去加速网络IO，这样我们在操作系统层面上来观察目标processer会发现usage一直为100%，但是这真的是系统的真实负载么？很显然并不是，本文给出一种方法来计算dpdk的fwd线程的真实负载的方法。【场景】 使用DPDK头痛的一点就是DPDK的fwd线程工作在...
2020-01-14 12:26:02
721
原创 使用内存映射文件MMF实现大数据量导出时的内存优化
前言 导出功能几乎是所有应用系统必不可少功能，今天我们来谈一谈，如何使用内存映射文件MMF进行内存优化，本文重点介绍使用方法，相关原理可以参考文末的连接实现 我们以单次导出一个excel举例(csv同理)，excel包含1~n个sheet，在每个sheet中存储的按行和列的坐标在单元格存储具体数据，如果我们要使用MMF，第一个要考虑的就是如何将整个excel合理的存储到...
2020-01-14 12:25:20
380
原创 验证码识别之二值化
前言二值化顾名思义就是将数变成两种值，一般非0即1。而在验证码处理中，如果直接使用灰度图，那么每个像素的值会在0-255，这样肯定会增加计算时间，而二值化后每个像素的值只是0和1。在前面的简单验证码识别中，我的二值化代码是这样写的：a = (a > 180) * 255，至于这里为什么不乘1而乘255，因为我要显示图片看看效果。如果只是用于算法识别的话，乘1会更好。但是，这里的180...
2020-01-14 12:24:33
264
原创 爬虫 -- JS调试
开发者工具(F12)其中常用的有Elements(元素面板)、Console(控制台面板)、Sources(源代码面板)、Network(网络面板)找 JS 文件的几种方法1、找发起地址2、设置事件触发断点 Event Listener Breakpoint使用Sources面板上的Event Listener Breakpoints(事件侦听器断点) 当某事...
2020-01-03 19:21:28
885
原创 通用高效的数据修复方法：Row level repair
导读：随着大数据的进一步发展，NoSQL 数据库系统迅速发展并得到了广泛的应用。其中，Apache Cassandra 是最广泛使用的数据库之一。对于 Cassandra 的优化是大家研究的热点，而 ScyllaDB 则为其提供了一个新的思路。ScyllaDB 是一个基于 C++ 的开源的高性能的 Cassandra 的实现，较之 Cassandra 在性能上有了很大的提升。Nodetool re...
2020-01-03 19:08:52
308
原创 网络状态诊断工具——netstat命令
netstat命令可以用来查询整个系统的网络状态。百度百科的定义如下：Netstat的定义是： Netstat是在内核中访问网络连接状态及其相关信息的程序，它能提供TCP连接，TCP和UDP监听，进程内存管理的相关报告。Netstat是控制台命令,是一个监控TCP/IP网络的非常有用的工具，它可以显示路由表、实际的网络连接以及每一个网络接口设备的状态信息。Netstat用于显示与IP、T...
2020-01-03 17:58:55
1025
原创 c++ python 交互之 swig
工作中准备用python 作为脚本语言来实现一些工作于是就研究 可以和c++ 交互的脚本语言本来一开始用的lua 但是 lua本身API接口很少 要么自己需要重复封装代码 要么c++ 导出太多地方需要重复造轮子。之所以选择python 是因为python的包多 直接 import 即可食用好了 废话不多说直接进入正题swig 是什么？SWIG 是一种软件开发工具，将用 C 编写的程序...
2020-01-03 17:57:35
691
原创 动态规划2-最长公共子序列
问题是给定字符串x和y，求出两个当中最长的公共子序列。比如x=abcdef y=acefg，那么他们的最长公共子序列就是acef。就是求x的所有可能的子字符串与y所有的子字符串匹配，如果相同，那么就是一个公共子序列，然后求最长的一个。建议观看上面的公开课，讲的非常好。本文思路是根据上面的公开课总结实践的。一我们先看看求一个字符串的所有子序列，有什么规律。比如给定一个字符串abc，那么有...
2020-01-03 17:56:12
1095
原创 数据库中间件分片算法之stringhash
前言又是一个夜黑风高的晚上，带上无线耳机听一曲。突然很感慨一句话：生活就像心电图，一帆风顺就证明你挂了。就如同我们干运维的，觉得很简单的事情，有时候能干出无限可能。还是言归正传吧，这一次我们来说说stringhash分区算法。1.hash分区算法2.stringhash分区算法3.enum分区算法4.numberrange分区算法5.patternrange分区算法6.date分...
2020-01-03 15:49:59
190
原创 FPGA之IO信号类型深入理解
在FPGA设计开发中，很多场合会遇到同一根信号既可以是输入信号，又可以是输出信号，即IO类型（Verilog定义成inout）。 对于inout型的信号，我们既可以使用FPGA原语来实现，也可以使用Verilog代码来实现。下面将介绍在Xilinx 7系列FPGA上两种实现方式的差别和注意点。 不管哪种方式实现IO功能，从编译结果看都会调用IOBUF原语，为此，我们先来看一下IOBUF...
2020-01-03 15:48:41
2011
原创 深入浅出 Viewport 设计原理
Viewport 是 HTML5 针对移动端开发新增的一个 meta 属性, 它的作用是为同一网页在不同设备的呈现，提供响应式解决方案。这篇文章尝试通过循序渐进的方式，逐层探索 Viewport 的设计原理，希望能给读者带来更加清晰、更加全面的技术认知。一、引言在PC时代，我们用 css 设置 1px 边框，显示器会用1个物理像素进行渲染。而进入移动应用时代后，我们原来设置1px边框，在手...
2020-01-03 15:10:37
190
1
原创 索引-建立框架篇
在本篇文章中，开始部分会介绍索引的定义，及常见索引使用的数据结构和 MySQL 的索引模型。然后，根据索引的存储结构来学习索引的建立原则。最后会介绍索引的使用场景。在阅读后，应该了解如下的内容：索引场景的模型：哈希表，有序数组和搜索树 MySQL 的索引模型，了解主键/非主键索引，回表，页分裂的概念 MySQL 建立索引的原则索引概述索引的定义索引常被用来根据明确的列值来快速...
2020-01-03 15:09:25
173
原创 分布式事务框架-seata初识
一、事务与分布式事务事务,在数据库中指的是操作数据库的最小单位,往大了看,事务是应用程序中一系列严密的操作，所有操作必须成功完成，否则在每个操作中所作的所有更改都会被撤消。那为什么会有分布式事务呢?单机事务是通过将操作限制在一个会话内通过数据库本身的锁以及日志来实现ACID.因为引入了分布式架构,所以事务的参与者、支持事务的服务器、资源服务器以及事务管理器分别位于不同的分布式系统的不同节点...
2020-01-03 15:08:04
1157
原创 jquery获取select选中的文本值
误区： 一直以为jquery获取select中option被选中的文本值，是这样写的： $("#id").text(); //获取所有option的文本值实际上应该这样： $("#id option:selected").text(); //获取选中的option的文本值获取select中option的被选中的value...
2020-01-02 18:50:01
178
原创 java核心-多线程-线程池-ThreadPoolExecutor
java多线程编程少不了使用线程池，线程池相关的工具类所在jdk包，java.util.concurrent
2020-01-02 18:48:58
159
原创 SpringBoot整合MyBatis获得插入数据后获取主键，返回值总是1
xml里的写法<insert id="insertLogin" parameterType="com.xyt.p2p.pojo.LoginInfo" keyColumn="userId" useGeneratedKeys="true" keyProperty="userId"> INSERT INTO LoginInfo (username,pass...
2020-01-02 17:15:43
1986
3
原创 Java操作Jxl实现导出数据生成Excel表格数据文件
实现：前台用的框架是Easyui+Bootstrap结合使用，需要引入相应的Js、Css文件。页面：Jsp、拦截请求：Servlet、逻辑处理：ClassBean、数据库：SQLserver。注意：Bean中操作SQL语句进行处理是公司内部方法，可替换为其它方法自行扩展！主要看代码逻辑业务处理！使用SQLserver数据库进行多表连接查询得出需要展出的数据则前台数据展示使用的...
2020-01-02 17:15:01
838
原创 spingboot中使用scheduled设置定时任务注意事项
在spring开发过程中经常会遇到需要定时执行的任务，如定时生成报表，定时推送消息等任务。springboot 提供了简单的@Scheduled表达式来配置定时任务。该方式默认是单线程的，任务在执行完才会设置下个任务的执行时间。因此如果执行时间超过定时时间，则会有任务漏执行。比如定时 每 1 秒执行一次，而任务耗时 10 秒，那么每 10 秒会有 9 次任务没有执行。因此需要配置多线程执...
2020-01-02 16:00:49
277
原创 虚拟机字节码指令表 JVM
虚拟机字节码指令表标签（空格分隔）： Java基础 JVM记录虚拟机字节码指令,方便分析。以下内容来自《深入理解Java虚拟机》字节码 助记符 指令含义 0x00 nop 什么都不做 0x01 aconst_null 将null推送至栈顶 int 型指令字节码 助记符 指令含义 0x02 iconst_m1 ...
2020-01-02 16:00:13
164
原创 Java导出Excel(项目实战Demo)
Controller 层/** * 考勤机刷卡明细导出Excel * * @throws Exception */// @RequiresPermissions("report:ExportToExcel") @RequestMapping(value = "/AttendMachineCardDetailsExportToExcel"...
2020-01-02 15:59:40
215
原创 django 自定义模版过滤器
自定义的模版过滤器必须要放在app中，并且该app必须在INSTALLED_APPS中进行安装。然后再在这个app下面创建一个python包叫做templatetags（这个名字是固定的，不能随意更改）。再在这个包下面创建一个python文件。然后在这个文件中写过滤器。 过滤器实际上就是python中的一个函数，只不过是把这个函数注册到模板库中，以后在模版中使用这个函数了。但是这个函数的参数有...
2020-01-02 14:23:38
186
原创 Python基础_ONLINE习题集_03 数据类型
3.1 将元组(1,2,3) 和集合{"four",5,6}合成一个列表1 tuple,set,list = (1,2,3),{"four",5,6},[]2 for i in tuple:3 list.append(i)4 for j in set:5 list.append(j)6 print(list)3.2 将列表[3,7,0,5,1,8]中大于5元素置...
2020-01-02 14:23:02
200
原创 numpy :: 计算特征之间的余弦距离
余弦距离在计算相似度的应用中经常使用，比如：文本相似度检索 人脸识别检索 相似图片检索原理简述下面是余弦相似度的计算公式（图来自wikipedia）：但是，余弦相似度和常用的L1距离或欧式距离的有所区别。余弦相似度的取值范围在-1到1之间。完全相同时数值为1，相反反向时为-1，正交或不相关是为0。（如下图，来源） 欧式距离一般为正值，归一化之后在0~1之间。距离越小，...
2020-01-02 14:22:16
7406
1
原创 Spring Data JPA学习
一、Spring Data JPA1、简介（1）官网地址： https://spring.io/projects/spring-data-jpa参考文档： https://docs.spring.io/spring-data/jpa/docs/2.2.3.RELEASE/reference/html/#preface（2）基本介绍： Spring Data JPA 是...
2020-01-01 19:32:06
389
原创 java泛型demo
1.泛型类普通的类public class Dog { private Object age; public Dog(Object age) { this.age = age; } public Object getAge() { return age; } public static void ...
2020-01-01 19:30:53
209
原创 spring事务代码实践
事务一般是指数据库事务，是指作为一个程序执行单元执行的一系列操作，要么完全执行，要么完全不执行。事务就是判断以结果为导向的标准。一.spring的特性（ACID） (1).原子性（atomicity） 原子性就是一个不可分割的工作单元。简单的说，就是指事务包含的所有操作要么全部成功，要么全部失败回滚。因此事务的操作如果成功就必须要完全应用到数据库，如果失败则不能对数...
2020-01-01 18:05:17
455
原创 手写MQ框架：使用netty改造梳理
netty是什么Netty是由JBOSS提供的一个java开源框架。Netty提供异步的、事件驱动的网络应用程序框架和工具，用以快速开发高性能、高可靠性的网络服务器和客户端程序。--来自https://www.w3cschool.cn/netty4userguide/52ki1iey.htmlnetty是一个java框架，是网络编程框架，支持异步、事件驱动的特性，所以性能表现很好。...
2020-01-01 18:04:41
293
原创 Pyspider的基本使用 -- 入门
简介一个国人编写的强大的网络爬虫系统并带有强大的WebUI 采用Python语言编写，分布式架构，支持多种数据库后端，强大的WebUI支持脚本编辑器，任务监视器，项目管理器以及结果查看器 官方文档：http://docs.pyspider.org/en/latest/ 安装pip install pyspider 安装失败的解决方法 启动服务命令窗口输入pyspide...
2020-01-01 18:02:52
533
原创 Python中property属性的概论和使用方法
property属性概念： 定义一个方法但是使用装饰器property，只可以有一个self形参 可以用这样的属性动态的获取属性的值 定义方式（经典类） class Fun(): @property def size(self): return 100fun = Fun()print(fun.size)100定义方式（新式类）c...
2020-01-01 14:56:46
122
原创 Python 2 与 3 共存了 11 年，新年就要和它道别
在 Python 3.9 都已经进入 dev 版本的 2020 年，Python 2 终于要和我们告别了。2 and 3Python 2 第一个版本发布于 2000 年 10 月 16 日，到今年正好是第 20 个年头。而 Python 3 发布于 2008 年 12 月 3 日，但由于 3.0 版本在底层进行了大量重构（主要是 Unicode 与 C API 的改动），无法完整兼容 ...
2020-01-01 13:08:07
113
原创 用pycharm自带的数据库创建项目00
一、生成表格1.创建模型类（在 models.py文件中创建一个person类并且继承models.Models类）2.生成表格（在项目目录下）（1）生成迁移文件：在pycharm下方的命令行Terminal中写入python manage.py makemigrations，回车键后显示迁移文件创建成功（2）同步数据库：继续在命令行内写入python manage.py mi...
2020-01-01 13:07:14
863
原创 Pycharm 报错 Environment location directory is not empty 解决
新电脑clone项目后发现Project Interpreter无法配置, New environment 选择后无法应用, 鼠标悬停在Location 提示Environment location directory is not empty .原因是项目push时, 项目下的venv文件夹也被上传, 当项目自带的环境不可用时, 该文件夹存在导致了Pycharm无法创建新的环境....
2020-01-01 13:06:10
13180
1
原创 salesforce零基础学习之lightning out
随着salesforce对lightning的推进，越来越多的项目基于lightning开发，导致很多小伙伴可能都并不了解classic或者认为不需要用到classic直接就开始了lightning的开发。其实有精力了解classic的使用还是很有必要的，因为lightning还在不断的优化中，可能有一部分还需要使用classic的功能来实现或者来协助实现，比如list view的list but...
2019-12-31 22:20:01
894
原创 使用 postman 给 API 写测试
Intro上次我们简单介绍了使用 postman 测试 API，这次主要来写一些测试用例以检查请求的响应是否符合我们的预期以及如何使用脚本测试使用 postman 内置的随机变量postman 内置的有一些产生随机值的变量，在发送请求时随机生成，这样我们可以在请求中随机生成一些用户名，邮箱，公司名称等等，支持的变量如下，官方文档：https://learning.getpostm...
2019-12-31 18:04:41
404
原创 Appium+Pytest实现app并发测试
前言这个功能已经写完很长时间了，一直没有发出来，今天先把代码发出来吧，有一些代码是参考网上写的，具体的代码说明今天暂时先不发了，代码解释的太详细还得我花点时间^_^, 毕竟想让每个人都能看明白也不容易，所以先放代码，有兴趣的先研究吧，等我有时间再做代码说明(will doing)目录结构启动说明1. 我代码中使用的是模拟器，如果你需要使用真机，那么需要修改部分代码，模拟器...
2019-12-31 18:03:28
758
1
原创 unity3D 自定义公告牌
前言 有时候我们希望公告牌跟随镜头旋转永远平行面向屏幕，同时跟随镜头缩放缩放大小不变（镜头远离物体，正常物体视觉效果变小，但公告牌视觉大小比例不变），或者跟随镜头缩放变化，本文记录C#脚本的两种实现方式 制作公告牌 创建一个UI的Canvas，将Render Mode模式改成World Space，然后把Canvas画布拖进文件夹变成预制体 添加Ima...
2019-12-31 17:17:36
533
原创 Liquibase 使用（全）
聊一个数据库脚本的版本工具 Liquibase，官网在这里，初次看到，挺神奇的，数据库脚本也可以有版本管理，同类型的工具还有 flyway 。开发过程经常会有表结构和变更，让运维来维护的话，通常会有很大的沟通成本，有时在开发方案有问题的时候，提测失败整个项目需要回滚，代码回滚起来是很容易的，通常有备份，但数据库的话就要人工来逐行分析并写出回滚语句，Liquibase 这时候就有用了。Li...
2019-12-31 17:16:55
606
1
原创 monorepo仓库管理方式探秘
前言随着功能和业务量级的飙升，前端代码量级也越来越大，管理运维的成本也进一步增加。代码仓库的运营管理挑战也浮出水面。主流方案有两种：一是multirepo式的分散式的独立仓库，二是monorepo式的集中管理，各有千秋，下面就结合实际场景一起深入了解下。分散式管理：multirepo即按照功能或者其他维度，将项目拆分为不同模块单独维护于各自仓库中。使用场景对于敏捷迭代快速开...
2019-12-31 16:17:37
382
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人