- 博客(25)
- 收藏
- 关注
RSS订阅原创 根据依赖关系排序
就为了尽快实现功能，性能可能不是很好输入：[[1, 2], [1, 3], [2, 3], [3, None], [3, 4], [4, 5]][[1, 2], [1, 3], [2, 3], [3, None], [3, 4], [4, 2]]输出：[5, 4, 3, 2, 1]Exception: 存在循环依赖: [[1, 2], [1, 3], [2, 3...
2018-08-24 13:19:31
2672
原创 python logging日志输出到mysql数据库
logging的日志输出没有现成的输出到数据库的，然后网上也没找到现成的输出到mysql数据库的，就看了下源码，自己封装了个实现方法简单来说，就是写一个类继承logging.Handler，并重写emit方法，我这里是结合sqlalchemy的，如果日志表不存在，会直接在指定数据库创建指定名字的表，也可以在init中采用普通的pymysql的方式创建数据库连接，然后在emit中使用curs...
2018-05-03 14:23:50
7298
3
原创 sqlalchemy根据表名动态创建model类
作用如题，直接上代码吧，另外还支持 copy一张表的表结构，新建表并获得model对象# coding: utf-8import tracebackfrom sqlalchemy import (BigInteger, Column, DateTime, Integer, MetaData, String, Table, create_...
2018-04-28 11:39:50
5154
1
原创 sqlalchemy动态创建model以及映射
遇到这样一个需求，使用sqlalchemy作为ORM框架，很多表表结构一致，但表名不一样，所以需要先创建多个model，每个表都去做重复的工作，对于我来说，是无法接受的，于是，使用type动态创建类，并动态绑定metaData这种方式来动态创建类：from sqlalchemy.orm import mapperfrom sqlalchemy import Table,MetaData...
2018-04-27 18:12:23
6402
原创 SQLAlchemy字典结果集转对象结果集
用sql执行query返回的是对象集没毛病，但是不太习惯使用query，还是倾向于采用execute执行sql语句的方式获得结果集，这样得到的结果是字典list，可以采用此函数转化为对象listdef dictToObj(results, to_class): """将字典list或者字典转化为指定类的对象list或指定类的对象 python 支持动态给对象添加属性，所以字典中...
2018-04-20 17:05:33
4774
原创 python 跳出多层循环
主要利用的是python中的for else语法，for循环还有一个else从句，我们大多数人并不熟悉。这个else从句会在循环正常结束时执行。这意味着，循环没有遇到任何break。 简单例子，多层循环查找，找到了提前退出：for i in range(0,5): for j in range(0,8): if i = 3 and j = 6: ...
2018-04-02 12:34:31
3933
原创 python多进程中传递变量
一句话，多进程传递的不是内存中的地址（浅拷贝），而是特码的整个对象（深拷贝），如果想操作同一对象还是使用队列或者其他的多进程共享变量的方法吧遇到这个问题是对excel文件使用openpyxl写入的时候，希望能实现异步写入，使用协程发现没效果，初步估计应该是openpyxl的写入过程其实是cpu从内存中依次取了然后写入磁盘，并不是像网络请求那样，一个请求发出去cpu基本就不干活了，就处于接收响应...
2018-03-29 19:22:33
4532
原创 python执行较大excel文件openpyxl慢
talk is cheap from openpyxl import Workbook from openpyxl.utils import get_column_letter from openpyxl import load_workbook import time wb = load_workbook("E:/a.xlsx", read_only...
2018-03-28 14:19:38
12602
3
原创 python实现自己的异步IO等异步操作
协程首先引用下廖雪峰老师网站上的这部分介绍： 协程，又称微线程，纤程。英文名Coroutine。 协程的概念很早就提出来了，但直到最近几年才在某些语言（如Lua）中得到广泛应用。 子程序，或者称为函数，在所有语言中都是层级调用，比如A调用B，B在执行过程中又调用了C，C执行完毕返回，B执行完毕返回，最后是A执行完毕。 所以子程序调用是通过栈实现的，一个线程就是执行一个子程序。 子程序...
2018-03-20 15:19:23
3246
3
原创 python取list集合的连续子集
说明：集合listA =[1,2,3],希望得到[[1],[1,2],[2,3],[2],[3],[1,2,3]] talk is cheap def getRealChild(listA): realChildList = [] for i in range(0,len(listA) - 1): for j in range...
2018-03-12 17:20:05
4947
4
原创 VScode pymysql模块fetchall方法取不到值bug
这个问题是个很神奇的东西，简单来说就是用fetchall()取cusor中的_rows的值，明明_rows里面存在值，但依然取出来为空，看了一会pymysql里cursor里的源码，大概地了解到这个bug的表面原因： 原因： cursor，在其内部有个rownumber的变量，作用大概就是“游标”的意思吧，如果你是用fetchone()方法，取出来的就是第一个数，然后将游标移到下一位，下次去取...
2018-03-05 12:58:01
2234
3
原创 字符串集合中相互包含关系算法
字符串集合中相互包含关系算法先介绍下使用场景，源文件是一个excel表格，要根据某一列的值生成正则表达式，为保证正则表达式的准确性，被包含的数据肯定是不能直接生成正则表达式的，例如，产科和妇产科，如果直接生成正则表达式，那么所有妇产科应该匹配到的字符串都能被产科所匹配到，所以将需要实现一种算法，能对整个字符串数组进行相互包含关系的校验 python实现备选算法：简单遍历先按长...
2018-03-05 12:24:10
2631
转载 MySQL索引原理及慢查询优化
来源：美团技术团队 原作者：NeverMore MySQL凭借着出色的性能、低廉的成本、丰富的资源，已经成为绝大多数互联网公司的首选关系型数据库。虽然性能出色，但所谓“好马配好鞍”，如何能够更好的使用它，已经成为开发工程师的必修课，我们经常会从职位描述上看到诸如“精通MySQL”、“SQL语句优化”、“了解数据库原理”等要求。我们知道一般的应用系统，读写比例在10:1左右，而且插入操作和一般
2018-01-31 13:17:42
236
转载 mysql军规
是想直接转载的，没找到相关按钮就copy了 写在前面的话： 总是在灾难发生后，才想起容灾的重要性； 总是在吃过亏后，才记得曾经有人提醒过。（一）核心军规 （1）不在数据库做运算：cpu计算务必移至业务层 （2）控制单表数据量：单表记录控制在1000w （3）控制列数量：字段数控制在20以内 （4）平衡范式与冗余：为提高效率牺牲范式设计，冗余数据 （5）拒绝3B：拒绝大sql，大
2018-01-31 12:45:56
335
原创 tomcat、springMVC get请求或Requestparam中文乱码
tomcat默认编码是ISO-8859-1，修改tomcat根目录的conf下的server.xml,Connector元素添加URIEncoding=”UTF-8”属性，如下所示：<Connector connectionTimeout="20000" port="8080" protocol="HTTP/1.1" redirectPort="8443" URIEncoding="UTF-8"
2018-01-15 19:53:16
251
原创 ActiveMQ消息“丢失” Tomcat shutdown.sh脚本不能关闭所有进程
ActiveMQ消息“丢失”最近公司项目要用到消息队列，然后在本地跑通过了，部署到tomcat后，部分消息无法进入本地项目断点，疑似部分消息丢失，经过各种测试确定消息发送到队列以后，在activeMQ管理平台后发现，存在两个customer，由于配置文件一样，本地项目和服务器项目操作的是同一台服务器上的同一个队列，也就造成了这个问题Tomcat shutdown.sh脚本不能关闭所有进
2018-01-12 21:55:18
1174
原创 dialog出现Uncaught RangeError: Maximum call stack size exceeded错误
easyui，jquery中dialog报错：Uncaught RangeError: Maximum call stack size exceeded
2018-01-02 12:53:56
3849
原创 python中在使用asyncio中使用requests
起因需要写个爬虫去爬一些数据，于是用python写了个，但由于众所周知的GIL锁问题，python的多线程其实效率并不高，于是准备采用协程的方法去实现，在写demo测试的时候就遇到问题了，使用await去等待requests的响应却是无效的测试代码 import asyncio import requests async def hello1(url): prin
2017-12-23 16:21:28
12858
5
原创 SpringMvc图片压缩上传
一个简单的图片压缩上传方法，支持按比例缩放或按尺寸强制缩放/*** * * @param newFilePath 生成的文件路径 * @param file SpringMvc接收到的文件 * @param width 存储的图片的宽 * @param height 存储的图片的高 * @param isR
2017-12-07 16:32:50
1478
1
转载 MYSQL 调优和使用必读
Posted under 架构研究 by Bruce Dou | Posted 25 Feb 2012MYSQL 应该是最流行了 WEB 后端数据库。WEB 开发语言最近发展很快，PHP， Ruby, Python, Java 各有特点，虽然 NOSQL 最近越來越多的被提到，但是相信大部分架构师还是会选择 MYSQL 来做数据存储。MYSQL 如此方便和稳定，以至于我们在开发
2017-11-20 19:53:55
436
转载 JAVA多线程和并发基础面试问答
多线程和并发问题是Java技术面试中面试官比较喜欢问的问题之一。在这里，从面试的角度列出了大部分重要的问题，但是你仍然应该牢固的掌握Java多线程基础知识来对应日后碰到的问题。（校对注：非常赞同这个观点）Java多线程面试问题1. 进程和线程之间有什么不同？一个进程是一个独立(self contained)的运行环境，它可以被看作一个程序或者一个应用。而线程是在进程中执行的一个任务
2017-11-20 19:41:27
187
转载 11 个简单的 Java 性能调优技巧
大多数开发人员理所当然地以为性能优化很复杂，需要大量的经验和知识。好吧，不能说这是完全错误的。优化应用程序以获得最佳性能不是一件容易的事情。但是，这并不意味着如果你不具备这些知识，就不能做任何事情。这里有11个易于遵循的建议和最佳实践可以帮助你创建一个性能良好的应用程序。大部分建议是针对Java的。但也有若干建议是与语言无关的，可以应用于所有应用程序和编程语言。在讨论专门针对Jav
2017-11-20 19:36:47
202
转载 你应该学习正则表达式
转载自码农网小峰，原文什么是正则表达式？正则表达式（或Regex，或Regexp）是使用字符序列描述复杂搜索模式的一种方式。然而，专门的Regex语法由于其复杂性使得有些表达式变得不可访问。例如，下面的这个基本的正则表达式，它表示24小时制HH / MM格式的时间。1\b([01]?[0-9]|2[0-3]):([0-5]
2017-11-20 16:39:33
556
转载 linux简单命令与Shell脚本
说明1、#表示root用户登录，$表示普通用户登录2、|符号是管道符，用于把|前的输出作为后面命令的输入3、>表示追加并覆盖的意思4、>>两个大于符号，表示追加命令1、cd命令：切换目录cd /home 进入/home目录cd ../返回上一级目录cd ./当前目录2、ls命令：产看文件及目录ls ./ 查看当前目录所有的文件和目录ls -
2017-11-20 16:21:10
369
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人