留记
文章平均质量分 69
静月疏影
是的,我很懒。。。
展开
-
pandas数据处理和数据分析的常见用法总结
导入依赖包import pandas as pdimport numpy as np导入数据pd.read_csv(filename):从CSV文件导入数据pd.read_table(filename):从限定分隔符的文本文件导入数据pd.read_excel(filename):从Excel文件导入数据pd.read_sql(query, connection...转载 2020-04-02 10:16:13 · 621 阅读 · 0 评论 -
基于python实现whoosh全文搜索神器。
注意:本文使用的是jupyter做演示。1.安装环境:(1)、jupyter notebook安装pip install jupyter notebookjupyter notebook命令在相应的目录下启动即可(2)、whoosh安装pip install whoosh(3)、jieba分词器安装----->目前最火最叼的中文分词器pip inst...原创 2020-04-01 10:32:52 · 898 阅读 · 0 评论 -
微服务注册中心Eureka和Consul对比
一、Eureka不建议使用在选型微服务注册中心时,一定要长远考虑,SpringCloud提供了Eureka作为服务注册中心,我们可以开箱即用,但是,对于服务注册中心随着业务需求的不断变化,对服务注册中心提出了更高要求,Eureka就不太适合了,看到“Eureka 2.0 开源工作宣告停止,继续使用风险自负”。这意味着如果开发者继续使用作为 2.x 分支上现有工作 repo 一部分发布的代码...转载 2019-02-14 13:53:43 · 4601 阅读 · 0 评论 -
Airflow调度工具
一、什么是 AirflowAirflow 是 Airbnb 开源的一个用 Python 编写的调度工具。于 2014 年启动,2015 年春季开源,2016 年加入 Apache 软件基金会的孵化计划。Airflow 通过 DAG 也即是有向非循环图来定义整个工作流,因而具有非常强大的表达能力。Airflow DAG如上图所示,一个工作流可以用一个 DAG 来表示,在 DAG ...转载 2019-02-25 16:01:51 · 2362 阅读 · 0 评论 -
python3提示错误“ImportError: No module named 'MySQLdb'”
问题描述:项目在转到python3.7时,原先的导入MySQLdb模块都提示无法导入,pip install mysqldb也安装失败。问题原因:python2和python3在数据库模块支持这里存在区别,python2是mysqldb,而到了python3就变成mysqlclient,pip install mysqlclient即可。...转载 2019-03-05 16:44:55 · 37691 阅读 · 5 评论 -
使用Sqlalchemy自动生成models实体类
Python3也是可以支持的。记录下自动生成models文件的python包sqlacodegensqlacodegen已经加入pypi,只需要使用pip install sqlacodegen就可以安装了安装后即可运行命令生成models.py文件了假设数据库连接字符串是: mysql://root:root@127.0.0.1:3306/mydb使用命令:sqlacodeg...原创 2019-03-05 16:48:14 · 2951 阅读 · 0 评论 -
查看redis数据占用的内存
redis-cli auth 密码info# Memoryused_memory:13490096 //数据占用了多少内存(字节 byte)used_memory_human:12.87M //数据占用了多少内存(带单位的,可读性好)used_memory_rss:13490096 //redis占用了多少内存used_memory_peak:15301192 //占...转载 2019-03-21 08:47:24 · 6212 阅读 · 0 评论 -
手动更新数据库使用Sqlalchemy查不到,解决方案
https://www.cnblogs.com/huchong/p/9258458.html原创 2019-04-26 10:48:58 · 1487 阅读 · 0 评论 -
GitHub添加公钥后仍然需要输入密码的解决
我在centos上生成了密钥并把公钥添加到GitHub账户之后依然每次pull时需要输入密码,看了网上有很多帖子在讲这个问题,解决的方法也五花八门,但是最终下边这个方法帮我成功解决了。主要原因:需要进行gitconfig设置。解决方法:设置gitconfig并保存你的GitLab用户名、邮箱及密码git config --global user.name "your us...原创 2019-04-30 11:06:14 · 2776 阅读 · 0 评论 -
python3 datetime全解,比大小,做差值运算,转化成月、周、日、年等各种级别的运算
timedeltatimedelta的实例化一个timedalta对象代表了一个时间差,当两个date或datetime进行相减操作时会返回一个timedelta对象,或者,我们也可以手动对其进行实例化,其构造函数的原型如下:class datetime.timedelta([days[, seconds[, microseconds[, milliseconds[, minute...转载 2019-05-08 17:54:10 · 19899 阅读 · 1 评论 -
微服务注册发现集群搭建
在互联网应用领域,服务的动态性需求十分常见,这就对服务的自动发现和可动态扩展提出了很高的要求。微服务系统动辄上万个服务,而且还要动态伸缩。以人工写好的IP、Port 硬编码脚本的方式无法做到大规模自动化,稍微多点服务运维就傻了。微服务必然要做到ip和port自动分配,减少人工干预。我们需要让每个服务能动态的创建地址,同时调用方要能感知地址变化。这就需要有一个服务注册与发现的机制,这篇文件就...转载 2019-02-12 17:30:20 · 988 阅读 · 0 评论 -
基于consul,实现微服务的发现和负载均衡
一. 背景随着2018年年初国务院办公厅联合多个部委共同发布了《国务院办公厅关于促进“互联网+医疗健康”发展的意见(国办发〔2018〕26号)》,国内医疗IT领域又迎来了一波互联网医院建设的高潮。不过互联网医院多基于实体医院建设,虽说挂了一个“互联网”的名号,但互联网医院系统也多与传统的院内系统,比如:HIS、LIS、PACS、EMR等共享院内的IT基础设施。如果你略微了解过国内医院院内I...转载 2019-02-12 17:24:55 · 2921 阅读 · 1 评论 -
内存的管理和分页机制
一、问题提出:我们经常会使用malloc()以及free()函数进行堆区内存申请与释放。那么你是否会这样做:int * p = malloc(0);/*malloc分配了0个字节吗,如果是那么p指向谁呢,是NULL吗*/free(p);/*假如malloc分配了0个字节,p指向了NULL,那么free(NULL)不会出现段错误吗*/12我想很少有人这样做,因为除了喜欢“打破砂锅问到底”,或者经常...转载 2018-05-25 15:10:20 · 869 阅读 · 0 评论 -
Python中的线程
作者:DarrenChan陈驰链接:https://www.zhihu.com/question/23474039/answer/269526476来源:知乎著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。在介绍Python中的线程之前,先明确一个问题,Python中的多线程是假的多线程! 为什么这么说,我们先明确一个概念,全局解释器锁(GIL)。Python代码的执行由Pyt...转载 2018-05-24 15:51:47 · 163 阅读 · 0 评论 -
Web大规模高并发请求和抢购的原理及解决方案
电商的秒杀和抢购,对我们来说,都不是一个陌生的东西。然而,从技术的角度来说,这对于Web系统是一个巨大的考验。当一个Web系统,在一秒钟内收到数以万计甚至更多请求时,系统的优化和稳定至关重要。这次我们会关注秒杀和抢购的技术实现和优化,同时,从技术层面揭开,为什么我们总是不容易抢到火车票的原因? 一、大规模并发带来的挑战 在过去的工作中,我曾经面对过5w每秒的高并发秒杀功能,在这个过程中,整个Web...转载 2018-05-24 16:37:21 · 1436 阅读 · 0 评论 -
Django 、 Flask 、 Pyramid框架对比
1 前言Pyramid,Django和Flask都是非常不错的Web框架,如何为你的项目从中选择最合适的是一个问题。本文中,会使用这三个Web框架来实现具备同一个功能的网站,以此来进行对比。2 简介PythonWeb框架的世界里总是充满着选择,Django,Flask,Pyramid,Tornado,Bo...转载 2018-05-29 17:50:57 · 1046 阅读 · 0 评论 -
缓存算法
一次偶然的交流机会,被问到关于缓存算法的问题,结果当场蒙圈,同时也暴露了自己的不足; 结合目前的理解,也就只知道软件会结合http header头去做一些处理来控制缓存过期时间,当磁盘满后,会删除最冷的数据,至于什么是冷? 是最远的还是次数最少的? 看完下面是最常用的一些算法就会得出结论:1. 缓存相关概念缓存 : 凡是位于速度相差较大的两种硬件之间,用于协调两者数据传输速度差异的结构,均可称之为...转载 2018-05-31 09:23:26 · 248 阅读 · 0 评论 -
高并发解决方案(负载均衡)
1,什么是负载均衡?当一台服务器的性能达到极限时,我们可以使用服务器集群来提高网站的整体性能。那么,在服务器集群中,需要有一台服务器充当调度者的角色,用户的所有请求都会首先由它接收,调度者再根据每台服务器的负载情况将请求分配给某一台后端服务器去处理。那么在这个过程中,调度者如何合理分配任务,保证所有后端服务器都将性能充分发挥,从而保持服务器集群的整体性能最优,这就是负载均衡问题。下面详...转载 2018-10-11 15:15:50 · 970 阅读 · 0 评论 -
图说进程和线程
进程(process)和线程(thread)是操作系统的基本概念,但是它们比较抽象,不容易掌握。1.计算机的核心是CPU,它承担了所有的计算任务。它就像一座工厂,时刻在运行。 2.假定工厂的电力有限,一次只能供给一个车间使用。也就是说,一个车间开工的时候,其他车间都必须停工。背后的含义就是,单个CPU一次只能运行一个任务。 3.进程就好比工厂的车间,它代表CPU所能处理...转载 2018-10-12 13:50:14 · 284 阅读 · 0 评论 -
Tornado模板templates用法
--------------------静态文件--------------------1、static_path:通过向web.Application类的构造函数传递一个名为static_path的参数来告诉Tornado从文件系统的一个特定位置提供静态文件 app = tornado.web.Application( [(r'/', IndexHandler)], ...转载 2018-11-15 14:31:40 · 1803 阅读 · 0 评论 -
推荐几个代码自动生成器,神器!!!
20个代码生成框架老的代码生成器的地址:https://www.cnblogs.com/skyme/archive/2011/12/22/2297592.html以下是大家推荐的最近很火爆的代码生成器神器。如果有更好的希望大家多多留言,我会及时补充上去。-------------------------更新补充---------------------------------...原创 2019-06-23 22:15:46 · 181846 阅读 · 14 评论 -
存储知识个人总结
1、磁盘组成 盘面:硬盘的每个盘片分为上下两个盘面,每个盘面都能存数据。磁道:磁头在盘面上划出一个圆形轨迹,这些轨迹就是磁道。柱面:所有盘面上的同一磁道,在竖直方向上构成一个圆柱,称作柱面。扇区:将同心圆磁道划分为一段一段等长圆弧,每个圆弧就是一个扇区。每个盘面的磁头起初停在盘面的最内圈。这里不存放数据的启停区,盘面最外圈的地方是0磁道,数据存储就是从这开始的,0磁道存放着用于操作系统启动所必须的...原创 2018-04-02 09:12:27 · 1481 阅读 · 0 评论