MySQL的session和global

说明:MySQL的session和global一般使用在终端,用来对配置进行暂时设置,当数据库服务重启就会失效。session和global体现在新的设置生效的范围。 session:当前会话,也就是当前连接。 global:全局,不包含当前连接,之后新获取的连接都会生效。 ...

2019-06-23 10:29:11

阅读数 16

评论数 0

MySQL频繁失去连接

情况:起初循环执行sql是正常的,随着循环次数或者执行时间增加,执行开始失去连接。不是忘记关闭连接,也没用连接池,但是却遇sql执行短时间失去连接。 MySQL超时参数 一眼基本都能看出什么意思,这里主要介绍wait_timeout、net_read_timeout和net_write_t...

2019-06-16 10:14:20

阅读数 131

评论数 0

查看MySQL数据库和表物理内存

1.选择information_schema use information_schema 2.查看information_schema表信息 desc tables; 3.查看数据库所有库的schema select distinct table_schema from tabl...

2019-04-19 17:06:30

阅读数 57

评论数 0

linux查看进程中的线程以及线程个数

一、查看进程pid下的线程 命令:ps hH p pid 二、查看进程pid下的线程个数 命令:ps hH p pid | wc -l

2019-04-12 15:47:05

阅读数 17

评论数 0

Celery Received unregistered task of type

注意:最好在Linux下跑celery,总感觉Windows对python的进程支持的不太好(个人意见) 说明:这种错误是任务未注册,或者说路径不对找不到tasks(任务) 可以看到tasks中没有任何已注册的任务 解决方法: 1.celery对象所在文件main.py from ...

2019-03-16 23:32:25

阅读数 275

评论数 0

简述mysql的join

说明:简单记录一下,否则老是忘,希望你也能看懂。。 join(inner join):内连接也叫等值连接。 A、B两张表当A、B两张表都能通过字段查到数据就会显示这条数据,否则查不到(不显示)。 比如:select a.name,b.name from A join B on a.id = ...

2019-02-15 21:56:39

阅读数 38

评论数 0

xpath提取标签文本以及子孙标签文本

说明:xpath中text()只能提取该标签的文本内容,提取子孙标签的文本内容需要用到string() 使用: "string(xpath的元素定位表达式)" 例子: from lxml import html content = '&...

2019-02-14 13:51:31

阅读数 274

评论数 0

python新式类和旧式类(经典类)

这里要涉及一个名词:MRO(基类搜索顺序) 新式类: python3默认,移除了旧式类,不需要显示继承object,MRO采用广度优先搜索。 旧式类(经典类): python2默认,显示继承object就是新式类,否则就是经典类,MRO采用深度优先搜索。 至于优先级搜索可以参考本篇博客的...

2019-02-08 14:41:38

阅读数 37

评论数 0

python单例

说明:python中一个模块就是单例,简单的通过模块就能实现单例。本篇博客介绍两种从根本上实现单例模式 一、重写类方法__new__: class SingleOne(object): ''' 通过类的__new__实现单例 ''' def __new__(c...

2019-02-07 20:49:05

阅读数 38

评论数 0

python元类(metaclass)简单理解

class Person(type): def __new__(cls,name,bases,attrs): ''' 元类:类的抽象模型,可以理解为类是元类的对象,元类是对类进行限定,类是根据元类 进行构建的,类似类和对象的关系。 ...

2019-02-07 16:31:09

阅读数 13

评论数 0

python协程

说明:python中的协程是通过生成器来实现的,yield不仅能返回值,同时也能接收参数,实现协程之间的通信。 ''' 协程:也叫微线程或者子程序,协程是运行在线程中的,因为单线程不存在同时修改变量的冲突, 因此协程无需加锁,也就是没有锁机制。 协程相对于线程也不需要线程切换的资源浪费的情况,...

2019-02-07 14:00:54

阅读数 28

评论数 0

python可配置日志logging

一、配置文件logger.ini [loggers]#logger名称 keys=root,rotatingFileLogger,timeFileLogger [handlers]#handler名称 keys=consoleHandler,rotatingFileHandler,timeF...

2019-02-02 16:36:43

阅读数 22

评论数 0

python定时任务

说明:使用python内置的模块来实现,本篇博客只是以循环定时来示范,其他的可以结合crontab的风格自己设定 一、导包 from apscheduler.schedulers.blocking import BlockingScheduler 二、普通函数的使用 (1)interva...

2019-02-01 13:53:32

阅读数 453

评论数 0

python的flask框架找不到模块flask.ext.cache

  一、修改一下底层源码: vim /root/.pyenv/versions/3.6.5/envs/flask/lib/python3.6/site-packages/flask_cache/jinja2ext.py   将 flask.ext.cache   改成   flask_cache...

2019-01-17 17:29:07

阅读数 170

评论数 0

爬取某代理网站代理IP

import re from urllib.parse import urlparse import requests from fake_useragent import UserAgent class ProxySpider: def __init__(self,url_init='...

2019-01-14 21:24:09

阅读数 145

评论数 0

jieba切割生成词云

import sqlite3 import pandas as pd import numpy as np import jieba from collections import Counter from pyecharts import WordCloud class MyWordClo...

2019-01-12 22:33:02

阅读数 74

评论数 0

scrapy-redis的官方文档和源码位置

官方文档:https://scrapy-redis.readthedocs.io/en/stable/ 源码位置:https://github.com/rmax/scrapy-redis

2019-01-05 13:50:43

阅读数 228

评论数 1

selenium的无头模式--headless

无论是火狐还是谷歌浏览器只需要添加一个参数即可: from selenium.webdriver.firefox.options import Options Options().add_argument('--headless')  

2019-01-04 16:43:57

阅读数 687

评论数 0

scrapy-redis中url队列类型的控制(zset、list)

说明:scrapy-redis在进行数据请求是能够实现url的自动保存到redis中,但是保存的数据结构类型是和setting配置文件中的优先级队列的选择挂钩的。 注意:当url的保存类型和url的提取方式不匹配会报错 比如:通过list数据结构的数据提取的方式提取zset中的数据 redi...

2019-01-04 16:37:17

阅读数 737

评论数 0

python with 的原理

首先使用with要求该对象支持上下文管理协议(context management protocol),简单说就是类内部实现了__enter__和__exit__方法。 内建了这两个方法的对象: file decimal.Context thread.LockType threading...

2019-01-02 10:33:35

阅读数 43

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭