******* ▄︻┻┳═一 *******

通过python自带的os模块，详细打印连接详细日志。重新连接，没有报错，执行SQL，有数据输出。从报错信息上可以发现，是找不到。

python处理excel的常用操作

用 PyCharm 打开较大文本的时候，出现提示File size exceeds configured limit (2560000), code insight features not available，是因为IDEA对能关联的文件大小做了限制，主要是为了保护内存，默认值为2500kb。解决方法如下：方法一：在 PyCharm 安装目录的 bin 目录下，新建 idea.properties 文件，并在文件中添加一行# custom PyCharm propertiesidea.max.i

一、从标准输入中读取当你的 Python 脚本没有传入任何参数时，fileinput 默认会以 stdin 作为输入源#!/usr/bin/env python#-*- coding:utf-8 -*-#name: demo.pyimport fileinputfor line in fileinput.input(): print(line) 效果如下，不管你输入什么，程序会自动读取并再打印一次，像个复读机似的。$ python demo.py hellohellop

一、explodeexplode用于将一行数据展开成多行。比如说dataframe中某一行其中一个元素包含多个同类型的数据，若想要展开成多行进行分析，这时候explode就派上用场，而且只需一行代码，非常节省时间。用法：DataFrame.explode(self, column: Union[str, Tuple])参数作用：column ：str 或 tuple示例： 以下表中第三行、第二列为例，展开[2,3,8]# 先创建表#!/usr/bin/env python#-*- c

Firefox驱动下载地址：https://github.com/mozilla/geckodriver/releases 或者 http://npm.taobao.org/mirrors/geckodriver/Chromedriver驱动下载地址：http://npm.taobao.org/mirrors/chromedriver/一、无头模式from selenium import webdriverfrom selenium.webdriver.chrome.options import O

一、进度条1、利用time模块实现import timefor i in range(0, 101, 2): time.sleep(0.3) num = i // 2 if i == 100: process = "\r[%3s%% ]: |%-50s|\n" % (i, '#' * num) else: process = "\r[%3s%% ]: |%-50s|" % (i, '#' * num) print(process, end='', flush=True)2、使用

一、说明和安装1、说明在部署一些定时运行或者长期运行的任务时，为了留存一些导致程序出现异常或错误的信息，通常会才用日志的方式来进行记录这些信息。在 Python 中用到日志记录，那就不可避免地会用到内置的 logging 标准库 。虽然 logging 库采用的是模块化设计，你可以设置不同的 handler 来进行组合，但是在配置上通常较为繁琐；而且如果不是特别处理，在一些多线程或多进程的场景下使用 logging 还会导致日志记录会出现错乱或是丢失的情况。但有这么一个库，它不仅能够减少繁琐的配置过

Excel与Python都是数据分析中常用的工具，本文将使用动态图(Excel)+代码(Python)的方式来演示这两种工具是如何实现数据的读取、生成、计算、修改、统计、抽样、查找、可视化、存储等数据处理中的常用操作！数据读取说明： 读取本地Excel数据ExcelExcel读取本地数据需要打开目标文件夹选中该文件并打开PandasPandas支持读取本地Excel、txt文件，也支持从网页直接读取表格数据，只用一行代码即可，例如读取上述本地Excel数据可以使用 pd.read_excel

一、概述aiomysql是一个从asyncio（PEP-3156/tulip）框架访问MySQL数据库的库。它依赖并重用PyMySQL的大部分部分。aiomysql试图成为一个很棒的aiopg库，并保留相同的api、外观和感觉。在内部aimysql是PyMySQL的副本，底层io调用切换到async，基本上是等待并在适当的位置添加async def coroutine。从aiopg移植的sqlalchemy支持。二、安装模块pip3 install aiomysql三、简单示例#!/usr

一、简介内存映射文件，是由一个文件到一块内存的映射。内存映射文件与虚拟内存有些类似，通过内存映射文件可以保留一个地址空间的区域，同时将物理存储器提交给此区域，内存文件映射的物理存储器来自一个已经存在于磁盘上的文件，而且在对该文件进行操作之前必须首先对文件进行映射。使用内存映射文件处理存储于磁盘上的文件时，将不必再对文件执行I/O操作，使得内存映射文件在处理大数据量的文件时能起到相当重要的作用。...

一、简介Puppeteer 是 Google 基于 Node.js 开发的一个工具，有了它我们可以通过 JavaScript 来控制 Chrome 浏览器的一些操作，当然也可以用作网络爬虫上，其 API 极其完善，功能非常强大。 而 Pyppeteer 又是什么呢？它实际上是 Puppeteer 的 Python 版本的实现，但他不是 Google 开发的，是一位来自于日本的工程师依据 Pupp...

一、常用的js加密算法1、js加密解密算法对称加密（加密解密密钥相同）：DES、DES3、AES非对称加密（分公钥私钥）：RSA信息摘要算法/签名算法：MD5、HMAC、SHA2、算法说明①新浪微博登陆: RSA(非对称加密方式)登录前先get请求返回携带有token、pubkey、raskv、servertime等信息的dict字符串，包含在js中需要提取转换需要破解的参数是s...

一、timedelta#Python的timedelta可以处理时间的加减import datetimesdate = datetime.datetime.strptime('2019.01.05','%Y.%m.%d')delta7 = datetime.timedelta(days=7)edate = sdate + delta7print(edate) #2019-0...

MongoDB 是一个开源的数据库，它存储着灵活的类-JSON 的“文档”。与关系数据库中的数据行相反，它能够存储任何的数字，名称，或者复杂的层级结构。Python 开发者可以考虑把 MongoDB 作为一个持久化，可搜索的 Python 字典的“仓库”(实际上，这是如何用 PyMongo 来表示 MongoDB 中的“文档”)。Flask-PyMongo 架起来 Flask 和 PyMongo...

一、设置随机请求头浏览器请求头网站地址：http://www.useragentstring.com/pages/useragentstring.php?typ=Browser1、添加中间件class UserAgentDownloaderMiddleware(object): USER_AGENT = [ "Mozilla/5.0 (compatible; MSIE...

一、配置主题功能在任意一个应用下的新建 adminx.py 文件, 添加如下配置#-*- coding:utf-8 -*-import xadminfrom xadmin import viewsclass BaseSetting(object): enable_themes = True use_bootswatch = Truexadmin.site.regis...

一、下载源代码，并安装源码到django项目源代码官网：https://github.com/sshwsfc/xadmin1、安装依赖将源代码下载到本地，并进入到源代码目录，执行 pip install -r requirements.txt2、在django的根项目路径下，创建 extra_app 包，并把源码包里面的 xadmin 目录放进去## ① settings.py 配置如...

在高版本的 python 中安装软件 django-import-export 报错如下：E:\python\Demo>pip install django-import-exportLooking in indexes: https://pypi.tuna.tsinghua.edu.cn/simpleRequirement already satisfied: django-impo...

一、Lock版锁机制多线程都是在同一个进程中运行的。因此在进程中的全局变量所有线程都是可共享的。这就造成了一个问题，因为线程执行的顺序都是无序的，有可能会造成数据错误，代码如下：#!/usr/bin/env python#-*- coding:utf-8 -*-import threadingVALUE = 0def add_value(): global VALUE ...

一、创建索引##安装elasticsearch : pip install elasticsearch ##创建索引from elasticsearch import Elasticsearches = Elasticsearch('192.168.0.144:9200')mappings = { "mappings": { "type_doc_test": { #type...

需求： 全量备份数据库，但是数据库比较大，如果采用mysqldump在其他机器备份会大量占用mysql，所以研究了阿里api文档写了python脚本放在linux下用定时任务自动备份。一、安装阿里云rds的SDK模块pip install aliyun-python-sdk-rds参考地址：https://help.aliyun.com/document_detail/100865.ht...

一、安装pip install elasticsearch二、连接集群节点1、指定连接es = Elasticsearch( ['172.16.153.129:9200'], # 认证信息 # http_auth=('elastic', 'changeme'))2、动态连接es = Elasticsearch( ['esnode1:port', '...

统计方法利用Python字典统计利用Python的collection包下Counter的类统计利用Python的pandas包下的value_counts的类统计1、利用字典dict来完成统计import randoma = [ random.randrange(1,9) for x in range(10)]data = {}for key in a: data[k...

有两个模块都可以实现，一个是 xpinyin模块，还有一个是pypinyin模块，xpinyin模块只是将汉字转换为拼音字母，汉字的拼音字母是没有音调， pypinyin模块不仅将汉字转换为拼音字母，而且汉字的拼音字母是没有音调也都可以输出出来！一、xpinyin模块1、安装 xpinyin 模块pip install xpinyin2、基本使用from xpinyin import ...

一、、获取图片文件的大小from PIL import Imageimport osdef get_size(file): # 获取文件大小:KB size = os.path.getsize(file) return size / 1024二、拼接输出文件地址def get_outfile(infile, outfile): if outfile: ...

1、连接命令from sqlalchemy import create_enginefrom sqlite3 import dbapi2 as sqliteengine = create_engine('mysql+mysqldb://username:password@hostname:3306/database?charset=utf8')engine = create_engine(...

一、读取不同sheet中的数据#!/usr/bin/env python#-*- coding:utf-8 -*-import pandas as pdfrom pprint import pprintfilename = "运营平台商品清单模板_新版0712.xlsx"df = pd.read_excel(filename,encoding='utf8',sheet_name='商品...

一、安装模块# pip install python-docx二、功能介绍1、在word中插入图片from docx import Documentfrom docx.shared import Pt #磅数from docx.oxml.ns import qn #中文格式from docx.shared import Inches #图片尺寸documen...

一、应用场景为了避免反复的手手工从后台数据库导出某些数据表到Excel文件、高效率到多份离线数据。二、功能事项支持一次性导出多个数据源表、自动获取各表的字段名。支持控制批次的写入速率。例如：每5000行一个批次写入到excel。支持结构相同的表导入到同一个Excel文件。可适用于经过水平切分后的分布式表。三、主要实现1、概览A[创建类] -->|方法1| B(创建数据库连接)...

#!/usr/bin/env python#-*- coding:utf-8 -*-import unittestimport requestsclass Interface_test(unittest.TestCase): '''单元测试一个小例子''' def setUp(self): #定义初始化变量在setUp方法中 self.base_url...

一、数据库连接from pymongo import MongoClient1、有密码db = MongoClient('mongodb://ip:27017').databasedb.authenticate('username',password='password')2、无密码db = MongoClient('mongodb://ip:27017').database二...

生活中，有时候我们需要对一些重要的文件进行加密，Python 提供了诸如 hashlib，base64 等便于使用的加密库。一、基础知识在 Python 中异或操作符为：^，也可以记作 XOR。按位异或的意思是：相同值异或为 0，不同值异或为 1。具体来讲，有四种可能：0 ^ 0 = 0，0 ^ 1 = 1, 1 ^ 0 = 1, 1 ^ 1 = 0。我们还可总结出规律（A 为 0 或 1）...

Portable Document Format（可移植文档格式），或者PDF是一种文件格式，可以用于跨操作系统的呈现和文档交换。尽管PDF最初是由Adobe发明的，但它现在是由国际标准化组织（ISO）维护的开放标准。你可以通过使用PyPDF2包在Python中处理已先存在的PDF。PyPDF2是一个纯Python包，可用于许多不同类型的PDF操作。本文将带你了解如何执行以下操作：从Pyt...

crapy-redis 官网和github地址官网地址：https://scrapy-redis.readthedocs.orggithub地址：https://github.com/rmax/scrapy-redis一、scrapy-redis说明由于 scrapy 是不支持分布式的，为了加快爬虫速度，需要多台机器同时爬取目标url并且同时从url中抽取数据，让N台机器做一模一样的事，通...

常用的网站性能测试指标有：并发数、响应时间、吞吐量、性能计数器等。1、并发数并发数是指系统同时能处理的请求数量，这个也是反应了系统的负载能力。2、响应时间响应时间是一个系统最重要的指标之一，它的数值大小直接反应了系统的快慢。响应时间是指执行一个请求从开始到最后收到响应数据所花费的总体时间。3、吞吐量吞吐量是指单位时间内系统能处理的请求数量，体现系统处理请求的能力，这是目前最常用的性能测...

一、迁移MongoDB数据到MySQL1、使用mongoexport导出.csv文件mongodb自带mongoexport工具，可便捷导出csv、json等格式数据：mongoexport -h 127.0.0.1 -u username -p password -d userInfoDB(数据库名称) -c regInfo(集合名称) -f _id,字段1,字段2 --type=csv ...

一、安装 paramiko 模块$ pip install paramiko二、连接服务器执行命令import threading,paramikourl_list = ['192.168.88.130', '192.168.88.131', '192.168.88.132', '192.168.88.133', ...

一、Celery介绍和基本使用Celery 是一个 基于python开发的分布式异步消息任务队列，通过它可以轻松的实现任务的异步处理， 如果你的业务场景中需要用到异步任务，就可以考虑使用celery， 举几个实例场景中可用的例子:①你想对100台机器执行一条批量命令，可能会花很长时间 ，但你不想让你的程序等着结果返回，而是给你返回 一个任务ID,你过一段时间只需要拿着这个任务id就可以拿到任务...

在编译python3.7的时候，make没有报错，但是在编译的时候报 ModuleNotFoundError: No module named ‘_ctypes’ 错误Traceback (most recent call last): File "/home/wfq/soft/Python-3.7.0b3/Lib/runpy.py", line 193, in _run_module_as...