python之路
记录python中遇到的问题及解决过程
坦桑尼亚奥杜威峡谷能人
测试开发领域,主python,c进行中,后端、前端、爬虫都能搞搞。
社区:https://bbs.csdn.net/forums/sydjcwx
I、M 相信:努力创造美好生活
展开
-
关于Tornado实现多进程/多线程的理解及参考
方案所用到模块及模块介绍:import tornado.gentornado.gen 模块是一个基于 python generator 实现的异步编程接口。通过该模块提供的 coroutine (注:这里 coroutine 指的是 ”协程” 概念而不是后面具体实现的 decorator:@gen.decorator),大大简化了在 Tornado 中编写异步代码的工作 —— 支持 “同步方式编写异步代码” ,避免编写烦人的回调函数。from tornado.concurrent im原创 2022-04-30 19:30:27 · 2467 阅读 · 3 评论 -
python读写ymal文件(不需要考虑文件路径)
简介:python读写ymal文件(不需要考虑文件路径,只需要保证key名唯一)# -*- coding: utf-8 -*-'''文件说明:读取ymal文件,不需要考虑路径问题,只需要保证key名唯一'''import os, inspectimport yamlimport warningswarnings.filterwarnings("ignore")class ReadWriteYmal(): def __init__(self): # 获取当前路原创 2022-04-23 08:36:14 · 887 阅读 · 0 评论 -
tornado、flask接口封装与调用
tornado封装,支持并发#!/usr/bin/env python# -*- coding:utf-8 -*-import osimport sysimport timeimport json,datetime,queuefrom tornado.httpclient import HTTPClientfrom tornado.web import RequestHan...原创 2018-12-29 18:11:51 · 250 阅读 · 2 评论 -
Tornado服务状态码报错收集及处理
Tornado常用状态码如下:(1)200 OK 如果响应成功,并且没有其他返回码被设置,Tornado将默认返一 个200(OK)响应码。(2)301 Moved Permanently 资源被永久移动到新的位置(3)304 Not Modified 有缓存的情况下访问(4)404 Not FoundTornado会在HTTP请求的路径无法匹配任何类相对应的模式时 返回 404(Not Found)响应码。(5)400 Bad Request 如果你原创 2022-04-15 21:01:04 · 694 阅读 · 0 评论 -
python列表乱序
利用random函数random.shuffle()可以把一个列表中的元素打乱顺序,但是不会生成新的列表,只是将原列表的次序打乱。import randoma = [1,2,3]a_id = a[1]print(type(a), id(a_id),a)b = random.shuffle(a)print(type(a), id(a_id),a)<class 'list'> 4347322648 [1, 2, 3]<class 'list'> 4347322648原创 2022-04-13 23:15:52 · 3336 阅读 · 1 评论 -
openyxl 读取excel
博客园 首页 新随笔 联系 管理 订阅随笔- 82 文章- 0 评论- 14Python - openpyxl 读写操作Excelopenpyxl特点 openpyxl(可读写excel表)专门处理Excel2007及以上版本产生的xlsx文件,xls和xlsx之间转换容易 注意:如果文字编码是“gb2312” 读取后就会显示乱码,请先转成Unicode1...转载 2018-11-20 09:33:02 · 1085 阅读 · 0 评论 -
python 文件转pdf
参考:https://blog.csdn.net/weixin_38008864/article/details/106726294原创 2021-11-16 13:55:57 · 977 阅读 · 0 评论 -
python知识点记录
**1.**正确理解Python中的 @staticmethod@classmethod方法https://zhuanlan.zhihu.com/p/28010894原创 2021-04-22 13:44:06 · 81 阅读 · 0 评论 -
uber h3 地理编码
python 包:from h3 import h3def geth3(lon, lat, levelnum): h3_address = h3.geo_to_h3(lat, lon, levelnum) # 纬度,经度,地块级别 hex_center_coordinates = h3.h3_to_geo(h3_address) hex_boundary = h3.h3_to_geo_boundary(h3_address) return h3_addresslo原创 2021-04-17 16:02:08 · 1299 阅读 · 0 评论 -
python读写yaml文件
# encoding=utf-8import osimport yamladict = { 'a': 1, 'b': {'c: 3'}, 'result': True}with open('ly_yaml.yaml', 'w', encoding='utf-8') as f: yaml.dump(adict, f) ''' a: 1 b: 'c: 3' '''with open('ly_yaml.yaml', 'r',原创 2021-02-03 11:30:11 · 295 阅读 · 0 评论 -
python操作excel (贼详细的)
https://blog.csdn.net/u014779536/article/details/108182833原创 2021-01-29 16:25:03 · 104 阅读 · 0 评论 -
python读写excel指定sheet
class ReadWriteExcel(): ''' 读写excel数据类 ''' def __init__(self): self.wb = Workbook() self.tables_names = [] def readexcel(self): excel_datas = [] wb = load_workbook(read_excel_name) # ws = wb.acti原创 2021-01-14 15:07:08 · 6349 阅读 · 0 评论 -
python基础知识点
1.递归def fact(n): if n == 0: return 1 else: return n*fact(n-1)aa = fact(5)print(aa)'''5 5*fact(4)=1204 4*fact(3)=243 3*fact(2)=62 2*fact(1)=21 1*fact(0)=1'''原创 2021-01-14 10:26:27 · 74 阅读 · 0 评论 -
Python程序打包成Windows可执行EXE文件
https://www.cnblogs.com/QYGQH/p/9358843.html原创 2020-07-23 23:21:54 · 154 阅读 · 0 评论 -
python print 带颜色字体
数值表示的参数含义:显示方式: 0(默认值)、1(高亮)、22(非粗体)、4(下划线)、24(非下划线)、 5(闪烁)、25(非闪烁)、7(反显)、27(非反显)前景色: 30(黑色)、31(红色)、32(绿色)、 33(黄色)、34(蓝色)、35(洋 红)、36(青色)、37(白色)背景色: 40(黑色)、41(红色)、42(绿色)、 43(黄色)、44(蓝色)、45(洋 红)、46(青色)、47(白色)常见开头格式:\033[0m 默认字体正常显示,不高亮\033[32原创 2020-10-19 20:18:17 · 520 阅读 · 0 评论 -
协程的简单应用
协程在爬虫上的应用from gevent import monkeymonkey.patch_all()import geventimport requestsimport timedef get_page(url):print(‘GET: %s’ % url)time.sleep(2)response = requests.get(url)if response.status_code == 200:print(’%d bytes received from %s’ % (len(r原创 2020-06-01 11:49:23 · 169 阅读 · 0 评论 -
python 列表里字典根据某个值分组
from operator import itemgetterfrom itertools import groupbyrows = [{'a': 10, 'age': 2}, {'a': 20, 'age': 3}, {'a': 30, 'age': 2}, {'a': 40, 'age': 4}]# rows = sorted(rows, key=itemgetter('age')) # [{'a': 10, 'age': 2}, {'a': 30, 'age': 2}, {'a': 20,原创 2020-05-27 14:28:45 · 4439 阅读 · 0 评论 -
python随机执行两个不同功能的函数
# coding=utf-8import randomimport sys'''随机执行两个函数,这两函数可以执行不一样的功能hasattr() 函数用于判断对象是否包含对应的属性。 如果对象有该属性返回 True,否则返回 False。getattr() 函数用于返回一个对象属性值。 返回对象属性值。'''def a(x, y): # print(x + y)...原创 2020-04-09 14:48:54 · 1509 阅读 · 0 评论 -
python当导入路径报错时可以
import osimport syssys.path.append(os.path.abspath(os.path.dirname(os.path.dirname(__file__))))print(os.path.dirname(__file__))print(os.path.dirname(os.path.dirname(__file__)))print(os.path.absp...原创 2020-04-09 09:54:45 · 200 阅读 · 0 评论 -
base64 编码原理 及 爬虫遇到自定义b64加密
转载:https://mp.weixin.qq.com/s/XY6yf5PgwWPSRpVTzK1uGA转载 2020-03-31 09:38:15 · 329 阅读 · 0 评论 -
re 匹配中文
c = ‘大佬但斌都"望而却不"’b = re.findall(r’"([\u4e00-\u9fa5]+)’, c)print('b = ', b)b = [‘望而却不’]原创 2019-12-04 17:07:17 · 651 阅读 · 0 评论 -
分享一个python日志模块
https://loguru.readthedocs.io/en/stable/index.html原创 2019-10-30 11:06:02 · 136 阅读 · 0 评论 -
多路开车——指定线程数的方式实现python多线程及多线程获取返回值
# coding=utf-8import threading, time# 1、自己写代码实现def get_detail_video(vid): print('-->', vid) time.sleep(2)ths = []for i in range(10): th = threading.Thread(target=get_detail_vi...原创 2019-09-05 16:29:59 · 644 阅读 · 2 评论 -
json.loads()报错处理
# coding=utf-8import json, rea = '''{"bulletAttributes":["A-line silhouette with a relaxed fit.","High waisted.","Hits at the upper calf.","Model is 5'9" (176 cm), size S, wearing a regular Gap s...原创 2019-08-29 11:56:39 · 2025 阅读 · 0 评论 -
python定时任务
原文:https://www.cnblogs.com/wanglinjie/p/9286323.htmlimport schedule 2 import time 3 4 def test(): 5 print("I'm working...") 6 def test2(): 7 print("I'm working... in job2") 8 ...转载 2019-08-27 12:00:01 · 80 阅读 · 0 评论 -
python获取指定日期内的所有日期,所有月份, 前几分钟、前几天
# coding=utf-8import datetimefrom datetime import timedeltadef gen_dates(b_date, days): day = timedelta(days=1) # print(day) for i in range(days): # print(b_date + day*i) ...原创 2019-08-16 10:46:55 · 6512 阅读 · 1 评论 -
[Python3网络爬虫开发实战] 7.3-Splash负载均衡配置
转载:静觅»[Python3网络爬虫开发实战] 7.3-Splash负载均衡配置原文地址:https://cuiqingcai.com/5654.html用Splash做页面抓取时,如果爬取的量非常大,任务非常多,用一个Splash服务来处理的话,未免压力太大了,此时可以考虑搭建一个负载均衡器来把压力分散到各个服务器上。这相当于多台机器多个服务共同参与任务的处理,可以减小单个Splas...转载 2019-08-13 15:40:40 · 140 阅读 · 0 评论 -
转载:常见加密方式和Python实现
原文地址:https://www.jianshu.com/p/4ba20afacce21. 前言我们所说的加密方式,都是对二进制编码的格式进行加密的,对应到Python中,则是我们的Bytes。所以当我们在Python中进行加密操作的时候,要确保我们操作的是Bytes,否则就会报错。将字符串和Bytes互相转换可以使用encode()和decode()方法。如下所示:# 方法...转载 2019-08-08 10:35:03 · 149 阅读 · 0 评论 -
async aiohttp 并发报错
常见错误:ValueError: too many file descriptors in select()Python拓展21(python3X之百万并发<借鉴>) python由于GIL(全局锁)的存在,不能发挥多核的优势,在IO密集型的网络编程里,异步处理比同步处理能提升成百上千倍的效率,弥补了python性能方面的短板。 python3.4版本引入as...转载 2019-07-08 11:38:30 · 1076 阅读 · 0 评论 -
python知识
转载:https://www.runoob.com/python3/python3-examples.html转载 2019-06-10 14:54:06 · 84 阅读 · 0 评论 -
python负载均衡
转载:https://www.cnblogs.com/lianxuebin/articles/8621877.htmlpython高并发之Nginx负载均衡的详细配置及使用案例详解.1,话不多说, 这里我们来说下很重要的负载均衡, 那么什么是负载均衡呢?由于目前现有网络的各个核心部分随着业务量的提高,访问量和数据流量的快速增长,其处理能力和计算强度也相应地增大,使得单一的服务器...转载 2019-05-29 09:57:24 · 2175 阅读 · 0 评论 -
日志.py
import syssys.path.append("./")from common.settings import *import osimport datetimelogger={"test":None,}def _log(file_path,platform,logging,RotatingFileHandler): """ 1.创建logger 2.创...原创 2019-10-23 09:46:04 · 158 阅读 · 0 评论 -
python发送邮件,发送txt附件
import smtplibfrom email.mime.text import MIMEText# 第三方 SMTP 服务mail_host = "smtp.qq.com" # SMTP服务器mail_user = "1159038@qq.com" # 用户名mail_pass = "pgs" # 密码 客户端授权码,不是邮箱密码sender = '115908@...原创 2019-10-23 09:50:29 · 1526 阅读 · 0 评论 -
利用python PIL库进行图像模式的转换
转载自:https://www.jianshu.com/p/2e9539bdc307首先看看几个概念。所谓图像模式,就是把色彩分解成部分颜色组件,对颜色组件不同的分类就形成了不同的色彩模式。(摘自百度百科)所谓位图,又称栅格图(英语:Raster graphics)或点阵图,是使用像素阵列(Pixel-array/Dot-matrix点阵)来表示的图像。位图的像素都分配有特定的位置和颜...转载 2019-02-15 10:37:11 · 2364 阅读 · 0 评论 -
分享一篇python常用库
20个必不可少的Python库也是基本的第三方库读者您好。今天我将介绍20个属于我常用工具的Python库,我相信你看完之后也会觉得离不开它们。他们是: Requests.Kenneth Reitz写的最富盛名的http库。每个Python程序员都应该有它。 Scrapy.如果你从事爬虫相关的工作,那么这个库也是必不可少的。用过它之后你就不会再想用别的同类库了。 wx...转载 2019-01-28 11:41:49 · 1648 阅读 · 0 评论 -
linux命令
转载:https://www.cnblogs.com/wujunbin/p/7465538.htmllinux常用命令和关闭防火墙2. linux常用命令Mkdir 创建Rm -rf 删除Chmod -R 777 权限Mysql -uroot -rquit退出 find / -name svn 查找位置 3. 关闭防火墙和se...转载 2019-01-26 15:02:52 · 114 阅读 · 0 评论 -
one算法
转载:https://www.cnblogs.com/llhy1178/p/6864094.html?utm_source=itdadao&utm_medium=referral# OneR算法实现import numpy as npfrom sklearn.datasets import load_iris# 加载iris数据集dataset = load_iris()# ...转载 2019-01-02 18:14:47 · 240 阅读 · 0 评论 -
celery 学习
参考:https://www.cnblogs.com/yangjian319/p/9097171.html官网地址:http://docs.celeryproject.org/en/latest/userguide/configuration.html#example-configuration-filewin10系统,测试 test.py时报错: ValueError: not enou...转载 2018-12-25 16:54:20 · 232 阅读 · 1 评论 -
文档收藏
1. CNN-RNN中文文本分类,基于TensorFlowhttps://github.com/gaussic/text-classification-cnn-rnn2.功能比Scrapy强,却使用最方便的Gerapy分布式爬虫管理框架https://cloud.tencent.com/developer/article/1061917?from=timeline3.NLPIR大...原创 2019-07-24 10:51:34 · 79 阅读 · 0 评论 -
APPNIUM安装教程
收藏:https://www.cnblogs.com/fnng/p/4540731.html转载 2018-10-29 17:59:19 · 1859 阅读 · 0 评论