![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
python
Leon0204
这个作者很懒,什么都没留下…
展开
-
爬虫问题汇总
request / BeautifulSoup 解析 ISO - 8859 - 1 / GB2312 页面乱码错误设置 r.encoding = ‘GB2312’# r.encoding = 'GB2312'r = requests.get(i,) print(r.encoding) # ISO - 8859 - 1 r.encoding = 'GB2312'print (r.text) :# 国物权法》(上册),张双根译,法律出版社</span><s原创 2020-09-11 10:42:06 · 205 阅读 · 0 评论 -
Keras TensorFlow 验证码识别(附数据集)
效果先看效果图,左边是 两张测试数据,右边是 预测结果标注数据集下载地址已更新实现1. 训练模型bathcsize 为 700 轮次 50#!/usr/bin/env python# coding: utf-8# # 训练模型# # ## 引入第三方包# In[1]:from PIL import Imagefrom keras import backend as Kfrom keras.utils.vis_utils import plot_modelfrom ke原创 2020-08-14 09:16:36 · 4017 阅读 · 2 评论 -
tornado 消费队列并配合 superviosr 优雅重启
当你用tornado 作为一个消费队列的实例,如果tornado 异常了,如何在消费队列中重启tornado实例,并继续下一个消费?原创 2020-06-20 10:07:58 · 314 阅读 · 0 评论 -
pika python rabbitmq 优先级队列、查看队列剩余数目
话不多说,直接上代码。python3.6 pika 实现rabbitmq 优先级队列Sendimport pikaimport sysimport time# 远程rabbitmq服务的配置信息username = '用户名' # 指定远程rabbitmq的用户名密码pwd = '密码'ip_addr = 'ip'port_num = 5672# 消息队列服务的连接和队列的创建credentials = pika.PlainCredentials(username, p原创 2020-05-21 16:17:22 · 2808 阅读 · 1 评论 -
解析redis bitmap数据
import redisimport binascii#连接redispool = redis.ConnectionPool(host='122.112.163.26', port=6379, db=0, password='fb0401')r = redis.Redis(connection_pool=pool)#获取bitmap 存储 的字符 ==> b'` \x00\x0...原创 2020-04-25 17:12:15 · 431 阅读 · 0 评论 -
Python3 列表解析和迭代器的内存占用过程分析
列表解析表达式先来看一个例子~ Leetcode 171 题解法很简单: sum = 0 for i in range(0, len(s): sum += 26 ** (len(s) - 1 - i) * (ord(s[i]) - ord("A") + 1) return sum那么,这里也可以这么写。 return sum...原创 2019-12-05 16:22:12 · 1362 阅读 · 0 评论 -
56. 合并区间 python3
给出一个区间的集合,请合并所有重叠的区间。示例 1:输入: [[1,3],[2,6],[8,10],[15,18]]输出: [[1,6],[8,10],[15,18]]解释: 区间 [1,3] 和 [2,6] 重叠, 将它们合并为 [1,6].示例 2:输入: [[1,4],[4,5]]输出: [[1,5]]解释: 区间 [1,4] 和 [4,5] 可被视为重叠区间。c...原创 2019-12-03 14:14:52 · 340 阅读 · 0 评论 -
文件名路径有/ 导致目录不存在的问题 No such file or directory
在目录中存在/ 时,读取或写入就会报错 FileNotFoundError: [Errno 2] No such file or directory解决办法如下:title = "ELK CI/CD 部署实践2017-11-06 by leon.pdf"#替换以下的 半角符号 --> 全角符号title = title.replace('/', '/') \ .repl...原创 2019-11-29 15:12:54 · 3147 阅读 · 0 评论 -
Python3 设置 profile 环境变量
服务器环境 centos7.3 ,由于服务器上profile设置了代理代理仅限访问 A 网站,这时,我需要在我的 Python 脚本中访问 B 网站 ,就会因为代理的原因 无法访问B网站。总不能每次都运行脚本前去 修改 profile 文件 删除代理吧?在python中删除代理 / 修改环境变量OS模块 system (Failed)发现依然是拒绝访问,说明不能通过这种方式(...原创 2019-11-21 10:12:26 · 1756 阅读 · 0 评论 -
一篇最全整理,教会你离线部署Python3和pip包
本文介绍离线安装(无网模式)的坑点1 重新安装 openssl先把系统自带的这些,卸载/删除#编译安装opensslhttp://www.openssl.org/source/ cd /openssl-1.1.1sudo ./config shared --prefix=/usr/local/openssl --openssldir=/usr/lib/opensslmake &...原创 2019-11-10 10:08:14 · 1578 阅读 · 0 评论 -
Python 设置 IP 代理 访问网页 ( 用户名密码验证代理 )
需求如下:待爬取的页面想爬取的部分查看源码,在Js中有返回正常访问时候,使用Firefox代理插件 FoxyProxy 设置代理才能访问到的。本来想用 Selinum打开 FireFox,不过卡在了插件,和插件自动 填充账号密码这块儿,后来发现直接用 urlib 做网络请求 ,然后bs4 解析更方便, 代码如下:import urllib.request as rproxy...原创 2019-10-24 09:26:22 · 4321 阅读 · 0 评论 -
PySpark DataFrame 操作
SQl 获取 DF 操作# coding:utf-8from pyspark.sql import SparkSessionfrom pyspark.sql.utils import AnalysisExceptionif __name__ == '__main__': spark = SparkSession.builder.enableHiveSupport().appNa...原创 2019-09-25 10:14:03 · 476 阅读 · 0 评论 -
PySpark Rdd操作
from pyspark import SparkContext, SparkConfconf = SparkConf().setAppName("rdd_trans")sc = SparkContext(conf=conf)print(sc.version)# 创建rdd = sc.parallelize([2, 3, 4, 5, 6, 6, 6, 6, 6])rdd1 = r...原创 2019-09-23 15:22:39 · 487 阅读 · 0 评论 -
Python中的GIL和异步Asyncio、Futures
一 、基本概念以下概念都是在 Python 环境下Sync 同步编程Async 异步 ,是指在外观上看来程序不会等待,而是找出可执行的操作/任务/线程 继续执行Asyncio 单个主线程 多个不同的任务 task ,这些 future 对象 被 event loop 对象控制,就好像多线程版本的多个线程GIL 全局解释器锁 Global Interpret LockTask ...原创 2019-08-14 11:05:14 · 1074 阅读 · 0 评论 -
Python 中的 迭代器 和 生成器
生成器验证数学表达式"""验证 (1 + 2 + 3 + 4 + 5 + ...) ^ 2 = 1^3 + 2^3 + 3^3 + 4^3 + 5^3 + ...# 分别用生成器 生成 左边 1次方 和右边 3次方 的sum"""def generator(k): i = 1 while True: yield i ** k i ...原创 2019-08-02 08:58:37 · 173 阅读 · 0 评论 -
抓取微信公众号文章,亲测有效
CatchWecaht抓取微信公众号文章pre: 没有用框架,直接clone 就可以用。获取代码 cd /home/wwwroot git clone https://github.com/leon0204/catchWecaht.git导入模板数据库,先创建weixin 数据库 utf8mb4 cd catchWecaht mysql -uroot -p we原创 2017-07-04 10:29:55 · 4300 阅读 · 2 评论 -
centos6默认python2.6升级2.7 卸载python2.6升级2.7
本文介绍CentOS 6.3从自带的Pyhon版本是2.6升级到2.7.6的方法。因为CentOS系统中旧版本的Python已被深度依赖,所以不能卸载原有的python,只能全新安装。1.下载Pyhon,选择下载Gzipped source tar ball (2.7.6) (sig) 网址https://www.python.org/download/releases/2.7.6 wget转载 2017-07-10 11:57:06 · 1107 阅读 · 0 评论 -
Django解决跨域访问报错/Cros问题
两种方法:拼数据def myview(_request): response = HttpResponse(json.dumps({"key": "value", "key2": "value"})) response["Access-Control-Allow-Origin"] = "*" response["Access-Control-Allow-Methods"] = "PO原创 2017-08-17 15:30:51 · 3964 阅读 · 0 评论 -
TypeError: unbound method x must be called with x instance as first argument (got nothing instead)
TypeError: unbound method x must be called with x instance as first argument (got nothing instead) --没有对类进行实例化就调用他的方法错误示例假设在 commandModel 中有 Model 类, 有一个 test 方法 ,我们这样调用:from commandModel import Mo原创 2017-08-21 14:06:27 · 6801 阅读 · 0 评论 -
MySQLdb ImportError: libmysqlclient.so.18
找不着一个交libmysqlclient.so.18的文件,于是到mysql安装目录里找到这个文件并且做一个软连接到/usr/lib,如果是64则把lib 换成lib64 ln -s /usr/local/mysql/lib/libmysqlclient.so.18 /usr/lib/libmysqlclient.so.18查看系统是32 还是64?uname -aLinux macco-db-m原创 2017-08-24 19:29:53 · 1875 阅读 · 0 评论 -
字符编码和gcc问题
1 unicodeDecodeError: ‘ascii’ codec can’t decode byte 0xe9 in position 29: ordinal not in range(128)1的解决办法 :在文件头部添加import sysreload(sys)sys.setdefaultencoding('utf8')这种错误多出现在 Python2 中,用于修改 ascii 为原创 2017-09-19 10:38:36 · 666 阅读 · 0 评论 -
利用python 更新ssh 远程代码 操作远程服务器
用python paramiko ssh 服务器,并pull对应目录代码的脚本pull.pyimport paramikoimport sysdef sshclient_execmd(hostname, port, username, password, execmd): paramiko.util.log_to_file("paramiko.log") s = paramiko.原创 2017-09-19 10:30:25 · 1669 阅读 · 0 评论 -
Python GUI 编程,看完这一篇你就会了
easyguiPython 的 GUI 编程,这里用的是 easygui ,完成一些简单的图形化界面开发。基本组件:__all__ = ['buttonbox', 'diropenbox', 'fileopenbox', 'filesavebox', 'textbox', 'ynbo...原创 2019-05-21 09:59:03 · 14715 阅读 · 6 评论 -
简单看看 Python 中的 List 和 Tuple
1. 为什么 list 比 tuple 要多16个字节?l = [1, 2, 3]t = (1, 2, 3)print(l.__sizeof__())# 64# 列表是动态的,存储指针,指向对应的元素, int 8字节# 动态存储 List 还存储了 已分配长度大小 8字节print(t.__sizeof__())# 482. List 的 over-allocatingl ...原创 2019-07-09 15:50:24 · 327 阅读 · 0 评论 -
稍微不那么简单,看看Python 中的 List 和 Tuple
简单看看 Python 中的 List 和 TupleListl = []print(l,l.__sizeof__())# l 初始化40字节l.append(1)# 增加一个元素后,(注意,这里是append之后,)预分配了 4个 元素的32 个字节print(l,l.__sizeof__())# 72l += ([2, 3, 4])print(l,l.__sizeof__(...原创 2019-07-22 14:45:06 · 273 阅读 · 0 评论 -
python 模拟登陆百度
0 20 * * * /home/wwwroot/kgopen/commands/autoPush/interval.sh >> /home/wwwroot/kgopen/commands/autoPush/push.log 2>&11 py登百度2 sitema url生成和py推分析“”:1 登录网址:https://passport.baidu.com/v2/?login 获得coo原创 2017-04-06 09:23:59 · 3729 阅读 · 0 评论