python
文章平均质量分 58
儒雅的啷当
技术分享
展开
-
deepdiff比较两个json文件数据差异性
difflib.HtmlDiff()使用Demo发现并不能忽略排序和排除指定字段,虽然有可视化HTML文本,但使用并不灵活。原创 2023-08-22 14:54:13 · 423 阅读 · 0 评论 -
python对Mysql操作和使用ORM框架(SQLAlchemy)
python对Mysql操作和使用ORM框架(SQLAlchemy) 参考文档: 请点击:参考文档url===================华丽的分割线================================= posted @ 2018-03-20 14:17 python许...原创 2018-03-20 14:17:00 · 307 阅读 · 0 评论 -
MySQL数据库连接重试功能和连接超时功能的DB连接Python实现
MySQL数据库连接重试功能和连接超时功能的DB连接Python实现 def reConndb(self): # 数据库连接重试功能和连接超时功能的DB连接 _conn_status = True _max_retries_count = 10 # 设置最大重试次数 _conn_retries_count = 0 ...原创 2018-03-20 11:51:00 · 1597 阅读 · 0 评论 -
Linux 守护进程
Linux 守护进程 import osimport sysimport timeimport subprocessdef get_process_id(name): """查询进程ID""" child = subprocess.Popen(["pgrep","-f",name],stdout=subprocess.PIPE,sh...原创 2018-09-19 15:34:00 · 108 阅读 · 0 评论 -
Python @retry装饰器的使用与实现案例(requests请求失败并重复请求)
Python @retry装饰器的使用与实现案例(requests请求失败并重复请求) 在爬虫代码的编写中,requests请求网页的时候常常请求失败或错误,一般的操作是各种判断状态和超时,需要多次重试请求,这种情况下,如果想优雅的实现功能,可以学习下retrying包下的retry装饰器的使用安装:pip install retrying在@r...原创 2018-10-16 11:24:00 · 1173 阅读 · 0 评论 -
Python2 读取表格类型文件
Python2 读取表格类型文件 resp = My_Request_Get(xls_url) # My_Request_Get是我自己封装的请求函数,可修改为requests请求f = open('%s.xls' % _dic['title'], 'wb')f.write(resp.content)f.close()con_list = sel...原创 2018-10-17 09:38:00 · 121 阅读 · 0 评论 -
python编码iso-8859-9编码问题
python编码iso-8859-9编码问题 (2018-10-15)路2018骞�10鏈�16鏃�8:30鈥斺€�11:00锛屽湪鍏垽涓€搴叕寮€瀹$悊锛氬啀瀹$敵璇�..(2018-10-15)路2018骞�10鏈�16鏃�8:30鈥斺€�11:00锛屽湪鍏垽涓夊涵鍏紑瀹$悊锛氬啀瀹res = requests.get('http://...原创 2018-10-22 11:15:00 · 1765 阅读 · 0 评论 -
详解Python闭包,装饰器及类装饰器
详解Python闭包,装饰器及类装饰器 在项目开发中,总会遇到在原代码的基础上添加额外的功能模块,原有的代码也许是很久以前所写,为了添加新功能的代码块,您一般还得重新熟悉源代码,稍微搞清楚一点它的逻辑,这无疑是一件特别头疼的事情.今天我们介绍的python装饰器就能够很好的解决这类问题.1.闭包函数闭包比较简单,直接上代码def _Sum(): ...原创 2018-10-25 14:18:00 · 154 阅读 · 0 评论 -
Python2 获取docx/doc文件内容
Python2 获取docx/doc文件内容 整体思路:下载文件并修改后缀为zip文件,解压zip文件,所要获取的内容在固定的文件夹下:work/temp/word/document.xml所用包,全部是python自带,不需要额外下载安装.# encoding:utf-8import osimport reimport requestsimp...原创 2018-10-30 17:09:00 · 549 阅读 · 0 评论 -
使用fabric1.14.0和fabric2.4.0
使用fabric1.14.0和fabric2.4.0 fabric1.14.0(支持Python2.5-2.7版本):fromfabric.api import * env.gateway = '192.168.181.2' # 指定堡垒机 ipenv.hosts = ['192....原创 2018-11-01 12:42:00 · 894 阅读 · 0 评论 -
virtualenv是什么?virtualenv的安装及pycharm的配置和使用
virtualenv是什么?virtualenv的安装及pycharm的配置和使用 virtualenv是什么? virtualenv是一个创建隔绝的Python环境的工具。virtualenv创建一个包含所有必要的可执行文件的文件夹,用来使用Python工程所需的包。简单的说就是一个隔绝的python环境,在开发不同的程序的时候,往...原创 2018-11-08 10:29:00 · 1056 阅读 · 0 评论 -
将Python项目生成所有依赖包的清单requirements .txt文件
将Python项目生成所有依赖包的清单requirements .txt文件 在开发中不同的项目总会牵扯到各种不同作用的包安装,下面是总结一下对写好的项目自动生成依赖清单,以及在新环境下解决依赖的方法:一:生成所有依赖清单requirements.txt这里需要使用到的工具叫pipreqs,先安装:pip install pipreqs 装好之后c...原创 2018-11-09 16:29:00 · 408 阅读 · 0 评论 -
Python Web开发之Flask
Python Web开发之Flask PythonWEB框架之Flask前言:Django:1个重武器,包含了web开发中常用的功能、组件的框架;(ORM、Session、Form、Admin、分页、中间件、信号、缓存、ContenType....);Tornado:2大特性就是异步非阻塞、原生支持WebSocket协议;Flask:封装功能不及D...原创 2018-12-07 13:54:00 · 629 阅读 · 0 评论 -
反爬虫之JS反编译:PyExecJS
反爬虫之JS反编译:PyExecJS PyExecJS是python运行JavaScript代码的包安装: pip install PyExecJS (或者easy_installPyExecJS)依赖: 需要有执行JS的程序,如:PyV8 , Node.js , PhantomJS等,请自行安装事例:# encoding...原创 2019-01-21 15:09:00 · 1407 阅读 · 0 评论 -
网页正文提取,降噪的实现(readability/Document)
网页正文提取,降噪的实现(readability/Document)安装: pip install readability-lxml使用:# encoding:utf-8import html2textimport requestsimport refrom readability.readability import Documentres = requests.ge...原创 2019-02-27 10:12:00 · 2721 阅读 · 0 评论 -
Fabric SSH链接时关于找不到主机的问题
Fabric SSH链接时关于找不到主机的问题 先上一段简单的fabric代码:from __future__ import with_statementfrom fabric.api import *env.user = 'zhangsan'env.hosts = ['192.168.1.1']env.password = '123456'wit...原创 2019-05-10 15:22:00 · 384 阅读 · 0 评论 -
Python项目生成requirements.txt文件之pipreqs的使用
生成requirements.txt时使用pip freeze > requirements.txt会将环境下所有的安装包都进行生成,再进行安装的时候会全部安装很多没有的包.耗时耗力其实是不可取的 .使用pipreqs,这个工具的好处是可以通过对项目目录的扫描,发现使用了哪些库,生成依赖清单。安装pip install pipreqs使用在项目的根目录下 使用 pipreqs ./p...原创 2019-06-19 10:48:00 · 766 阅读 · 0 评论 -
html正文提取工具goose的安装及简单使用Demo
1.git clone https://github.com/grangier/python-goose.git2.cd python-goose3.sudopip install -r requirements.txt此时会报一个安装nltk的错误,执行下面命令单独安装:sudo apt-get install python-nltk4.sudopython setup.py insta...原创 2019-07-31 18:10:00 · 488 阅读 · 0 评论 -
python-通过域名获取该域名所属国家及地区
# encoding:utf-8import requestsimport socketdef getIP(domain): """通过域名获取IP""" myaddr = socket.getaddrinfo(domain, None) return myaddr[0][4][0]def get_ip_info(ip): """通过IP获取所在低...原创 2019-10-25 10:38:00 · 1334 阅读 · 0 评论 -
markdown语法
markdown语法一、标题在想要设置为标题的文字:#+空格来表示一个#是一级标题,二个#是二级标题,以此类推。支持六级标题: # 一级标题 ## 二级标题 ### 三级标题 #### 四级标题 ##### 五级标题 ###### 六级标题二...原创 2021-02-19 11:27:23 · 157 阅读 · 0 评论 -
Python使用又拍云进行第三方文件拉取
Python使用又拍云进行第三方文件拉取 在爬虫过程中,需要将图片或其他文件进行存储到云上,但在下载图片时,看官方文档,貌似需要先下载到后再上传又拍云,感觉效率很低下。经查找资料实现Python直接对第三方资源进行文件拉取操作,即不需要下载到本地,代码如下:import upyunup = upyun.UpYun('xxxxx', 'xxxxx'...原创 2018-03-23 17:01:00 · 589 阅读 · 0 评论 -
Python多线程获取返回值
Python多线程获取返回值 在使用多线程的时候难免想要获取其操作完的返回值进行其他操作,下面的方法以作参考:一,首先重写threading类,使其满足调用特定的方法获取其返回值import threadingclass MyThread(threading.Thread): """重写多线程,使其能够返回值""" def __ini...原创 2019-04-15 16:09:00 · 827 阅读 · 0 评论 -
pandas读取数据库,将结果使用matplotlib绘制成二维表格图片
废话不多说,直接上代码,执行时有问题可留言。draw_table.pyfrom matplotlib import pyplot as pltimport pymysqlimport pandas as pdfrom pandas import *from pylab import mplmpl.rcParams['font.sans-serif'] = ['Microsoft YaHei'] # 指定默认字体:解决plot不能显示中文问题mpl.rcParams['axes.unic原创 2020-09-27 13:40:22 · 1410 阅读 · 0 评论 -
使用jmespath第三方模块通过字符串提取json数据
在工作中经常需要查找json里面的某个key的值,如果json层级太深,使用字典自带的get方法,比较麻烦。这里演示一下第三方模块jmespath提取json键、值。安装pip install jmespath一、下标和.操作符混合操作:source3 = {"a": { "b": { "c": [ {"d": [0, [1, 2]]}, {"d": [3, 4]} ] } }} result3 = jmespath.search('a.b.c[0].d[1][0]',source3)pri转载 2020-09-14 12:26:55 · 366 阅读 · 0 评论