![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
python学习
以梦为马越骑越傻
python
展开
-
安装配置mitmproxy抓包软件并运行python脚本
一、首先,官网下载并安装mitmproxy:https://mitmproxy.org/然后,用pip安装mitmproxy二、设置手机端口,我这里用的夜神设置-wlan-左键长按wiredssid-修改网络,修改代理ip和端口三、电脑本机启动,配置对应的端口和python脚本mitmdump -p 8889 -s mitmdump_test.py# mitmdump连接python联调# 日志模块from mitmproxy import ctxdef request(fl原创 2020-12-08 18:30:07 · 885 阅读 · 0 评论 -
pycharm 通过ssh同步服务器代码
设置使用远程服务器同步代码 新增ssh 服务器 添加SFTP文件传输 服务器名称可以随便起 新增ssh 服务器 添加ssh配置 测试一下 connection mappings 需要设置自动上传 其实,到这里为止,代表你的项目可以同步到服务器上了,但是还不能运行,因为你并没有设置解释器,即运行环境。 添加远程服务器解释器 添加解释器 添加你刚转载 2020-12-03 10:00:43 · 1668 阅读 · 0 评论 -
pyecharts 离散图代码
from pyecharts import Scatterimport pandas as pdfrom pyecharts_snapshot.main import make_a_snapshot # 快照,截图dfgirl = pd.DataFrame()dfgirl['w'] = [50,62,60,70,57,45,62,65,70,56]dfgirl['h'] = [155,162,165,170,166,158,160,170,172,165]scatter = Scatter.原创 2020-06-10 22:26:15 · 235 阅读 · 0 评论 -
30分钟学会pyecharts数据可视化
https://zhuanlan.zhihu.com/p/63236019转载 2020-06-10 21:59:38 · 295 阅读 · 0 评论 -
python处理excel包xlrd和xlwt的简单使用
from datetime import dateimport xlrdimport xlwtif __name__ == '__main__': '''通过xlrd读取''' data1 = xlrd.open_workbook('C:\\Users\\HASEE\\Desktop\\l雷强\compare1.xlsx') data2 = xlrd.open_...原创 2019-12-04 10:12:17 · 547 阅读 · 0 评论 -
Python时间处理-dateutil模块
dateutil模块主要有两个函数,parser和rrule。其中parser是根据字符串解析成datetime,而rrule则是根据定义的规则来生成datetime。安装直接用easy_install或pip在线安装easy_install python-dateutilpip install python-dateutil1、 parserparser是根据字符串...转载 2019-11-14 16:25:54 · 7143 阅读 · 1 评论 -
python datetime 中国时区多6分钟
tz = pytz.timezone('Asia/Shanghai')xxx.replace(tzinfo=tz)多6分钟。解决方法:tz = pytz.timezone('Asia/Shanghai')t = datetime.datetime(start_time.year, start_time.month, start_time.day, 9, 0, 0, 0)t = tz...转载 2019-04-26 15:11:44 · 1381 阅读 · 0 评论 -
python pip 安装一些包找不到的问题 Could not find a version that satisfies....
有时我们使用下载python 自带的pip 安装一些工具包时,会报如下错误找不到满意的版本,这时就是我们的pip可能需要升级了,所以使用python -m pip install --upgrade pip升级一下pip ,--upgrade 后面跟的是需要升级的库名然后继续尝试发现还是不行,会报相同的错误,这时考虑到是网络的问题,我的网有时候是不稳定的,这时我们用...转载 2019-05-04 12:16:42 · 2578 阅读 · 0 评论 -
python config文件的读写
1、设置配置文件[mysql]host = 1234port = 3306user = rootpassword = Zhsy08241128database = leartd2、读取配置文件import configparserimport osconf= configparser.ConfigParser()def readConf(): '''读取...原创 2019-04-28 22:34:35 · 19963 阅读 · 0 评论 -
python读取环境变量
pycharm配置方式:2.读取环境变量:import osprint(os.getenv('LOOK_SPIDER_RUNMODE'))print(os.environ.get('LOOK_SPIDER_RUNMODE'))print(os.environ['LOOK_SPIDER_RUNMODE'])原创 2019-04-28 22:52:47 · 1667 阅读 · 0 评论 -
安装tensorflow中 Not Found for url: http://mirrors.aliyun.com/pypi/simple/pkg-resources/ 问题解决
为了解决访问速度的问题, 国内的企业和公益机构奉献了不少源, 方便了广大开发者, 个人表示非常赞赏. 但有一些不足和需要慢慢改进的问题.本人在安装tensorflow的过程中发现了如下错误issue:-----------------------------------------------------------------pip._vendor.requests.exceptio...转载 2019-05-04 15:06:02 · 3799 阅读 · 0 评论 -
阿里云数据库 MongoDB 版Python 连接示例
安装pymongoimport uuidfrom pymongo import MongoClient#两地址CONN_ADDR1 = 'demotest-1.mongodb.tbc3.newtest.rdstest.aliyun-inc.com:27017'CONN_ADDR2 = 'demotest-2.mongodb.tbc3.newtest.rd...转载 2019-06-22 17:12:00 · 706 阅读 · 0 评论 -
python使用异步任务celery出现异常崩溃时retry重试
http://xiaorui.cc/2014/09/12/python%E4%BD%BF%E7%94%A8%E5%BC%82%E6%AD%A5%E4%BB%BB%E5%8A%A1celery%E5%87%BA%E7%8E%B0%E5%BC%82%E5%B8%B8%E5%B4%A9%E6%BA%83%E6%97%B6retry%E9%87%8D%E8%AF%95/转载 2019-04-13 14:54:09 · 1586 阅读 · 0 评论 -
Django model中设置多个字段联合唯一约束
使用Django中遇到这样一个需求,对一个表的几个字段做 联合唯一索引,例如学生表中 姓名和班级 2个字段在一起表示一个唯一记录。Django中model部分的写法, 参见 unique-together 部分文档。class MyModel(models.Model): field1 = models.CharField(max_length=50) field2 = model...转载 2019-04-09 17:26:26 · 4691 阅读 · 0 评论 -
【django】解决migrations没有修改表的问题记录
问题情况在进行django开发的时候,遇到这样的情况,在models文件进行了新增表或修改表,删除了migrations,再生成新的migrations后进行migrate,会出现以下提示:12345Operations to perform:Apply all migrations: admin, auth, contenttypes, interface, sessions, ...转载 2019-04-08 16:05:57 · 2201 阅读 · 0 评论 -
Python中.pth文件的作用(服务器中给sys添加默认路径)
Python在遍历已知的库文件目录过程中,如果见到一个.pth 文件,就会将文件中所记录的路径加入到 sys.path 设置中,于是 .pth 文件说指明的库也就可以被 Python 运行环境找到了。python中有一个.pth文件,该文件的用法是:首先xxx.pth文件里面会书写一些路径,一行一个。将xxx.pth文件放在特定位置,则可以让python在加载模块时,读取xxx.pth中指...原创 2019-04-08 10:27:19 · 1826 阅读 · 1 评论 -
mysql创建和更新自动加上时间
mysql创建和更新自动加上时间:ALTER TABLE `tb`ADD COLUMN `create_date` TIMESTAMP NOT NULL DEFAULT CURRENT_TIMESTAMP ,ADD COLUMN `update_date` TIMESTAMP NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIM...原创 2019-03-30 17:30:12 · 547 阅读 · 0 评论 -
解决python3中lxml最新版本没有etree的问题
使用python3.6时安装好lxml时按照许多网上的教程来引入会发现etree没被引入进来解决办法:一、import lxml.htmletree = lxml.html.etree这样就可以使用etree了二、修改lxml的版本为4.2.5忽略报错!...转载 2018-09-04 16:25:23 · 11498 阅读 · 7 评论 -
阿里云数据库 MongoDB 版Python 连接示例
安装pymongoimport uuidfrom pymongo import MongoClient#两地址CONN_ADDR1 = 'demotest-1.mongodb.tbc3.newtest.rdstest.aliyun-inc.com:27017'CONN_ADDR2 = 'demotest-2.mongodb.tbc3.newtest.rd...转载 2019-03-16 13:59:58 · 1152 阅读 · 0 评论 -
Centos7下的celery无法直接使用-没有找到命令
pip3 安装的celery不能直接使用问题由于编译安装的python3.6 和 pip。所以可能受到了影响吧解决办法:命令行输入 export PATH=/usr/local/Python-3.6/bin:$PATH # 我的Python3资源文件都放在 /usr/local/python3 文件夹下命令行输入 echo 'export PATH=/usr/local/Pyth...转载 2019-03-16 09:31:24 · 2346 阅读 · 0 评论 -
Could not find a version that satisfies the requirement lbcapi (from versions: )” when trying to ins
python3 -m pip uninstall pip setuptoolscurl https://bootstrap.pypa.io/get-pip.py | python3原创 2019-05-07 15:16:02 · 958 阅读 · 0 评论 -
facebook oauth2.0登录获取token和账户信息
一、先在后台获取到client_id/redirect_url二、获取oauth_url,获取到返回给前端,前端加载进入用户登录。'https://www.facebook.com/v3.2/dialog/oauth?client_id={}&redirect_uri={}&response_type=code&state={}' . format(client_i...原创 2019-05-20 18:57:12 · 5801 阅读 · 0 评论 -
python shopify通过 oauth2.0授权获取token的方式
参考shopify github:https://github.com/Shopify/shopify_python_api一、需要的参数 SHOPIFY_API_KEY/SHOPIFY_API_SECRET二、服务端操作shopify.Session.setup(api_key=API_KEY, secret=SHARED_SECRET)# 首先实例化您的会话对象ses...原创 2019-05-17 16:21:54 · 3040 阅读 · 1 评论 -
mongodb大数据查询通过skip会非常慢的问题
项目当中模拟插入了120W条数据,在同一个文档当中单纯查询数据的速度还不错,主要是对查询的文档字段添加了索引,但是对查询结果的前台分页确有问题。具体来说是不设置任何查询条件的时候,会查询出来将近120W条满足条件的结果,使用mongodb的limit()和skip() 来取出来 第一页前20条数据,这样在后台的java程序当中只是这20条数据占用内存。代码具体形式类似于用mongodb客户端...转载 2019-08-13 18:35:40 · 5618 阅读 · 4 评论 -
Python queue队列
作用: 解耦:使程序直接实现松耦合,修改一个函数,不会有串联关系。 提高处理效率:FIFO = 现进先出,LIFO = 后入先出。队列: 队列可以并发的派多个线程,对排列的线程处理,并切每个需要处理线程只需要将请求的数据放入队列容器的内存中,线程不需要等待,当排列完毕处理完数据后,线程在准时来取数据即可。请求数据的线程只与这个队列容器存在关系,处理数据的线程down...原创 2019-07-31 12:11:19 · 271 阅读 · 0 评论 -
github pymysql-pool mysql连接池多线程遇到的问题'_thread._local' object has no attribute 'retry_counter'
git上python的mysql连接池项目pymysql-pool,在多线程时遇到问题'_thread._local' object has no attribute 'retry_counter'这个问题在于连接池的连接数不够用了,官方提供了 pool1.size()查看连接池数量的办法,但是,报错,'int' object is not callable。最终解决方案:每...原创 2019-07-20 16:05:54 · 3141 阅读 · 0 评论 -
Python学习之------retry(异常重试)
在做数据抓取的时候,经常遇到由于网络问题导致的程序保存,先前只是记录了错误内容,并对错误内容进行后期处理。原先的流程:def crawl_page(url): passdef log_error(url): passurl = ""try: crawl_page(url)except: log_error(url)改进后的流程:atte...转载 2019-07-29 14:55:32 · 2843 阅读 · 1 评论 -
使用concurrent.futures模块并发,实现进程池、线程池
一、关于concurrent.futures模块Python标准库为我们提供了threading和multiprocessing模块编写相应的异步多线程/多进程代码。从Python3.2开始,标准库为我们提供了concurrent.futures模块,它提供了ThreadPoolExecutor和ProcessPoolExecutor两个类ThreadPoolExecutor和ProcessP...转载 2019-07-19 16:10:14 · 395 阅读 · 0 评论 -
python并发之concurrent.futures
Python标准库为我们提供了threading和multiprocessing模块编写相应的多线程/多进程代码。从Python3.2开始,标准库为我们提供了concurrent.futures模块,它提供了ThreadPoolExecutor和ProcessPoolExecutor两个类,实现了对threading和multiprocessing的更高级的抽象,对编写线程池/进程池提供了直接的支...转载 2019-07-19 15:14:16 · 3180 阅读 · 0 评论 -
Python:解析PDF文本及表格——pdfminer、tabula、pdfplumber 的用法及对比
Python:解析PDF文本及表格——pdfminer、tabula、pdfplumber 的用法及对比pdf 是个异常坑爹的东西,有很多处理 pdf 的库,但是没有完美的。一、pdfminer3kpdfminer3k 是 pdfminer 的 python3 版本,主要用于读取 pdf 中的文本。网上有很多 pdfminer3k 的代码示例,看过以后,只想吐槽一下,太复杂了,有违...转载 2019-07-23 16:56:53 · 507 阅读 · 0 评论 -
linux添加环境变量
1、cd ~2、vi .bash_profile3、添加环境变量export LOOK_SPIDER_RUNMODE=prod# .bash_profile# Get the aliases and functionsif [ -f ~/.bashrc ]; then . ~/.bashrcfi# User specific environment a...原创 2019-07-18 10:58:00 · 292 阅读 · 0 评论 -
python 日志+终端颜色区分+按照日期分隔(logging+coloredlogs+TimedRotatingFileHandler)
# -*- coding: utf-8 -*- """Author: 田野Data: 2019-07-04 11:17Introduction:"""import loggingimport osfrom logging.handlers import TimedRotatingFileHandlerimport coloredlogscoloredlogs.DEFAULT...原创 2019-07-04 11:44:55 · 1831 阅读 · 1 评论 -
python 中zip将两个list合成为字典
title = ['name','age']item = ['xiaowang','15']itemZip = zip(title,item)print(dict(itemZip))原创 2019-06-22 14:11:49 · 2315 阅读 · 0 评论 -
python xml转json
引入第三方包xmltodict一、代码import jsonimport xmltodictprint(json.dumps(xmltodict.parse("""<response><account>160381</account><terminal>16038101</terminal><signValue&...原创 2019-06-12 10:11:57 · 8736 阅读 · 1 评论 -
Python中操作SQLAlchemy中文文档配代码
https://www.jianshu.com/p/0ad18fdd7eed# -*- coding: utf-8 -*- """Author: 田野Data: 2019-06-03 17:14Introduction:"""from sqlalchemy import Column,and_,or_from sqlalchemy import Integerfrom ...原创 2019-06-05 16:37:50 · 1556 阅读 · 0 评论 -
python字符串与url编码的转换
主要应用的场景爬虫生成带搜索词语的网址1.字符串转为url编码import urllibpoet_name = "李白"url_code_name = urllib.quote(poet_name)print url_code_name#输出#%E6%9D%8E%E7%99%BD2.url编码转为字符串import urlliburl_code_name = "...转载 2019-03-11 17:18:40 · 3383 阅读 · 0 评论 -
python使用requirements.txt批量安装包
https://www.cnblogs.com/zelos/p/7439599.html在查看别人的Python项目时,经常会看到一个requirements.txt文件,里面记录了当前程序的所有依赖包及其精确版本号。这个文件有点类似与Rails的Gemfile。其作用是用来在另一台PC上重新构建项目所需要的运行环境依赖。requirements.txt可以通过pip命令自动生成和安...转载 2019-03-15 15:20:32 · 1153 阅读 · 0 评论 -
Gitee码云使用
一、码云创建项目,并本地操作同步1、码云创建项目2、shell中把项目克隆到本地git clone https://gitee.com/jiandan189/python5_test.git3、项目中创建需要管理的文件和代码4、把新修改的文件添加到临时文件区git add .5、把临时文件区的文件迁移到本地代码仓库git commit -m '这里是注释'6...原创 2018-11-30 18:56:58 · 1199 阅读 · 0 评论 -
pycharm设置快捷代码模板
原创 2018-11-29 13:21:05 · 989 阅读 · 1 评论 -
Ubuntu 下根据端口查进程pid 杀进程
根据端口查pid进程sudo lsof -i:端口号 ps aux |grep gunicorn杀进程sudo kill PID号原创 2018-12-02 09:59:42 · 828 阅读 · 0 评论