Python
little_stupid_child
这个作者很懒,什么都没留下…
展开
-
【Python】【爬虫】requests+lxml模拟登录爬取信息
要求:通过爬虫技术,模拟用户登录龙池网站,爬取用户的相关信息(昨日算力,昨日收益)问题:龙池的网站需要滑动解锁才可登录一.模拟登录1.使用会话访问主页,抓取主页中的tokenimport requestsfrom lxml import etrees = requests.Session()r = s.get("https://www.dpool.top/index")html = et...原创 2018-05-17 10:38:28 · 1653 阅读 · 0 评论 -
【linux】【python】linux 一行命令安装python3.7
一行命令搞定(仅适用通过apt或yum来安装包的系统[ubuntu/red hat/centos])curl https://bc.gongxinke.cn/downloads/install-python-3.7.0 | bash转载 2018-09-17 17:17:33 · 722 阅读 · 0 评论 -
【问题解决】【Python】解决 django 中 mysql gone away 的问题
原文连接:https://zhaojames0707.github.io/post/django_mysql_gone_away/最近在项目中,我使用 Django Command 模块写了一个脚本,处理从 MQ 发来的消息,并入库。在测试过程中,程序运行良好,但是在程序上线并运行一段时间后,出现了以下错误:OperationalError: (2006, 'MySQL server h...转载 2018-08-17 11:08:20 · 2389 阅读 · 0 评论 -
【Python】break,continue不会影响python异常处理的流程
最近在项目中遇到这样的情况,在while循环中处理数据,当异常发生时需要捕获异常,处理后使用continue跳过后面部分代码问题:如果在异常处理中添加finally从句,是否会因为except从句中的continue而被跳过结论:不会,continue、break语句只会影响while循环的逻辑,异常处理机制不受影响实验代码:#!/usr/bin/python#--coding...原创 2018-08-18 16:45:47 · 6396 阅读 · 0 评论 -
【Python】枚举变量的使用
项目中需要大量用到枚举变量,但我们希望可以根据指定的字符串,创建对应的枚举变量,并将枚举值作为存储值场景:客户端发送的消息包带有"android"字符串,用以说明当前移动端系统类型,服务器端需要为其创建对应的枚举变量,最终将枚举值(0或1)存入数据库中定义一个抽象的枚举类作为父类:class BaseTupleEnum(Enum): def __init__(self, de...原创 2018-08-08 19:36:23 · 2001 阅读 · 0 评论 -
【问题解决】【Python】ValuerError: invalid literal for int() with base 10
出错场景:使用int("", 16),将一个空字符串转换为整数调用api获得消息包,解析消息包获取数据class ABIUtil(object): @staticmethod def parser_transfer(input): if not input: return False if len(input) !...原创 2018-08-15 21:34:22 · 1562 阅读 · 0 评论 -
【Python】转换数组元素类型(生成式)
在python项目开发中常需要转换数组对元素类型,可以选择使用for循环,遍历元素做转换,也可以使用python的列表生成式来完成使用场景:一个列表中的元素为string类型,转换成对应的int类型arr = ['1', '2', '3', '4']arr1 = [int(val) for val in arr]print (arr)print (arr1)'''打印结果...原创 2018-08-09 20:40:20 · 6241 阅读 · 0 评论 -
【问题解决】解决Python UnicodeEncodeError: 'ascii' codec can't encode character u'\xa0' in position 20
python中需要将字典中的内容写入文件,item['comment']中的内容有汉字编码,执行时出现UnicodeEncodeError错误with open('xie_zheng.txt','a',encoding='utf-8') as f: f.write(item['date'] + ',' + item['nickname'] + ',' + item['city'...原创 2018-07-20 22:25:03 · 2436 阅读 · 0 评论 -
【Python】翻转字典的key, value
Python开发过程中常常需要两张可以互相转换的字典,这时我们可以按照对照表手动硬编码一个字典表,根据已有的字典表迭代生成相反的另一张字典表使用场景:根据摩斯密码表,实现简单的编解码在这种情况下就需要生成两张表,一张是根据字符查找电码符号,另一张是根据电码符号查找字符关键代码:import sysmorse2char = {'.-': 'A', '-...': 'B', ...原创 2018-07-11 20:27:03 · 1620 阅读 · 0 评论 -
【Python】实现将对象转成字典
在编程中,常常需要把一个对象转换成一个json或是一个字典类型。在使用sqlalchemy时,定义的表对象需要把他们转换成字典类型,字典到json的格式转换就很方便了def to_dict(dumyself): result = {} for a in dir(dumyself): # filter inner field by fieldname ...原创 2018-07-09 18:27:58 · 5269 阅读 · 1 评论 -
【Python】【Kafka】kafka读取所有数据——使用消费群组+offset
kafka为分布式消息队列,队列中的消息可以保存7天。当使用消费者读取kafka中数据时,会面临这样的问题:当消费者进程中断后,再次进行消费时会发现,读取的位置当前获取的新数据,如果配置offsetauto_offset_reset='earliest'会从kafka初始的数据消费,重复消费之前的数据。如果想要使消费者像下载文件一样,可以“设置断点继续重传”我们可以在定义consumer时候这样做...原创 2018-06-26 20:56:20 · 10758 阅读 · 3 评论 -
【Python】构造通用任务父类
服务器端常常需要启动一个进程,作为task处理任务,如果类似但任务类别较多,可以创建一个task父类import jsonimport timeimport signalclass Task(object): running = True interval_time = 10 def do_task(self): while True and...原创 2018-09-27 16:35:31 · 229 阅读 · 0 评论