Python
文章平均质量分 72
海...
这个作者很懒,什么都没留下…
展开
-
scrapy-redis
1. 简介scrapy流程scrapy-redisscrapy是一个基于redis的scrapy组件,用于快速实现scrapy项目的分布式部署和数据爬取。组件Scrapy Engine(引擎):负责Spider、ItemPipeline、Downloader、Scheduler中间的通讯,信号、数据传递等。Scheduler(调度器):它负责接受引擎发送过来的Request请求,并按照一定的方式进行整理排列,入队,当引擎需要时,交还给引擎。Downloader(下载器):负责下载Scra原创 2022-05-24 14:17:14 · 3166 阅读 · 2 评论 -
序列化、反序列化
1.简介名称方法功能序列化dump(返回dict)dumps(返回json)obj–>python或json将数据对象转化为可存储或可传输的数据类型反序列化load;loadspython或json–>obj将可存储可传输的的数据类型转化为数据对象2.案例# classimport datetime as dtclass User: def __init__(self, name, email): self.name原创 2022-05-24 14:16:30 · 193 阅读 · 0 评论 -
selenium验证码登录
初始化seleniumimport timeimport ddddocrfrom selenium import webdriverfrom PIL import ImageHost = "https://www.jxjypt.cn"browser = webdriver.Chrome('./utils/chromedriver.exe')browser.get(Host + '/hnlgdx')查找登录按钮login_btn = browser.find_element_by_xp原创 2021-12-20 13:06:30 · 1006 阅读 · 0 评论 -
Python依赖包安装
打包当前依赖环境到requirements.txtpip freeze > requirements.txt安装依赖包pip install -r requirements.txt制定源 命令 -i阿里云 http://mirrors.aliyun.com/pypi/simple/中国科技大学 https://pypi.mirrors.ustc.edu.cn/simple/豆瓣 (douban) http://pypi.douban.com/simple/清华大学 https://原创 2021-12-20 13:05:07 · 333 阅读 · 0 评论 -
Python面试
Python语言特性1.可变、不可变类型在python中String,tuples和numbers是不可变参数,list、dict、set等是可变参数。2.python有3种方法,既静态方法,类方法,实例方法def foo(x): print "executing foo(%s)"%(x)class A(object): def foo(self,x): print "executing foo(%s,%s)"%(self,x) @classmethod原创 2021-12-20 13:04:34 · 538 阅读 · 0 评论 -
Numpy Pandas
Numpy Numpy的主要对象是同质的多维数组。其中的元素通常都是数字,并且是同样的类型,由一个正整数元组进行索引。每个元素在内存中占有同样大小的空间。在Numpy中,维度被称为‘轴’。np.array的代码定义如下numpy.array(object, dtype = None, copy = True, order = None, subok = False, ndmin = 0)各参数的含义:object:用于生成数组的数据对象dtype:指定类型,可选。copy:可选,默认为T原创 2021-12-20 12:00:32 · 685 阅读 · 0 评论