- 博客(19)
- 收藏
- 关注
RSS订阅原创 go1.15.2.windows-amd64.msi安装包
go1.15.2.windows-amd64.msi安装包链接：https://pan.baidu.com/s/13leuuLqFykaVZuwx-WV6aw提取码：a0cz
2020-09-24 18:16:02
1434
原创 scrapy-redis部署总结
1.安装安装scrapy_redis包,打开cmd工具,执行命令pip install scrapy_redis准备好要部署的爬虫项目准备好redis服务器还有跟程序相关的mysql数据库打开redis 连接上服务器2. 部署修改爬虫项目的settings文件调度url 去重组件要添加在settings文件中还有个一个pipelines文件,里面的RedisPipelin...
2019-09-22 20:14:10
283
原创 scrapy-redis分布式爬虫
话不多说，先上scrapy-scrapy流程图：流程图所示：当客户端从服务器端拿去任务进行数据爬取时，客户端产生的数据，url 会再次提交给服务器，进行数据抓取，产生新的response,在爬取的时候，产生的大量数据，可能会导致爬虫的速度变慢，占用Redis大量的存储空间。scrapy-redis常用的配置：1！.必须使用scrapy-redis的去重组件，在redis数据库里去重，D...
2019-09-22 19:19:43
177
原创 Beautifulsoup4 and PyQuery & 线程 | 线程池
Beautifulsoup4它是python的一个HTML或XML的解析库，可以用它来方便的从网页中提取数据。依赖器：python标准库 “html.parser”使用：BeautofulSoup(markup,“html.parser”)优势：Python的内置标准库；执行速度适中；文档容错能力强lxml HTML解析器 “lxml”使用：BeautofulSoup(mar...
2019-09-10 20:20:45
105
原创 requets模块 & xpath解析器的用法
requests模块requests的标准库继承了urllib并且完善了 api 让人使用起来更加方便简洁。。get请求import requestsurl = "https://baidu.com/"params = {"since_id":"-1","count":"10"}headers = {"User-Agent":"Mozilla/5.0 (Macintosh; In...
2019-09-09 20:34:01
146
原创 urllib re 总结
urllib模块新的改变我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客：全新的界面设计 ，将会带来全新的写作体验；在创作中心设置你喜爱的代码高亮样式，Markdown 将代码片显示选择的高亮样式 进行展示；增加了 图片拖拽 功能，你可以将本地的图片直接拖拽到编辑区域直接展示；全新的 KaTeX...
2019-09-07 16:58:50
151
原创 文件的重命名，删除
文件重命名os模块中的rename()可以完成对文件的重命名操作rename(需要修改的文件名, 新的文件名)import osos.rename('test.txt','task.txt')这就实现了文件的重命名删除文件os模块中的remove()可以完成对文件的删除操作remove(待删除的文件名)import osos.remove('test.txt')这就实现文...
2019-01-07 20:36:59
532
原创 单例设计模式
1.单例模式：让类创建的对象，在系统中，只有唯一的一个实例每一次执行 类名（） 返回的对象，内存地址是相同大的单例模式设计的应用场景音乐播放对象回收站对象打印机对象2.__new__方法使用 类名（）创建对象时，python的解释器首先会调用__new__方法为对象分配空间__new__是一个由object 基类提供的内置的静态方法，主要的作用有：1.在内存为对象分...
2019-01-07 20:36:09
86
原创 python标识符
1.2 关键字* 关键字 就是在 Python 内部已经使用的标识符*关键字 具有特殊的功能和含义*开发者 不允许定义和关键字相同的名字的标示符通过以下命令可以查看 Python 中的关键字In [1]: import keywordIn [2]: print(keyword.kwlist)提示：关键字的学习及使用，会在后面的课程中不断介绍*import 关键字 可以导入一...
2019-01-07 20:35:40
687
原创 sublime下python判断年份
判断输入的的某年某月某天是这一年的第几天： x = input('请输入日期(以年月日的形式依次写出，之间不要加任何符号,形如：20190107)：') year = int(x[:4])#取出输入的前四位 month = int(x[4:6])#取出月份 days = int(x[6:8])#取出日期 month_ping = [31,28,31,30,31,30,3...
2019-01-07 20:35:16
612
原创 python文件的定位读写
上文说到，文件的打开，关闭，追加，写入，读写。但是我们没有实现从指定的位置进行读取啊。我想要1000行后面的东西，但也不能从开头读取吧,忒不方便哦，但是，强大的python还是有解决办法滴。获取当前读写的位置(tell)#打开一个已经存在的文件f = open('test.txt','r')read_r = f.read(3)print('读取的数据是：',read_r)#查看文件位...
2019-01-07 19:27:01
5216
原创 python文件的打开，关闭，读写
文件的打开与关闭哈喽，大家好！今天我们来写点用python的命令来打开文件的方法。打开文件在python中，我们用:f = open(‘test.txt’,‘w’)来打开文件，open英语意思就是 打开的意思，也很好记。test.txt这是我们要打开的文件名，w在这里表示写入，如果文件名存在，就覆盖此文件，如果不在，就新建一个文件将内容写入文件中。访问模式有好多种：r 只读的...
2019-01-07 19:06:21
2049
原创 python正则表达式的表示 和高级用法
表示数量在编程中，有时需要爬出我们所需要的字符，而且它们可能挨着在一起，也可能分布在代码的各个角落，我们今天解决一下要摘出数量的问题。字符： * 星号编程中，表示可以输出全部，也可以一个都不输出，比如 import re ret = re.search(’ .* ',‘erdgfrewr’),这时，就可以输出全部的字符串，当字符串一个都没有的话，也可以一个都不输出。...
2019-01-06 19:18:34
207
原创 框架
飞机大战，运用到python的东西有很多，在我们用python制作游戏时，先要搭建大的框架，让我们有足够的方向去慢慢制作。游戏的初始化初始化，就要设置窗口，设置时钟，创建精灵组，精灵 init() 初始化要调用 __create_sprites(self)创建精灵和精灵组2。2.游戏的循环、在循环中，要设置刷新帧率，设置监听事件，碰撞检测，更新绘制精灵，更新屏幕显示i...
2019-01-06 16:37:10
160
原创 python正则表达式的字符
哈喽同志们好哦！今天，学弟学习了正则表达式，给大家分享一下自己的理解和心得，希望大家可以指出我的错误哦，谢谢。为什么要学习正则表达式嘞？我的理解~~额…在我们利用python来开发时，不免要处理大量的字符串，他们代表的东西各不一样，有时，我们想要一大堆字符串中的指定的某些数据，我们怎么去把他们筛选出来呢？ 所以，就有了我们的正则表达式。（Regular Expression ）1. re...
2019-01-04 16:49:02
222
原创 继承
单继承定义一个类，定义类里的方法，等等，完善之后，再定义一个类，继承上一个类的所有属性（私有属性除外）之后再输入内容，输出结果，这为单继承。举个例子class Cat (object): def __init__(self,name,color = '白色'): self.name = name sel.color = color def run(self): print('...
2019-01-03 08:37:46
109
原创 class
类的构成类的名称：类名类的属性：数据类的方法：行为定义类class 类名：方法创建方法：class ou():def move (self):#move()就是方法print(’…’)这里的方法和前面的函数的定义是类似的，到后边也是要调用的initinit的主要作用是用来初始化函数，完成一些默认设定，在代码中，往往是要以__init__这种形式出现的；init():这...
2019-01-02 16:35:06
114
原创 私有化，拷贝
类中的私有化我们在创建类后，一般会定义变量。1.变量有私有变量 和 公有变量xx2.私有变量有__xx和_x两种形式，前者的私有属性最大，不能让自己的子类和外部访问；而后者可以让自己的子类调用，也不可以让外部访问调用，例如用 from 文件名 import * 来导入另一个个文件时，_x 的不被访问，调用。property私有属性中添加 getter和setter方法一般用@prop...
2019-01-02 16:13:01
136
原创 python3 循环 while
python3简单基础：python3说起来是一个比较简单的语言程序，但真正接触后发现其实也并没有那么简单，万事开头难，希望经过自己的努力，能够学会它。哈哈，给大家分享一下最近学习的python循环，初学者，不好的话请不要见怪哦！python3循环：循环我现在学习的有两种形式 ，while 和 for i in （）首先说一下while：while (条件)：满足条件要做的事情1。。。...
2018-12-01 13:30:03
224
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人