- 博客(18)
- 收藏
- 关注
RSS订阅原创 分布式爬虫的第一天
学习分布式爬虫的一天分布式爬虫1.什么是分布式爬虫2 分布式爬虫的效率3 实现分布式的方法2.1 Celery分布式爬虫1.什么是分布式爬虫分布式爬虫和普通爬虫之间的区别就如同单兵作战和团队作战的区别，人多力量大，当然这里是爬虫多力量大！如果有人会问分布式爬虫有必要吗？答案是肯定的，当要爬取的数据量大并且及时性要求很高的时候，一台电脑是无法完成任务的，因此需要把任务配在几个电脑上进行爬取...
2020-04-02 16:30:13
197
原创 python property函数利用
- 使用property函数 - property函数很简单 - property(fget, fset, fdel, doc)class Property(): # 这个函数也不是固定的可以更改 def fget(self): return self._name def fset(self, name): self._na...
2019-05-08 16:35:42
237
原创 面向对象进阶(1)
构造函数就是你定义的类里的一个函数比如class A(): def __init__(self): print("A")这就是一个构造函数，什么是子类和父类呢？ 看下面class teacher(): name = "C" age = 30 print(name) print(age) def kan(self): print(...
2019-05-07 11:58:44
101
原创 python 面向对象小记
面向对象活在当下的程序员应该都听过“面向对象编程”一词，也经常有人问能不能用一句话解释下什么是“面向对象编程”，我们先来看看比较正式的说法。把一组数据结构和处理它们的方法组成对象（object），把相同行为的对象归纳为类（class），通过类的封装（encapsulation）隐藏内部细节，通过继承（inheritance）实现类的特化（specialization）和泛化（generali...
2019-05-07 09:08:47
129
原创 python 石头剪刀布小游戏
添加了一些好玩的东西，有趣的东西= =import randomimport timeprint(" 石头剪刀布小游戏！！ ")time.sleep(3)for i in range(6): for k in range(5-i): print(" ",end=" ") for j in range(2*i...
2019-05-04 17:15:35
1563
原创 python time模块简介
简介在Python中，与时间处理有关的模块就包括：time，datetime以及calendar。这篇文章，主要讲解time模块。在开始之前，首先要说明这几点：在Python中，通常有这几种方式来表示时间：1）时间戳 2）格式化的时间字符串 3）元组（struct_time）共九个元素。由于Python的time模块实现主要调用C库，所以各个平台可能有所不同。UTC（Coordinated...
2019-05-02 15:45:56
196
原创 python threading模块进阶之join
文章目录join作用threading.joji利用案例一案例二案例三join作用 threading.join() join的作用，join所完成的工作就是线程同步，即主线程任务结束之后，进入阻塞状态，一直等待其他的子线程执行结束之后，主线程在终止。threading.joji利用关于线程有子线程和父线程 子线程是次要的，父线程是主要的，通俗点讲，程序运行中如果主线程也就是父线程运行完了...
2019-05-02 11:35:09
1167
转载 python图片转字符画
文章目录代码代码需要用到几个模块# -*- coding=utf-8 -*-from PIL import Imageimport argparse#命令行输入参数处理parser = argparse.ArgumentParser()parser.add_argument('file') #输入文件parser.add_argument('-o', '--outp...
2019-05-02 09:34:31
434
原创 python threading模块
文章目录threading模块threading简单介绍案例一threading模块threading简单介绍"""threading 是线程模块 可以使你的程序加快运行速度使你多线程运行如果不用这么模块你的程序使一步一步的运行用了这个模块你的程序比如两个printa = print("1")b = print("b")使用前是1b使用后可能是1b因为本来你的程序...
2019-04-30 17:04:39
130
原创 python爬虫模块cookie(2)和ssl
文章目录cookie作为变量打印案例一Cookie读取写入案例三 写入案例四 读取SSL认证模块案例五cookie作为变量打印"""- 创立handler后，使用opener打开，打开后相应的业务由相应的hanlder处理- cookie作为一个变量，打印出来 -案例一"""案例一from urllib import request, parse, errorfrom htt...
2019-04-29 16:22:33
221
原创 python爬虫cookie方面(1)
文章目录cookie简单介绍本次用的网站是人人网cookie简单介绍"""- cookie & session - 由于http协议的无记忆性，人们为了弥补这个缺憾，所采用的一个补充协议 - cookie是发给用户（即http浏览器）的一段信息，session是保存在服务器上的对应的另一半信息，用来记录用户信息- cookie和session的区别 - 存放位置不同 - ...
2019-04-28 15:42:12
507
原创 入门python 爬虫 学习一日笔记
文章目录urllib.errorurllib.error简单介绍案例一案例二User-AgentUser-Agent简单介绍案例三设置UA的方式ProxyHandler代理使用ProxyHandler代理简单介绍案例四urllib.errorurllib.error简单介绍"""- urllib.error - URLError产生的原因： - 没网 - 服务器链接失败 - ...
2019-04-27 17:21:51
671
转载 python random模块简单介绍
pythonrandom模块基本随机函数扩展随机数函数转载于：https://www.cnblogs.com/masked/p/8846439.html部分修改 为作者自己理解random模块random库是使用随机数的Python标准库从概率论角度来说，随机数是随机产生的数据（比如抛硬币），但时计算机是不可能产生随机值，真正的随机数也是在特定条件下产生的确定值，只不过这些条件我们没有理...
2019-04-26 16:34:25
401
原创 4/26爬虫学习笔记 GET和POST小爬
文章目录模拟GET请求和POST请求利用parse模块模拟GET请求利用parse模块模拟POST请求使用Request模拟GET请求和POST请求利用parse模块模拟GET请求 这个昨天已经说了 有兴趣的可以回过头来看一下from urllib import request, parse# 多了一个parse # urllib.parse: 包含即系url的方法if __na...
2019-04-26 11:32:07
158
原创 python爬虫入门
爬虫入门模块介绍爬虫介绍模块介绍我用的是python3# 常用的爬虫模块有urllib和request"""urllib -包含模块 - urllib.request: 打开和读取urls - urllib.error: 包含urllib.request 产生的常见错误，使用try捕捉 - urllib.parse: 包含即系url的方法 - urllib.robot...
2019-04-25 16:43:23
86
原创 python4/24上午学习笔记！
文章目录函数拓展print几个用法三引号字符串字符串方法转义字符单双引号嵌套表示斜杠函数拓展普通函数def wage(one, tow, three): # 定义一个函数 普通函数 print(one + tow) # 打印 one + tow print(three) # 打印 three return Nonewage(1, 2, 3) # 输出函数 1 = o...
2019-04-24 11:21:18
118
原创 python 4/23学习！
文章目录for循环函数定义for循环aapse = [1,56,23,98,23,48,7,1] # 定义一个字典for i in aapse: # 使用for循环 i为循环 print(i) # 打印i# 结果""" 1 56 23 98 23 48 7 1"""所以for循环就是每一个都打印出来也可以使用if语句！aapse = [1,56,23,...
2019-04-24 07:44:12
118
原创 python一日总结
文章目录python 一日游if语句while循环python 一日游今天学习一下python基本操作中的if和while循环if语句今天说一下if语句和while循环age = int(input("请输入年龄：")) # 定义字符串 int是转化为整数if age >= 0 and age <= 120: # 判断条件 if age > 18: # 再...
2019-04-22 17:19:23
208
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人