- 博客(69)
- 收藏
- 关注
RSS订阅转载 request+redis 分布式爬虫
# __author__ = ''# __createTime__ = '2019/1/7 13:49'# __description__ = '‘’# # -*- coding:utf-8 -*-import randomfrom itertools import chainfrom urllib.parse import quotefrom concu...
2019-01-11 16:21:00
776
转载 布隆过滤的代码
# -*- coding: utf-8 -*-import redisfrom hashlib import md5class SimpleHash(object): def __init__(self, cap, seed): self.cap = cap self.seed = seed def hash...
2019-01-11 16:06:00
201
转载 多线程池以及futures python新的线程包
from concurrent.futures import ThreadPoolExecutorimport timedef sayh(pus): print("name: "+pus) time.sleep(2)def main(): put_list=["恩恩","嗯嗯","(⊙o⊙)嗯"] start1=time.t...
2019-01-10 12:56:00
226
转载 scrapy-redis分布式爬虫
分布式问题： request队列集中管理 去重集中管理 储存管理可以上github上面找一下scrapy-redis相关模块 redissettings相关设置#使用scrapy-redis里的去重组件，不使用scrapy默认的去重方式DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RF...
2018-10-07 13:31:00
137
转载 scrapy的去重机制
scrapy是通过hashlib算法转成长度一致的url，然后再通过set集合去重的，有兴趣看源码去重的中间件在scrapy 的 dupefilters.py文件中：--> #去重器RFDupeFilter()-->有个函数叫request_seen()#被scrapy/core/scheduler.py调用这个是调度器s...
2018-10-03 23:55:00
188
转载 scrapy的暂停与重启
首先把爬虫写好后————》在同级文件夹新建一个文件夹（类似于日志）info————》接下来打开命令行cd到这个爬虫————》输入命令：scrapy crawl spider -s JOBDIR=info/001 开启ctrl+c 暂停注意不能按两次，两次是强制退出了，不是暂停了暂停之后需要重启第一行命令：scrapy crawl spider -s...
2018-10-03 23:22:00
279
转载 selenium的基础知识点
from selenium import webdriverfrom scrapy.selector import Selector#模拟登陆browser = webdriver.Chrome(executable_path='Chromedriver.exe')#路径是Chromedriver.exe的存放位置，windows下只要配置好这个环境就不需要了...
2018-10-03 22:53:00
158
转载 scrapy实现ip代理池
首先需要在ip代理的网站爬取有用的ip，保存到数据库中import requestsfrom scrapy.selector import Selectorimport pymysqlconn = pymysql.connect(host = '127.0.0.1', user = 'root' ,passwd = 'root',db = 'mysql18_tex...
2018-10-02 23:59:00
495
转载 使用selenium模拟登陆，手机验证码
大众点评from time import sleepfrom selenium import webdriverimport randomdef process_request(self,request,spider): phone = '电话号码' driver = webdriver.Chrome() dr...
2018-10-02 16:48:00
1667
转载 requests模拟登陆
常见的状态码code说明200 请求被成功处理301/302永久性重定向/临时重定向403没有权限访问404表示没有对应的资源500服务器错误503服务器停机或正在维护 简单的模拟登陆##简单的模拟登陆...
2018-10-02 05:56:00
204
转载 模拟登陆拿到cookie
模拟登陆代码def login(): from selenium import vebdriver browser = webdriver.Chrome(executable_path='E:/test/chromedriver.exe')#括号里面的是环境的路径，window配置好了以后就不用这个路径也是可以的 browser.get(...
2018-10-01 21:14:00
230
转载 scrapy中间件
一、概述 1、中间件的作用 在scrapy运行的整个过程中，对scrapy框架运行的某些步骤做一些适配自己项目的动作： 例如：scrapy内置的httpErrorMiddleware，可以在http请求出错时做一些处理。 2.中间件的使用方法 配置settings.py二、中间件的分类 scrapy的中间件理论上又三种（...
2018-09-26 19:14:00
145
转载 setting一些设置
"""Django settings for day01 project.Generated by 'django-admin startproject' using Django 1.11.7.For more information on this file, seehttps://docs.djangoproject.com/en/1.11/topics/settings/For ...
2018-07-10 21:19:00
215
转载 服务器与pycharm的连接
打开pycharm：Tools->deployment->configuration改掉设置就可以了右键目录：deployment然后可以创建app了：命令：python manage.py startapp day001转载于:https://www.cnblogs.com/Ar...
2018-07-10 20:03:00
185
转载 服务器的ubuntu的Django以及环境的安装以及我见过的错误
第一步： 如果只是安装2.7版本的话，就没有报错，virtualenv就直接可以使用了，但是如果要指定python3的话，有些服务器就会报一下的错误 oserror：command /home/ubuntu/环境名/bin/python3 - setuptools pkg_resources pip wheel fai led with err code 2这个问题是因为...
2018-07-10 18:15:00
231
转载 Django安装以及创建Django项目
命令行安装：pip install django=="版本号"pycharm安装：第一步：找到setting》proiect》Project interpreter》点击右边的加号第二步： 如下图好了，这样就安装好了新建Django项目 命令行创建:django-admin startproject mysite...
2018-07-10 10:40:00
102
转载 继承
#单继承__Author__ = 'Cairo'zero, one, two, three, fous, five, six, seven, eight, nine = range(10)class Person(): def __init__(self,name,age,sex,money): self.name = name ...
2018-05-31 15:37:00
136
转载 静态方法，和类方法实例
'''静态方法，和类方法实例'''import mathclass Pizza(): radius = 5 height = 10 def __init__(self,radius,height): self.radius = radius self.height = height ...
2018-05-30 16:25:00
141
转载 字符串的操作训练
如何拆分含有多种分隔符的字符串zero, one, two, three, fous, five, six, seven, eight, nine = range(10)"""Author:Cairo"""'''实际案例： 我们要把某个字符串依据分隔符号拆分不同的字段， 该字符串包含多种不同的分隔符，例如： s='ab;cd|ef...
2018-05-26 16:19:00
170
转载 对象的迭代训练
反向迭代和正向迭代zero, one, two, three, fous, five, six, seven, eight, nine = range(10)"""Author:Cairo"""# 反向迭代器# list1 = [3.0,3.2,3.4,3.6,3.8,4.0]# # print(reversed(list1))# # for i in...
2018-05-26 14:38:00
180
转载 用队列实现用户的历史记录功能（最多n条）？
zero, one, two, three, fous, five, six, seven, eight, nine = range(10)"""Author:Cairo"""'''用队列实现用户的历史记录功能（最多n条）？实际案例： 猜数字小游戏： 添加历史记录功能，显示用户最近的状态'''from collections i...
2018-05-25 22:04:00
199
转载 如何让字典保持有序
zero, one, two, three, fous, five, six, seven, eight, nine = range(10)"""Author:Cairo"""'''如何让字典保持有序实际案例： 某编程竞赛系统，对参赛选手编程进行计时，选手完成题目后，把 该选手解题用时记录到字典中，以便按选手名查询成绩。比赛结束后，...
2018-05-25 21:31:00
366
转载 # 如何在列表、字典，集合中根据条件帅选数据？
# 解决方案：#列表：fiter函数：fiter(lambda x:x>=0,data)# 列表解析：[x for x in data if x>=0]#字典解析：{k:v for k,v in d.iteritems() if v >90}#集合解析：{x for x in s if x % 3 == 0}# 列表创建字典 {x : 列表名称 for x in 另一个...
2018-05-25 20:48:00
124
转载 正则表达式
# """# Author:Cairo# """## 一、匹配单个字符# \d:匹配单个数字# \D:匹配单个非数字# \w:匹配单个字母或者数字或下划线# \W:匹配单个字母或者数字或者下划线以外的字符# \s:匹配单个不可见的字符，例如：\w\s\-\s\d匹配a - 3.（匹配的是空格）# ...
2018-05-19 18:28:00
99
转载 列表推导式与匿名函数
"""Author:Cairo"""# 列表推到式：一种采用简洁的方式来处理序列中的全部或部分元素，并返回结果列表# 推导式的公式为：[元素(或者计算方法) for循环（允许多个循环）if语句]# 比如我们来创建一个1-100的平方# print([x ** x for x in range(1,100)])# 当然我们也可以设置一下条件，满足条件...
2018-05-19 16:35:00
201
转载 递归函数
"""Author:Cairo"""#递归# def jiechen(n):# '''# :param :递归是一个自己调用自己的函数，必须有一个明确的出口，不然程序会报错# :return n + jiechen(n - 1): 这里就是函数自己调用自己的执行代码，如果n!=1的话，就会一直执行，直到n == 1 为止# ...
2018-05-19 15:18:00
154
转载 函数详解
##函数#简单的函数获取身份证日期：# def Id(ID):# '''# :param ID: ID为函数的参数# :return: 是返回值，返回了运算结果（如果不加入return语句，他默认的返回结果是None，就是说它执行的是return None# 返回时是以元组的方式返回# :def Id...
2018-05-19 11:35:00
120
转载 练习题
"""Author:Cairo"""import random# 1.计算1~100以内所有能被3或者17整除的数的和# n = 0# for i in range(1,101):# if i % 3 == 0 or i % 17 == 0:# n += i# print(n)## 2.计算1~100以内...
2018-05-17 19:14:00
127
转载 摇色子
登录页面"""Author:Cairo"""import jsonclass LogIn(object): def AccountType(self,list_BlocKed,list_Access): '''账号检测''' while True: AccountInput = input...
2018-05-16 21:27:00
171
转载 列表推导式
# # 1.先判断再赋值# a = 5# b = 6# c = a == b# print(c)# ##False# #列表组合# list1 = [1,2,3]# list2 = [4,5,6]# list3 = list1 + list2# print(list3)# ##一行代码# #列出1到20的数，若是3的倍数用app...
2018-05-08 16:49:00
184
转载 socket网络编程
###网络编程##发送端# import socket ###导入socket# socket.TCP/IP ###定义客户端，定义socket类型# connect(a.ip,a.port) ##连接远程机器# socket.send(hello)##开始发送# socket.recv() ##然后接收# socket.close()##客户端关闭...
2018-05-04 09:26:00
137
转载 python 异常处理
#能够预料到的异常可以这样做try : print() #执行这段代码有没有出错，如果有出错# except SyntaxError as e: ###SyntaxError错误类型的代码# print()# ###as e 代表获取到误后的结果# ##如果try：这里执行多个结果有的错误，还可以 多加：# except Index...
2018-05-03 17:33:00
97
转载 反射1
##反射#通过字符串映射或修改程序运行时的状态、属性、方法，有以下四个方法def talk(self): print("%s 的叫声真好听...." % self.name)class Proper(object): def __init__(self,name): self.name = name def eat(self...
2018-05-03 15:47:00
106
转载 __new__这个内置函数
class MyType(type): def __init__(self,what,bases = None,dict = None): print("--MyType-- init--") super(MyType, self).__init__(what,bases,dict) def __call__(self, *args, **kwar...
2018-05-03 13:15:00
110
转载 ###特殊创建类
# class Foo (object):# def __init__(self,name):# self.name = name## C = Foo("Caicai")# print(type(C))###特殊创建类def func(self): print("Hello %s you and %s"%(self.name,self.age))def __...
2018-05-03 12:39:00
92
转载 ###类的特殊成员方法
###类的特殊成员方法#__call__ 对象后面加括号，触发执行。##注：构造方法的执行是由创建对象触发的，即：对象 = 类名（）：而对于__call__方法的执行是由对象后加括号触发的，即：对象（）或者类（）（）class Dog (object): def __init__(self,name,addr): self.name = name sel...
2018-05-03 10:52:00
132
转载 多态
class Animal: def __init__(self, name): self.name = name def talk(self): pass ####多态 @staticmethod def animal_talk(obj): obj.talk()class ...
2018-05-02 15:52:00
99
转载 面向对象
###面向对象class Role():###定义一个类 n = 18 ##类变量，调用Role.n 如果实例变量中有这个变量名称的存在，就会从实例变量中取值(不能更改) n_list = [] ###也是一样可以使用append（）方法去增加内容 def __init__(self,name,role,rils,money):###构造函数 ...
2018-04-30 01:06:00
77
转载 用户登陆检验----没有优化，大神可以帮忙优化优化
import json###检查输入的用户是否被锁def UserLogin(): UserFile = open("UserFile.text", "rb") UserInput = input("请输入账号：") UserRead = json.load(UserFile) for UserRead_ in UserRead: ...
2018-04-28 14:50:00
76
转载 zip函数和sorted函数
###zip函数如果处理两个列表的话就以列表的形式输出比如list_a = [1,2,3,4,5]list_b = ['a','b','c','d','e']list_c = zip(list_b,list_a)输出结果为：[('a', 1), ('b', 2), ('c', 3), ('d', 4),('e',5)]# 合并两个字符串，以字典类型...
2018-04-26 22:53:00
247
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人