风行python_python - 随笔分类 - brady-wang - 博客园

摘要：# *_*coding:utf-8 *_* import time import threading def sing(): for i in range(5): print("唱山歌咯"+ str(i)); time.sleep(1) def dance(): for i in range(5):

阅读全文

posted @ 2020-04-25 19:54

brady-wang

阅读(66)

评论(0)

推荐(0) 编辑

摘要：单任务 按顺序执行 # *_*coding:utf-8 *_* import time def sing(): for i in range(5): print("i am singing"); time.sleep(1) def dance(): for i in range(5): print(

阅读全文

posted @ 2020-04-25 09:02

brady-wang

阅读(68)

评论(0)

推荐(0) 编辑

摘要：import requests url = "http://www.spbeen.com" headers = { "User-Agent":"teste" } response = requests.get(url,headers=headers) print(response.status_co

阅读全文

posted @ 2020-03-13 10:18

brady-wang

阅读(141)

评论(0)

推荐(0) 编辑

摘要：from lxml import etree html = '''

网页名

阅读全文

posted @ 2018-09-26 11:01

brady-wang

阅读(493)

评论(0)

推荐(0) 编辑

摘要：第二种方式 写一个自己的randomUseragent中间件 并且在setting里面启用 ，但是要修改顺序靠前，比如100 或者直接把默认启用的user_agent 设置为None 第三种方式 直接继承默认的userAgent中间件，然后改写方法 中间件可以用faker来实现 或者自己招个列表也可

阅读全文

posted @ 2018-09-25 19:38

brady-wang

阅读(163)

评论(0)

推荐(0) 编辑

摘要：新建run.py 添加上面代码

阅读全文

posted @ 2018-09-25 17:49

brady-wang

阅读(215)

评论(0)

推荐(0) 编辑

摘要：normalize,字面意思就是正规化 加入space 大概意思就是空格的处理了 官方解释是这样的: 通过去掉前导和尾随空白并使用单个空格替换一系列空白字符，使空白标准化。如果省略了该参数，上下文节点的字符串值将标准化并返回。 刚好在实际项目中碰到了这样的一个问题, 定位一个下来的时候,最开始的时候

阅读全文

posted @ 2018-09-25 17:42

brady-wang

阅读(2233)

评论(0)

推荐(0) 编辑

摘要：一、首先我们来看scrapy spider如何打开页面：要打开页面，我们用的是手，同样scrapy也有一个得力助手：spider；至于spider如何打开页面，且听我娓娓道来，如果一上来就噼里啪啦的给诸位说scrapy spiders需要继承神马类、神马方法、神马常量，我想很多喷油都会觉得莫名其妙，

阅读全文

posted @ 2018-09-25 14:08

brady-wang

阅读(598)

评论(0)

推荐(0) 编辑

摘要：如果要文件管道保存为原有的文件名 需要重写文件管道的方法 pipeitem文件 setting配置 spider文件 item文件

阅读全文

posted @ 2018-09-24 14:18

brady-wang

阅读(437)

评论(0)

推荐(0) 编辑