- 博客(6)
- 收藏
- 关注
RSS订阅原创 scrapy将爬取到的数据存储到mysql中，使用pymysql
在 pipelines.py中添加如下代码 import pymysql class JianshuPipeline(object): def __init__(self): dbparams = { 'host':'127.0.0.1', 'port':3306, 'user':'root', ...
2019-09-09 18:12:55
450
原创 scrapy设置user_agent及代理ip
在 middlewares.py 中添加如下代码，即可添加user_agent及代理ip // middlewares.py class UserAgentMiddleware(object): USER_AGENTS = [ 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko...
2019-09-09 17:56:59
183
原创 将scrapy爬虫改写为分布式爬虫redis-scrapy
1，进入settings.py # 以下是加入的内容 # 1.(必须加)。使用scrapy_redis.duperfilter.REPDupeFilter的去重组件，在redis数据库里做去重。 DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter" # 2.（必须加）。使用了scrapy_redis的调度器，在redis里面分配请求。...
2019-09-07 17:48:10
162
原创 python
以下的都是在Python3.X环境下的 使用 input 函数接收用户的输入，返回的是 str 字符串 最简单的打印 print(“hello,word!”) hello,word! 打印数字 a=5 b=6 print(a) print(a,b) print(a+b) 5 5 6 11 打印字符 使用逗号连接会有空格，使用+号连接没有空格 a=“hello,” b=“world!...
2019-04-18 17:36:26
77
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人