- 博客(5)
- 资源 (9)
- 收藏
- 关注
RSS订阅原创 部署爬虫项目
第一步 安装scrapyd 在建立的虚拟环境中安装 pip install scrapyd退出虚拟环境中的是deactivate第二部：pip install scrapyd-client 这个不需要进入虚拟环境 第三部 cd 到当前项目目录下 将deploy:test 下面的url打开第四部：scrapyd-deploy scra...
2018-04-21 18:12:50
350
原创 实现elasticsearch 和scrapy-redis分布式
kibana-5.1.2-windows-x86elasticsearch-rtfelasticsearch-headelasticsearch-rtf的版本最好要和kibana接近 具体操作可以从GitHub上查找使用到npm的话再去下载node.js在项目中建立一个models文件夹类似djangofrom datetime import datetimefrom elasticsearch...
2018-04-20 22:21:14
354
原创 使用fake-useragent 完成随机切换useragent
第一步 :pip install fake-useragent 第二步：在scrapy 中的mimiddlewares.py 中from fake_useragent import UserAgentua = UserAgent()class RandomChangeUserAgentMiddleware(object): def __init__(self,crawler): ...
2018-04-18 22:15:40
1562
原创 虚拟环境中安装scrapy
windows中安装scrapy1、pip install virtualenv 安装时可以使用豆瓣源镜像下载 例如: pip install -i https://pypi.douban.com/simple/ django 但是有的可能没有对应的2、pip install virtualenvwrapper 3、workon 默认是c盘的 可以设置为其他的 在...
2018-04-14 17:12:40
685
原创 使用requests模拟登录知乎
# -*- coding:UTF-8 -*-参考 https://github.com/weldon2010/Python/blob/master/login_zhihu.py import requests, timeimport hmac, json 需要的模块从js中可以看到from hashlib import sha1 这个也是"""打开 抓包工具 使用错误的密码登录查看实际的po...
2018-04-13 15:52:15
898
passer_keeper.tar.gz
2020-09-14
scrapy设置user-agent 和ip的和在线打码适合python3代码
2018-04-18
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人