![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
爬虫
yiyiyaya哈哈哈
这个作者很懒,什么都没留下…
展开
-
windows系统下利用scrapyd部署爬虫(scrapy)项目
1:首先python环境已经配置好2:然后准备一个可以支持scrapy项目运行的虚拟环境,我再本地安装了python3 和Anacondaa:mkvirtualenv --D:\python\Anaconda\anaconda–tool\python.exe env(虚拟环境名称)b:然后进入虚拟环境下载安装scrapyd,和scrapyd-client两个包3:进行部署a:在虚拟环...原创 2018-12-29 14:52:02 · 475 阅读 · 0 评论 -
抓取的网站需要登录,才能采集网站信息
scrapy采集需要登录的网站信息直接登录网站,鼠标右键–检查,或者直接键盘F12,找到cookie值,此时的cookie是已经登录之后的cookie,将其转化为字典的格式下面这段代码可以将网页中的cookie值直接转化成字典格式:class DictCookie: def __init__(self, cookie): self.cookie = cookie ...原创 2019-03-01 16:34:33 · 1850 阅读 · 0 评论 -
selenium模拟登陆
以模拟登陆csdn账号为例:import timefrom selenium import webdriver(创建谷歌浏览器对象)driver = webdriver.Chrome(r"下载的webdriver本地地址")driver.get(‘https://passport.csdn.net/account/login’)driver.find_element_by_xpath(...原创 2019-02-20 16:34:06 · 455 阅读 · 0 评论 -
安装scrapy
**python环境** --判断是否安装scrapy --- import scrapy(如果不能导入成功,说明还未安装)#正式安装scrapy框架(同时也需要安装一些scrapy所依赖的第三方库)# 1:pip install wheel 2:lxml 3: PyOpenssl 4: Pywin32 5:pip install scrapy**...原创 2019-03-27 16:19:23 · 119 阅读 · 0 评论 -
crontab定时启动scrapy爬虫
部署到测试环境,并设置定时启动任务通过FileZille工具,将本地的文件上传到测试服务器上面的python文件夹中在与spider同级目录下写一个shell脚本,启动所编辑的运行爬虫文件vi run.sh 1 #! /bin/sh 2 export PATH=$PATH:/usr/local/bin 3 cd /data/project/python/...../run...原创 2019-05-22 14:00:58 · 537 阅读 · 1 评论 -
安卓手机App反编译
安卓手机App反编译jadx下载:https://github.com/skylot/jadx里面有详细的操作步骤在使用的过程发现导出文件一直卡死,直接用命令行导出,报错。。。。尝试解决,还是不行,修改参数失败,所有换工作dex2jar + jd-guidex2jar下载:https://sourceforge.net/projects/dex2jar/解压安装即可jd-gui...原创 2019-07-12 17:57:20 · 1365 阅读 · 0 评论