![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
爬虫
step step
某高校硕士研究生在读,研究方向为深度学习,图像处理。
展开
-
新版豆瓣模拟登录(selenium+Firefox)
注意:1.要先切换到登录密码所在的框架,默认打开的在短信登录/注册,要切换到"密码登录"来driver.switch_to(find_elements_by_tag_name("iframe")[0])2.切换来之后,要点击一下"密码登录"这个按钮,说明以后就是在这个框架上了bottom1 = driver.find_element_by_xpath('/html/bod...原创 2019-04-15 16:24:16 · 761 阅读 · 2 评论 -
爬虫 selenium+firefox配置
1.sudo pip install selenium2.安装xvfbsudo apt-get install xvfb3安装pyvirtualdisplaysudo pip install pyvirtualdisplay4安装geckodriver下载好了上传到服务器放到/usr/bin/路径下cp geckodriver /usr/bin9修改权限sudo chmod...原创 2019-04-14 11:20:22 · 414 阅读 · 0 评论 -
Scrapy框架流程
1.创建一个scrapy项目scrapy startproject douyudouyu :你的项目名2.定义提取的结构化数据(item)name = scrapy.Field()age = scrapy.Field()你提前name,age数据3.创建一个爬虫文件scrapy genspider picture "http://capi.douyucdn.cn...原创 2019-04-19 10:22:06 · 123 阅读 · 0 评论