爬虫
step step
某高校硕士研究生在读,研究方向为深度学习,图像处理。
展开
-
新版豆瓣模拟登录(selenium+Firefox)
注意: 1.要先切换到登录密码所在的框架,默认打开的在短信登录/注册,要切换到"密码登录"来 driver.switch_to(find_elements_by_tag_name("iframe")[0]) 2.切换来之后,要点击一下"密码登录"这个按钮,说明以后就是在这个框架上了 bottom1 = driver.find_element_by_xpath('/html/bod...原创 2019-04-15 16:24:16 · 804 阅读 · 2 评论 -
爬虫 selenium+firefox配置
1.sudo pip install selenium 2.安装xvfb sudo apt-get install xvfb 3安装pyvirtualdisplay sudo pip install pyvirtualdisplay 4安装geckodriver 下载好了上传到服务器放到/usr/bin/路径下 cp geckodriver /usr/bin 9修改权限 sudo chmod...原创 2019-04-14 11:20:22 · 448 阅读 · 0 评论 -
Scrapy框架流程
1.创建一个scrapy项目 scrapy startproject douyu douyu :你的项目名 2.定义提取的结构化数据(item) name = scrapy.Field() age = scrapy.Field() 你提前name,age数据 3.创建一个爬虫文件 scrapy genspider picture "http://capi.douyucdn.cn...原创 2019-04-19 10:22:06 · 135 阅读 · 0 评论