![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
爬虫
文章平均质量分 82
sunmlight
这个作者很懒,什么都没留下…
展开
-
爬虫----代码段总结
图片下载 response=requests.get(url,headers=headers) if response.status_code==200: with open('123.jpg','wb') as f: f.write(response.content) print('ok') 图片下载 —scrapy pipelines.py: ...原创 2018-05-17 14:18:16 · 228 阅读 · 0 评论 -
爬虫----浏览器自动控制Selenium
Selenium与PhantomJS PhantomJS是一个无界面浏览器 Selenium:是一个web自动化测试工具,可以按照指定的命令自动操作 快速入门 - from selenium import webdriver # 导入webdriver - from selenium.webdriver.common.keys import Keys # 导入键盘操作keys包 - ...原创 2018-05-17 14:04:04 · 662 阅读 · 0 评论 -
爬虫---scrapy
scrapy ubuntu安装: - python3安装依赖库:sudo apt-get install python3 python3-dev python-pip libxml2-dev libxslt1-dev zlib1g-dev libffi-dev libssl-dev - 通过pip 安装 Scrapy 框架命令:sudo pip3 install scrapy 基本流程: ...原创 2018-05-15 21:17:09 · 217 阅读 · 0 评论 -
爬虫基础学习
request封装请求头 from urllib.request import Request,urlopen url=’http://baidu.com’ headers ={‘User-Agent’: ‘Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3...原创 2018-05-15 14:21:48 · 160 阅读 · 0 评论 -
爬虫scrapy-redis
将普通爬虫更改为scrapy-redis: spider_name.py from scrapy_redis.spiders import RedisSpider #导入RedisSpider 原本的class NameSpider(scrapy.Spider):继承的类更换为RedisSpider redis_key = ‘sinaspider:start_urls’ #运行的时候使用re...原创 2018-05-20 21:13:08 · 189 阅读 · 0 评论