![](https://img-blog.csdnimg.cn/20200729164136790.jpg?x-oss-process=image/resize,m_fixed,h_224,w_224)
爬虫
爬虫
lonmar~
想学开发的web狗
展开
-
Scrapy中的crawlspider
crawlspider能自动的获取url并提交请求命令:scrapy genspider -t crawl spidername 'example.cn'所导入的模块# -*- coding: utf-8 -*-import scrapyfrom scrapy.linkextractors import LinkExtractorfrom scrapy.spiders impo...原创 2020-02-05 16:22:01 · 289 阅读 · 0 评论 -
scrapy爬虫实例(1)
爬虫实例对象 阳光问政平台目标 : 主题,时间,内容爬取思路预先设置好itemsimport scrapyclass SuperspiderItem(scrapy.Item): title = scrapy.Field() date = scrapy.Field() content = scrapy.Field()爬取范围和start_...原创 2020-02-04 21:56:51 · 204 阅读 · 0 评论 -
Scrapy爬虫框架(2)--内置py文件
Scrapy概念图这里有很多py文件,分别与Scrapy的各个模块对应superspider是一个爬虫项目spider1.py则是一个创建好的爬虫文件,爬取资源返回url和数据items.py可以在里面预先定义要爬取的字段,并导入到其他模块,在爬虫解析页面时仅能使用已定义的这些字段middlewares.py里面可以编写有关爬虫中间件和下载中间件的内容pipelines.py...原创 2020-02-04 15:28:07 · 311 阅读 · 0 评论 -
Scrapy爬虫框架(1)--安装配置与常用命令
安装与配置Scrapy有几个安装依赖,一般来说可以直接pip install scrapy,这个过程会自动下载安装其他几个依赖.上述安装方法不成功,则需要手动安装依赖包步骤安装 lxmlpip install lxml安装 cryptography pip install cryptography安装 twisted pip install twisted安装 scrapy ...原创 2020-02-04 14:28:44 · 258 阅读 · 0 评论 -
xpath爬虫实战-爬取小说斗罗大陆第四部
lxml,requests,fake_agent修饰爬虫xpathhtml网页元素编码转换建立文件夹全部编码原创 2020-02-02 17:52:42 · 673 阅读 · 0 评论 -
xpath学习笔记
XPath 是一门在 XML 文档中查找信息的语言。相关概念在菜鸟教程节点选取XPath 使用路径表达式在 XML 文档中选取节点。节点是通过沿着路径或者 step 来选取的。 下面列出了最有用的路径表达式:谷歌元素审核功能原创 2020-02-02 17:38:29 · 218 阅读 · 0 评论 -
python爬虫+正则表达式实例爬取豆瓣Top250的图片
豆瓣top250图片爬取伪造爬虫头部信息利用re库中的sub方法翻页以二进制形式写入原创 2020-01-31 13:30:29 · 883 阅读 · 0 评论 -
正则表达式(2)-应用举例
爬取学校网站的链接sub实现自动翻页爬取豆瓣Top250利用sub进行翻页原创 2020-01-30 21:28:53 · 349 阅读 · 0 评论 -
正则表达式(1)
正则表达式符号与方法一常用符号字符含义.匹配任意字符*匹配一个字符无限次或零次?匹配一个字符0次或一次.*贪心算法.*?非贪心算法()括号内的结果作为反回值常用方法几种符号的demodemo1:code = 'huasdakxxIxxbcjkxxlovexxsbsxxyouxxhjhh'r = re.findall('...原创 2020-01-30 17:40:52 · 218 阅读 · 0 评论 -
python爬虫-User-Agent的伪造
某些网站会识别python爬虫程序并阻断,通过构造User_Agent可以抵抗某些反爬虫机制用fake-useragent这个库就能很好的实现pycharm中安装步骤产生随机的User-Agent只需一行代码from fake_useragent import UserAgentua = UserAgent()print(ua.random)print(ua.random)...原创 2020-01-30 15:56:09 · 1423 阅读 · 0 评论 -
python爬虫(1)requests库
在pycharm中安装requests库的一种方法首先找到设置搜索然后安装,蓝色代表已经安装requests库中的get请求与HTTP协议相对应,requests库也有七种请求方式.获取urlrequests.get(url.params,kwargs)r = requests.get(url,params=None,**kwargs)url:模拟获取页面的u...原创 2020-01-30 15:25:06 · 281 阅读 · 0 评论 -
Scrapy模拟登录信息
携带cookie需要在爬虫里面自定义一个start_requests()的函数里面的内容:def start_requests(self): cookies = '真实有效的cookie' yield scrapy.Request( self.start_urls[0], callback = self.paese, cookies = cookies )``...原创 2020-02-06 16:42:41 · 553 阅读 · 0 评论