python爬本机html文件_如何用Scrapy抓取本地HTML文件

最新推荐文章于 2021-11-23 22:26:29 发布
最新推荐文章于 2021-11-23 22:26:29 发布
阅读量655 收藏
点赞数
文章标签： python爬本机html文件

我试图用下面的代码对存储在桌面上的本地HTML文件进行爬网，但是在爬网过程之前遇到了以下错误，例如“没有这样的文件或目录：”/机器人.txt'". 在是否可以在本地计算机(Mac)中爬网本地HTML文件？在

如果可能，我该怎么做

设置参数如“允许的域”和“起始网址”？在

[恶心的命令]$ scrapy crawl test -o test01.csv

[痒蜘蛛]

^{pr2}$

[错误]2018-11-16 01:57:52 [scrapy.core.engine] INFO: Spider opened

2018-11-16 01:57:52 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min)

2018-11-16 01:57:52 [scrapy.extensions.telnet] DEBUG: Telnet console listening on 127.0.0.1:6024

2018-11-16 01:57:52 [scrapy.downloadermiddlewares.retry] DEBUG: Retrying (failed 1 times): [Errno 2] No such file or directory: '/robots.txt'

2018-11-16 01:57:56 [scrapy.downloadermiddlewares.retry] DEBUG: Retrying (failed 2 times): [Errno 2] No such file or directory: '/robots.txt'

weixin_39932947
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
scrapy获取html标签文本,如何使用Scrapy从网站上获取所有纯文本？
weixin_39633134的博客
06-07 821
小编典典最简单的选择是to 并且找到所有内容：extract //body//text()join''.join(sel.select("//body//text()").extract()).strip()这里sel是一个Selector实例。另一种选择是使用nltk的clean_html()：>>> import nltk>>> html = """... ...
Amazon_Website_Scraping_Scrapy:使用Scrapy Python库抓取亚马逊网站和商店
05-14
Amazon_Website_Scraping_Scrapy 使用Scrapy python库抓取亚马逊网站和商店：标题，评分和评论跑蜘蛛转到亚马逊/蜘蛛并键入此命令scrapy crawl amazonbot
tencent.rar_Python 岗位_cannotn79_python scrapy
09-24
python 抓取tencent岗位数据到mongodb
scrapy离线调试本地HTML文件
呆萌的代Ma
03-01 2546
有时使用爬虫的时候会把网页抓下来然后本地调试，所以今天写一篇博客记录一下整个流程： 目录 1.抓取网页保存到本地 2.离线调试 1.抓取网页保存到本地 # 在Scrapy爬虫类的parse函数中使用 def parse(self,response): def saveHtml(file_content): with open("保存路径/test.htm...
scrapy本地调试网页
python的神奇之旅
11-18 315
有时使用爬虫的时候会把网页抓下来然后本地调试，所以今天写一篇博客记录一下整个流程： 目录 1.抓取网页保存到本地 2.离线调试 1.抓取网页保存到本地 在Scrapy爬虫类的parse函数中使用 def parse(self,response): def saveHtml(file_content): with open(“保存路径/test.html”, “w”) as f: f.write(file_content) # test中就是html网页的文本信息 text = response.text s
scrapy request 请求本地文件
weixin_30528371的博客
12-19 639
scrapy的Request可以不借助本地web服务，直接对本地文件发起请求并获取文件内容。 关键在于请求文件的路径格式，以windows环境为例： 绝对路径：url = 'file:///c:/Projects/Article/spiders/start.html'绝对路径：url = 'file:c:\Projects\Article\spiders\start.html'相对路径：url...
scrapy实现爬取全书网小说到本地TXT文件
莫晨
02-23 1万+
前言本篇文章实现python的scrapy框架爬取全书网小说，scrapy框架的安装我在这里就不在赘述了，建议window用户使用anaconda安装，这里比较省心一些。运行环境python3（实际python2运行页没有太大问题）一，项目的创建在想要创建项目的目录内，打开cmd命令行，输出代码scrapy startproject Fiction然后进入项目内cd Fiction创建一个爬虫项目...
使用Scrapy抓取职位招聘数据-爬虫python代码
06-12
基于Python和Echarts职位画像系统，使用Scrapy抓取职位招聘数据，使用Django+echarts完成数据可视化。 环境安装配置 建议直接安装anconda，然后git clone后进入项目目录，执行pip install -r requirements.txt ...
Python使用scrapy抓取网站sitemap信息的方法
09-22
主要介绍了Python使用scrapy抓取网站sitemap信息的方法,涉及Python框架scrapy的使用技巧,具有一定参考借鉴价值,需要的朋友可以参考下
scrapy抓取数据存储至本地mysql数据库-大众点评爬虫.zip
03-01
爬虫通常由搜索引擎、数据挖掘工具、监测系统等应用于网络数据抓取的场景。 爬虫的工作流程包括以下几个关键步骤： URL收集： 爬虫从一个或多个初始URL开始，递归或迭代地发现新的URL，构建一个URL队列。这些URL...
Scrapy爬取并保存到TXT文件
ScapeD的博客
08-04 1万+
在创建完成项目并创建爬虫的基础上，编写保存到TXT的项目 0.设置setting文件 1.将 ROBOTSTXT_OBEY 设置为false 2.将 ITEM_PIPELINES 打开 1.定义items.py数据容器 item是Scrapy提供的类似于字典类型的数据容器，它与字典最大的区别在于它规定了统一的数据规格样式，即具有统一性与结构性。这样既方便数据的保存与处理，也可以避免打错字...
Scrapy爬取拉勾网数据并存入本地文件和数据库
m0_57126456的博客
11-23 3710
链接：https://pan.baidu.com/s/1yMM6DE-8RgVZjXEPHGimMQ提取码：yyds 爬取代码： lg.py import scrapy from sjqx.items import SjqxItem class Sjqxpider(scrapy.Spider): name = 'lg' allowed_domains = ['www.lagou.com'] base_url = 'https://www.lagou.com/beij..
scrapy学习之路3(爬取的数据保存本地文件或MYSQL)
weixin_33841722的博客
01-10 759
保存item中的信息到本地文件 1.自定义以json格式保存到本地文件 piplines.py再到settings.py中添加使用 2.scrapy自带方式以json格式保存到本地文件 piplines.py再到settings.py中添加使用 保存item中的信息到MySQL(同步) 设计表结构 注意:日期是str类型，要转化成date...
Scrapy读取设置文件（settings.py)
薛定谔的Hello Kitty
09-24 6019
转发来自这位大佬： http://www.cnblogs.com/cnkai/p/7401343.html读取settings.pymiddlewares.py文件中import scrapy from scrapy import signals from scrapy.downloadermiddlewares.useragent import UserAgentMiddleware impor
scrapy起始地址是从文件读取的解决办法
热门推荐
Good Luck
08-14 8万+
如果起始地址很多,是从文件读取的就无法使用start_urls=[]的形式了,需要重写start_requests方法来加载起始URL. def start_requests(self): self.urls = [] with open('D:\Java\program\myscrapy\hot\hot\htmls.txt', 'r') as f: self.urls = f.readlines() for url in
使用python绘制好看的箱形图、柱状图、散点图
最新发布
05-26
使用python绘制好看的箱形图、柱状图、散点图
python爬取百度搜索_Python-Scrapy抓取百度数据并分析
05-19
这里是一个简单的Python-Scrapy爬取百度搜索结果并对搜索结果进行分析的例子： 首先，我们需要安装Scrapy和lxml库。在命令行中输入以下命令： ``` pip install scrapy pip install lxml ``` 然后，我们可以创建一个名为baidu_spider的新项目，并在项目中创建一个名为baidu的新爬虫。在命令行中输入以下命令： ``` scrapy startproject baidu_spider cd baidu_spider scrapy genspider baidu www.baidu.com ``` 现在，我们在baidu_spider/spiders/baidu.py文件中编写我们的代码。我们将使用Scrapy的Selector来选择我们想要的数据。代码如下： ```python import scrapy class BaiduSpider(scrapy.Spider): name = "baidu" allowed_domains = ["www.baidu.com"] start_urls = ["http://www.baidu.com/s?wd=python"] def parse(self, response): # 获取搜索结果 results = response.xpath('//div[@class="result c-container "]') for result in results: # 获取标题和链接 title = result.xpath('.//h3/a/text()').extract_first().strip() link = result.xpath('.//h3/a/@href').extract_first() # 获取摘要 abstract = result.xpath('.//div[@class="c-abstract"]//text()').extract() abstract = "".join(abstract).strip() # 打印结果 print(title) print(link) print(abstract) ``` 在这个例子中，我们首先定义了我们的爬虫的名称，允许的域名和起始URL。然后我们定义了一个parse函数来处理响应。在parse函数中，我们使用XPath选择器来选择搜索结果。我们使用extract_first()和extract()方法来提取标题、链接和摘要。最后，我们打印了结果。 现在，我们可以在baidu_spider目录中运行以下命令来运行我们的爬虫： ``` scrapy crawl baidu ``` 这将启动我们的爬虫并开始爬取百度搜索结果。在控制台中，您应该能够看到我们的爬虫正在输出搜索结果。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值