php 网页爬虫 cooking,scrapy爬取dmoz/Home

最新推荐文章于 2021-08-17 13:04:30 发布
最新推荐文章于 2021-08-17 13:04:30 发布
阅读量267 收藏
点赞数
文章标签： php 网页爬虫 cooking

一、实验背景

此次实验要求我们爬取DMOZ下的Home目录(http://www.dmoztools.net/Home/)的所有子目录。dmoz/Home子目录如图001所示。

51419fec3915

image001.png

二、实验过程

1.dmoz网页结构分析

经过我们的分析发现，dmoz的网页结构是一棵树。既然是树，我们就可以按照树的遍历来爬取，由于其每一节点孩子较多，适合用层次遍历这种广度优先遍历。由于树=根节点+树，所以json存储格式我们就用节点本身加父节点的方式，用三个对象记录节点名、节点链接、父节点就可以了。

细节上每个节点都分为两类，子类别和链接。子类别是父目录下的直接子目录，其URL是父目录URL+子目录名；链接是链接到其他网页的外链和链接到其他目录下的内链，外链是Sites下链接，内链在Subcategories下，与子类别混杂在一起，需要重点区别，如图003。

51419fec3915

image003.png

2.xpath分析

2.1父目录名称xpath

父目录名称在html中head部分，如图005所示.

可提取出父目录名称xpath："/html/head/meta[2]/@content"

51419fec3915

image005.png

2.2Subcategories下子目录URL与子目录名称

Subcategories下子目录所在位置如图007所示。

可提取出Subcategories下子目录URL与子目录名称xpath：

"//div[@class='section-wrapper']/section/div/div[@class='cat-item']/a/@href"

"//div[@class='section-wrapper']/section/div/div[@class='cat-item']/a/div/text()"

51419fec3915

image007.png

2.3 Sites下的外链URL与名称

Sites下外链所在位置如图009所示。

可提取出Sites下外链URL与名称xpath：

"//div[@class='title-and-desc']/ a/@href "

"//div[@class='title-and-desc']/ a/div/text()"

51419fec3915

image009.png

3.scrapy搭建爬虫框架

使用scrapy创建爬虫项目，然后在spider文件夹中新建爬虫文件dmozSpider.py，开始编写爬虫代码。新建项目命令如下：

scrapy startproject dmoz

4.python文件编写

4.1 item.py

# -*- coding: utf-8 -*-

# Define here the models for your scraped items

#

# See documentation in:

# https://doc.scrapy.org/en/latest/topics/items.html

import scrapy

classDmozItem(scrapy.Item):

# define the fields for your item here like:

# name = scrapy.Field()

name = scrapy.Field()

url = scrapy.Field()

father_name = scrapy.Field()

desc=scrapy.Field()

pass

4.2 settings.py

为防止服务器判断出了爬虫程序，拒绝访问，首先我们在settings.py中设定USER_AGENT的值，使其伪装成浏览器访问页面，即加入以下代码即可。

USER_AGENT = 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'

其次，设置爬取每个网页之间的时间间隔，减缓爬取速度，去掉下述代码中的“#”

#DOWNLOAD_DELAY = 3

4.3 dmozSpider.py

#coding:utf-8

#!/usr/bin/python

# -*- coding:utf-8 -*-

import scrapy

from scrapy.selector import Selector

from dmoz.items import DmozItem

import re

import os

class Dmoz(scrapy.Spider):

name = "dmozspider"

allowed_domains = ["dmoztools.net"]

start_urls = ['http://www.dmoztools.net/Home/',]

def parse(self, response):

for dmoz in response.xpath("/html/head"):

item = DmozItem()

global father_name

father_name = dmoz.xpath("meta[2]/@content").extract_first()

yield item

for dmoz in response.xpath("//div[@class='section-wrapper']/section/div/div[@class='cat-item']"):

item = DmozItem()

item['father_name'] = father_name.replace(', ','/')

item['father_name'] = item['father_name'].replace(' ','_')

item['url'] = dmoz.xpath("a/@href").extract_first()

item['url'] = "http://www.dmoztools.net" + item['url']

text = dmoz.xpath("a/div/i/text()").extract_first()

item['name'] = dmoz.xpath("a/div/i[contains(./text(), text)]/following::text()[1]").extract_first()

item['name'] = dmoz.xpath("a/div/i[contains(./text(), text)]/following::text()[1]").extract_first()

item['name'] = item['name'].replace(' ','')

item['name'] = item['name'].replace('\r\n','')

item['name'] = item['name'].replace(' ','_')

item['name'] = item['name'].replace('-n','n')

url_1 = "http://www.dmoztools.net/" + item['father_name'] + "/" + item['name']

global next_url

next_url = ""

if url_1 in item['url']:

next_url = item['url']

if next_url == "":

yield item

else:

yield scrapy.Request(next_url, callback=self.parse)

for dmoz in response.xpath("//div[@class='title-and-desc']"):

item = DmozItem()

item['father_name'] = father_name.replace(', ','/')

item['father_name'] = item['father_name'].replace(' ','_')

item['url'] = dmoz.xpath("a/@href").extract_first()

item['desc'] = dmoz.xpath('div[@class="site-descr "]/text()').extract_first().strip()

item['name'] = dmoz.xpath("a/div/text()").extract_first()

yield item

5.运行结果

使用scrapy运行爬虫。

scrapy crawl dmozspider–o dmoz.json

运行结果如下

{"father_name": "Home", "url": "http://www.dmoztools.net/Home/Apartment_Living/", "name": "Apartment Living"}

{"father_name": "Home", "url": "http://www.dmoztools.net/Home/Consumer_Information/", "name": "Consumer Informatio\u00adn"}

{"father_name": "Home", "url": "http://www.dmoztools.net/Business/Business_Services/Domestic_Services/", "name": "Domestic Services"}

{"father_name": "Home", "url": "http://www.dmoztools.net/Home/Emergency_Preparation/", "name": "Emergency Preparatio\u00adn"}

{"father_name": "Home", "url": "http://www.dmoztools.net/Home/Entertaining/", "name": "Entertaini\u00adng"}

{"father_name": "Home", "url": "http://www.dmoztools.net/Computers/Home_Automation/", "name": "Home Automation"}

{"father_name": "Home", "url": "http://www.dmoztools.net/Business/Small_Business/Home_Office/", "name": "Home Business"}

{"father_name": "Home", "url": "http://www.dmoztools.net/Home/Homeowners/Home_Buyers/", "name": "Home Buyers"}

{"father_name": "Home", "url": "http://www.dmoztools.net/Home/Home_Improvement/", "name": "Home Improvemen\u00adt"}

{"father_name": "Home", "url": "http://www.dmoztools.net/Home/Moving_and_Relocating/", "name": "Moving and Relocating"}

{"father_name": "Home", "url": "http://www.dmoztools.net/Home/Personal_Finance/", "name": "Personal Finance"}

{"father_name": "Home", "url": "http://www.dmoztools.net/Home/Personal_Organization/", "name": "Personal Organizati\u00adon"}

{"father_name": "Home", "url": "http://www.dmoztools.net/Recreation/Pets/", "name": "Pets"}

{"father_name": "Home", "url": "http://www.dmoztools.net/Home/Rural_Living/", "name": "Rural Living"}

{"father_name": "Home", "url": "http://www.dmoztools.net/Society/People/Generations_and_Age_Groups/Seniors/", "name": "Seniors"}

{"father_name": "Home", "url": "http://www.dmoztools.net/Shopping/Home_and_Garden/", "name": "Shopping"}

{"father_name": "Home", "url": "http://www.dmoztools.net/Home/Urban_Living/", "name": "Urban Living"}

{"father_name": "Home", "url": "http://www.dmoztools.net/Home/News_and_Media/", "name": "News and Media"}

{}

{"father_name": "Home/Weblogs", "url": "http://www.dmoztools.net/Home/Family/Adoption/Weblogs/", "name": "Adoption"}

{"father_name": "Home/Weblogs", "url": "http://www.dmoztools.net/Home/Gardening/Bonsai_and_Suiseki/Bonsai/Weblogs/", "name": "Bonsai"}

{"father_name": "Home/Weblogs", "url": "http://www.dmoztools.net/Home/Cooking/Weblogs/", "name": "Cooking"}

{"father_name": "Home/Weblogs", "url": "http://www.dmoztools.net/Home/Consumer_Information/Electronics/Weblogs/", "name": "Electronics"}

{"father_name": "Home/Weblogs", "url": "http://www.dmoztools.net/Home/Consumer_Information/Food_and_Drink/Weblogs/", "name": "Food and Drink"}

{"father_name": "Home/Weblogs", "url": "http://www.dmoztools.net/Home/Personal_Finance/Money_Management/Weblogs/", "name": "Money Management"}

{"father_name": "Home/Weblogs", "url": "http://www.dmoztools.net/Home/Family/Parenting/Mothers/Weblogs/", "name": "Mothers"}

{"father_name": "Home/Weblogs", "url": "http://www.dmoztools.net/Home/Family/Parenting/Fathers/Stay_at_Home_Fathers/Weblogs/", "name": "Stay at Home Fathers"}

{}

{"father_name": "Home/Software", "url": "http://www.dmoztools.net/Home/Family/Software/", "name": "Family"}

{"father_name": "Home/Software", "url": "http://www.dmoztools.net/Home/Gardening/Software/", "name": "Gardening"}

{"father_name": "Home/Software", "url": "http://www.dmoztools.net/Society/Genealogy/Software/", "name": "Genealogy"}

{"father_name": "Home/Software", "url": "http://www.dmoztools.net/Computers/Home_Automation/Software/", "name": "Home Automation"}

{"father_name": "Home/Software", "url": "http://www.dmoztools.net/Home/Personal_Finance/Software/", "name": "Personal Finance"}

{"father_name": "Home/Software", "url": "http://www.dmoztools.net/Home/Cooking/Recipe_Management/", "name": "Recipe Management"}

{"father_name": "Home/Software", "url": "http://www.agilairecorp.com/", "desc": "Environmental data management solutions. Products and support.", "name": "Agilaire "}

{"father_name": "Home/Software", "url": "http://www.homedesignersoftware.com/", "desc": "Software package for home remodelling, interior design, decks and landscaping creation. Company info, products list, shop and support.", "name": "Chief Architect Inc: Home Designer Software "}

{"father_name": "Home/Software", "url": "http://www.chorewars.com/", "desc": "Browser-based system loosely based on D&D that allows household members to claim experience points for doing tasks. Monsters and treasure may be optionally defined with each chore.", "name": "Chore Wars "}

{"father_name": "Home/Software", "url": "http://www.kopykake.com/", "desc": "Cake decorating software for professional bakers and hobbyists.", "name": "Kopy Kake "}

{"father_name": "Home/Software", "url": "http://www.lets-clean-up.com/", "desc": "Software to help the family and small businesses organize cleaning chores and maintenance activities.", "name": "Let's Clean Up "}

{"father_name": "Home/Software", "url": "http://www.punchsoftware.com/", "desc": "Offers 3D home design suite for professional home planning with real model technology. Plan a dream house with this architecture design and 3D landscape software.", "name": "Punch Software "}

{}

三、问题分析与解决

1. 403 forbidden：爬虫被禁止访问该网页

1.1.在setting.py中修改user-agent，伪装成浏览器。

USER_AGENT = 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'

1.2 在setting.py中修改DOWNLOAD_DELAY，设置爬取每个网页之间的时间间隔。

#DOWNLOAD_DELAY = 3 去掉#

2. Subcategories下子目录名称不在标签内

item['name'] = dmoz.xpath("a/div/i[contains(./text(), text)]/following::text()[1]").extract_first()

梁麯網
关注
Java爬虫 爬取静态页面（不使用ajax）
天才周的博客
09-11 861
这里以阿里的招聘为例： 静态页面主要是注意其页面的结构，使用F12可以很容易的就找到，之后使用jousp解析这个页面，转换成dom树，思路很简单接下来代码了： package com.learn; import java.util.List; import org.jsoup.Connection; import org.jsoup.Jsoup; import org.jsoup.Conne...
java爬虫自动登录_java爬虫（三）利用HttpClient和Jsoup模拟网页登陆（无验证码）...
weixin_39955825的博客
02-13 923
简介：注意问题：本文是基于校园信息门户进行的实验，因为用户名密码需要的涉密，因此文中的代码不加修改肯定不能直接运行成功。如果读者二次开发过程运行代码出现问题欢迎与作者联系。可以直接留言，也可以邮箱留言1449268538@qq.com模拟登录的原理：总的来说，模拟发送请求，是浏览器发送什么，我们在代码里面就发送什么，包括请求的url，请求的参数，请求的方式，及请求头。既然是登录请求，则满足登录请求...
Cooking
longfinger1的博客
06-05 680
I’d like to talk about chiller my mother, a born chef. She’s a doctor at a local hospital, but gourmet food  has always been her great interest. She’s been cooking for the family for 30 years now a
php发送和获取cook,Yii中的cookie的发送和读取
weixin_39555320的博客
03-29 175
cookies：//新创建的cookie会从本地传到服务器上，然后从服务器获取。(1) cookie的发送$cookies = Yii::$app->response->cookies;// 在要发送的响应中添加一个新的cookieeg:往cookies中添加用户名和密码$cookies->add(new Cookie(['name'=>'username', 'value...
IT之家爬虫
pandasgb的博客
04-04 546
近期需求监控某产品发布后舆情，对多个网络新闻社区的评论进行监控，抓取相关的媒体新闻和用户评论。 本篇记录对于IT之家关键字搜索的爬虫。 涉及库如下： import requests import lxml.html import time import pandas as pd import re from bs4 import BeautifulSoup IT之家通过post方式获取新...
【Home Assistant】scrape 爬虫组件
ZJXCSDN_的博客
03-29 577
sensor: # 使用爬虫组件 - platform: scrape resource: https://book.qidian.com/info/1019941746 name: 123 select: ".update .detail a" scan_interval: 3600 - platform: scrape resource: https://book.qidian.com/info/1023035179 name: 456 s
php-cooking-data
03-19
"php-cooking-data"是一个与PHP编程相关的项目，很可能是一个数据处理或Web开发的示例库。这个项目可能包含了各种PHP脚本，用于演示如何在实际应用中处理和操作数据。"php-cooking-data-master"作为压缩包内的主目录...
home-cooking
04-08
数据库设计 用户表 柱子 类型 选项 姓名 细绳 null：false 电子邮件 细绳 null：false 密码 细绳 null：false 协会 has_many：配方 has_many：评论 has_many：冰箱 食谱表 柱子 类型 ...当属：用户
java爬虫模拟登陆_java爬虫模拟登陆的实例详解
weixin_27966471的博客
02-15 2753
使用jsoup工具可以解析某个URL地址、HTML文本内容，是java爬虫很好的优势，也是我们在网络爬虫不可缺少的工具。本文小编带领大家使用jsoup 实现java爬虫模拟登陆，通过省力的API，很好的实现java爬虫模拟登陆。一、使用工具：Jsoupjsoup 是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似...
js学习之cooking
qq_43412333的博客
10-24 753
什么是cookie： cookie是一些数据(存储用户数据) cookie存在哪里：存储于你电脑上的文本文件中 cookie的作用：记录浏览器中用户的信息 cookie技术又叫会话跟踪技术 前后端都可以使用 cookie的主要内容 名称(cookie的唯一标识) name 内容(cookie存放的内容) content 域名(cookie所能使用的域名，即文件存放的文件夹) 路径(cookie...
网页爬虫之cookie自动获取
热门推荐
smilemilk的博客
08-03 4万+
本文实现cookie的自动获取，及cookie过期自动更新。 社交网站中的很多信息需要登录才能获取到，以微博为例，不登录账号，只能看到大V的前十条微博。保持登录状态，必须要用到Cookie。以登录www.weibo.cn 为例： 在chrome中输入：http://login.weibo.cn/login/ 分析控制台的Headers的请求返回，会看到weibo.cn有几组返回的co
网页cookie是什么？
青风骏马的博客
01-08 3627
Cookie 是用户访问的网站创建的文件，存储在用户电脑的硬盘中，用于保存浏览信息，例如您的网站偏好设置或个人资料信息。网站依靠Cookie辨认用户行踪，了解用户感兴趣内容，收集与用户有关的信息。用户访问查询网页上操作信息，只要cookie没有失效就可以从本地查询，不需要访问数据库，这样加快了查询速度并且保存了用户的状态。但是部分站点利用Cookie收集大量用户信息，并将这些信息转手卖给其他有商业...
PHP获取Cookie
LILAIQUN博客
04-12 3777
<?php // 一、定义Cookie存储路径 $cookie_jar = dirname(__FILE__)."/baidu.cookie"; // 二、将cookie存入文件 $url = "http://www.baidu.com"; // 初始化CURL $ch = curl_init(); curl_setopt($ch, CURLOPT_URL, $url); // 获取头部信...
Python爬虫系列之----Scrapy(四)一个简单的示例
fendo
04-15 8067
111111
Python爬虫学习-Day4
Frank.F.Wu
03-04 292
1、XML介绍 XML指可扩展标记语言（EXtensible Markup Language） XML是一种标记语言，很类似HTML XML的设计宗旨是传输数据和存储数据，而非显示数据，其焦点是数据的内容（与HTML的区别） XML的标签需要我们自行定义 XML被设计为具有自我描述性 XML是W3C的推荐标准 每个元素以及属性都有一个父（Parent） 元素节点可有零个、一个或多个子（Child...
解决Scrapy请求丢失问题
小鱼干儿的博客
08-17 1062
在使用Scrapy爬取多页数据时，容易出现丢失请求，数据爬取不完整的问题 def parse_city(self, response): month_urls = [] li_list = response.xpath('/html/body/div[7]/div[1]/div[13]/div/div/ul/li/a/@href').extract() for li in li_list: day_q = li[-11:-5]
Scrapy框架安装遇到的问题
fffank的博客
07-25 527
配置环境是我觉得最能坑我们同学的地方，因为总能遇到百度都解决不了的问题，总要拖一两天突然自己才能解决... 先说说我的电脑环境配置.64位win7电脑，装的是32位Python2.7。（Python已经安装好，在cmd环境下输入Python能交互） 安装过程可以参考很多前辈写的帖子。例如 http://blog.csdn.net/qy20115549/article/details/52528
解决FHC-15-Qualification的Cooking the Books问题
资源摘要信息:"FHC-15-Qualification:Cooking the Books 问题解决方案" 在处理标题“FHC-15-Qualification:Cooking the Books 问题解决方案”时，我们首先需要了解几个关键点。标题中提及的“FHC-15-Qualification...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值