python3 scrapy 爬虫实战之爬取站长之家

最新推荐文章于 2024-05-24 18:42:29 发布
最新推荐文章于 2024-05-24 18:42:29 发布
阅读量1.9k 收藏 3
点赞数 1
分类专栏： # python3爬虫 # scrapy 我的python3爬虫之路 文章标签： 站长之家 网站排名 python3 爬虫 scrapy 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xudailong_blog/article/details/80357625
版权
本文介绍了使用Python3的Scrapy框架爬取站长之家网站排名数据的过程，包括目标、工具选择、爬取内容和理由。通过爬取网站缩略图、名称、网址、Alexa排名等信息，旨在进行数据分析或注册特定域名。
摘要由CSDN通过智能技术生成

爬取目标

站长之家：http://top.chinaz.com/all/

爬取工具

win10 python3 scrapy BeautifulSoup

爬取内容

1 网站缩略图 2 网站名称 3 网址 4 Alexa排名，5 百度权重 6 网站简介 7 网站得分

image.png

爬取理由

想着可以通过网站top 来注册一下 .app的域名，同时这也是一个顶级域名。亦或者进行一下数据分析，看下以后做哪种类型的网站会稍微有前途些（异想天开.gif）

爬取代码

因为用scrapy 用得熟练，这里只贴spider代码，其他工程代码，留言索取，即可。

  • spider代码
# -*- coding: utf-8 -*-
最低0.47元/天 解锁文章
xudailong_blog
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
专栏目录
python3 [爬虫入门实战]scrapy爬取盘多多五百万数据并存mongoDB
徐代龙的技术专栏
07-20 1726
总结：虽然是第二次爬取，但是多多少少还是遇到一些坑，总的结果还是好的，scrapy比多线程多进程强多了啊，中途没有一次被中断过。 此版本是盘多多爬取数据的scrapy版本，涉及数据量较大，到现在已经是近500万的数据了。 1，抓取的内容主要爬取了：文件名，文件链接，文件类型，文件大小，文件浏览量，文件收录时间一，scrapy中item.py代码# -*- coding: utf-8 -*-# D
python爬虫，站长之家
Tilyp的博客
03-18 1463
主要目标爬取下图信息，上图更简单直观。 首先找到我们要得数据在那，我们先去站长之家去看看;站长之家 这里的“全部行业”就是我们要得一级分类，我们来研究一下他的html源代码， 然后随意点开一分类看看 html源码如下： 在点进去一个，我们就看到我们要得数据在哪里了; html内容如下： 我们看了这么多的东西有什么用呢？我总结出每级分类的url都可以在html源码里找的到，无须js
爬取站长之家
hmh4640219的博客
03-16 652
爬取站长之家 爬取图片 https://sc.chinaz.com/tupian/ 可以随便找一个分类进行爬取练习 注意：这里的src存在一个懒加载，你先定位到第一张图片的代码块，然后找到最后一张图片的代码块，你会发现这里的src还是src2，如果你把页面翻到最后一张图片，你再去看src就是src了，多看源码 这里我就没有去做分页爬取了，大家也可以去试一试分页爬取 import requests from lxml import etree from urllib import request import
爬虫基础（案例：站长之家图片）
qq_44805233的博客
10-30 399
爬取思路： 1、首先找到图片分类信息，然后获取每个分类的url 2、请求每个分类的url可以得到相应页面的HTML源码 3、得到源码后使用BS4对信息所在的标签进行定位。 4、得到图片URL后保存一下就可以了 code： import requests from bs4 import BeautifulSoup import json class zhanzhang(): def __init__(self): self.url = "https://sc.chinaz.com/t
python爬虫抓取站长之家IP库，仅供练习用！
weixin_33935505的博客
03-13 228
python爬虫抓取站长之家IP库，单线程的，仅供练习，IP库数据有43亿条，如果按此种方法抓取至少得数年，所以谨以此作为练手，新手代码很糙，请大家见谅。#!/usr/bin/python #coding=UTF-8 importurllib2 importre importos importcsv importcodecs user_agent='Mozill...
python3 [爬虫入门实战]爬虫之scrapy爬取传智播客讲师初体验
徐代龙的技术专栏
07-13 4310
心得： 学scrapy估计耽误又耽误了，之前是图文教程，看了两三遍，一部一部的踩过来，经过昨晚看了一晚上的黑马程序员的部分scrapy框架的学习，才慢慢懂得，如何用一个scrapy去进行爬取网上的数据，个人建议如果实在是不能体会的，还是稍微看下视频：能理解的好一些 先上爬取截图吧：总的来说， 对于我这脑子学习scrapy过程还是蛮难的，尽管现在只是一个开头，后面的坑还很多。 爬取的内容：姓名
Python之Scrapy爬虫实战–爬取妹子图
12-22
不会的同学可参考我的另一篇博文，这里不再赘述：Python之Scrapy爬虫实战–新建scrapy项目 这里只讲一下几个关键点，完整代码在文末。 由于爬取的网站有反爬，一开始没绕过反爬，debug几下代码就被封了ip（我只是在...
Python-基于Python的scrapy爬虫框架实现爬取招聘网站的信息到数据库
08-10
Python的Scrapy框架是用于构建高效、可复用的网络爬虫项目的强大工具。它是一个专为爬取网站并提取结构化数据而设计的库，特别适合处理大规模的数据抓取任务。在本教程中，我们将深入探讨如何使用Scrapy来爬取招聘...
python爬虫框架scrapy实战之爬取京东商城进阶篇
09-21
在Python的Web爬虫领域，Scrapy是一个功能强大的框架，常被用于高效地爬取和处理网站数据。本篇文章将深入探讨如何使用Scrapy爬取京东商城的商品信息，特别关注动态加载的内容。 **一、Scrapy框架基础** Scrapy是...
python爬虫之站长之家图片抓去
逝水无痕博客
06-27 476
import requests import re import os #1.1 获取抓取的链接 url='http://sc.chinaz.com/tupian/' #1.2 定义存放文件的路径 download = "picture/" #1.3 判断文件夹是否存在，如果存在直接使用，如果不存在创建 if(not os.path.exists(download)): #创建目录 os.mkdir(download) #2.使用requests库发请求 response=requests.
爬取站长之家域名并保存到mysql
mou kai的博客
08-16 607
爬取站长之家域名并保存到mysql import time import pymysql from selenium import webdriver import io import sys from selenium.webdriver.chrome.options import Options sys.stdout = io.TextIOWrapper(sys.stdout.buffer,e...
【python爬虫实战】批量爬取站长之家的图片
lomtom's Blog
02-28 2318
概述： 站长之家的图片爬取 使用BeautifulSoup解析html 通过浏览器的形式来爬取,爬取成功后以二进制保存，保存的时候根据每一页按页存放每一页的图片 第一页：http://sc.chinaz.com/tupian/index.html 第二页：http://sc.chinaz.com/tupian/index_2.html 第三页：http://sc.chinaz.com/tupian...
python爬虫入门学习10-scrapy-站长之家图片爬取
Evol_ve的博客
07-04 195
class ImgSpider(scrapy.Spider): name = 'img' start_urls = ['https://sc.chinaz.com/tupian/'] # 爬虫处理方法 def parse(self, response): div_list = response.xpath('//*[@id="container"]/div') for div in div_list: # 图片懒加载
Python爬取站长之家图片
qq_45043627的博客
08-15 592
Python爬取站长之家图片(正则表达式) 1.导入爬虫请求库 import requests import re import os 2.创建本地存放下载图片的文件夹 download = "pic" # 若已经创建，则调用；若没有，则创建 if not os.path.exists(download): os.mkdir(download) 3.请求的网址 url = "https://sc.chinaz.com/tupian/shanshuifengjing.html" 4.使用re
python爬站长之家写一个信息搜集器
weixin_30662539的博客
02-20 145
前言：不知道写什么好，绕来绕去还是写回爬虫这一块。 之前的都爬了一遍。这次爬点好用一点的网站。 0x01: 自行备好requests模块 目标站：http://tool.chinaz.com/ 0x2: 代码： import optparse import requests import re import sys from bs4 import BeautifulSou...
【爬虫实战】使用Python爬取站长之家上的公司介绍数据
FLK_9090的博客
03-15 1369
在互联网时代，了解各个公司的情况对于行业分析、竞争对手研究以及投资决策都非常重要。而站长之家作为国内知名的IT门户网站，提供了大量的公司介绍信息。本文将介绍如何使用Python编写爬虫程序，从站长之家上爬取公司介绍数据，并保存到Excel表格中，以便后续分析使用。本文介绍了如何使用Python编写爬虫程序，爬取站长之家上的公司介绍数据。通过合理的代码设计和多线程的并发处理，提高了爬取效率。希望本文对你在爬取网页数据和数据分析方面有所帮助。我会持续为大家带来更多有趣且实用的教程和资源。
python期末作业：批量爬取站长之家的网站排行榜数据并保存，数据分析可视化
最新发布
c1007857613的专栏
05-24 566
python期末作业：批量爬取站长之家的网站排行榜数据并保存，数据分析可视化
站长之家最新备案域名信息爬取
Jepson的博客
06-19 4778
本文实现每日爬取站长之家最新备案域名信息，并保存到本地 爬取地址：http://icp.chinaz.com/provinces 实现代码： # -*- coding: utf-8 -*- import requests from lxml import etree import datetime uri = "http://icp.chinaz.com/provinces?prov...
Python使用Scrapy爬虫框架全站爬取图片并保存本地的实现
Python使用Scrapy爬虫框架全站爬取图片并保存本地的实现代码 Scrapy是一个基于Python的爬虫框架，能够快速、高效地爬取网站数据。本文将详细介绍如何使用Scrapy爬虫框架全站爬取图片并保存本地的实现代码。 Scrapy...
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值