爬虫爬取赶集网租房信息

最新推荐文章于 2024-05-25 01:07:28 发布

pythonputao

最新推荐文章于 2024-05-25 01:07:28 发布

阅读量424

点赞数 1

分类专栏： python 文章标签： python 人工智能 java 大数据数据可视化

本文链接：https://blog.csdn.net/pythonputao/article/details/111357874

版权

本文介绍了如何利用Python的Scrapy框架搭建爬虫，爬取赶集网上的租房信息，包括房源的户型和价格。通过设置配置、编写spider、测试代码、获取数据并使用item对象封装，最后通过pipeline将数据存储。同时，文章还涵盖了对爬取数据的初步分析和可视化处理。

摘要由CSDN通过智能技术生成

一、爬虫–scrapy

1.搭建环境

代码如下（示例）：

import scrapy
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt

2.加载scrapy框架

代码如下（示例）：

# terminal 终端实现
cd .. # 跳转到上一层目录
scrapy startproject booktop # 和项目同名的scrapy框架项目

3. setting配置

代码如下（示例）：

ROBOTSTXT_OBEY = False # 君子协议 false 不遵守
USER_AGENT = 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36
(KHTML, like Gecko) Chrome/85.0.4183.121 Safari/537.36'
DOWNLOAD_DELAY = 0.5 # 下载延迟

4.spider编写

代码如下（示例）：

# spiders文件夹下创建python文件 ganspider.py
import scrapy
from demo6.items import HouseItem
class GanJiSpider(scrapy.Spider):
name="gan_spider"
allowed_domains=["xiangyang.ganji.com"