python爬取数据技巧_如何使用Python爬取数据?看完这篇文章你就懂了!

前段时间小编发了一篇有关于Python数据类型的文章,由于只是介绍了数据类型,我觉得远远不够,所以呢我现在写一篇用Python爬取数据的文章来补充。

7044cc423d696f322b47fd595ee5cc06.png

首先我会介绍如何使用scrapy抓取二手房数据,然后我会将抓下来的数据进行了一些简单的分析和可视化。最后奉上数据,感兴趣的朋友可以深入分析

Github地址:https://github.com/HunterChao/Crawler

使用scrapy抓取二手房数据,如下所示:

文章目录结构

D:.

│ run.py

│ scrapy.cfg

└─LianJia

│ items.py

│ pipelines.py

│ settings.py

│ __init__.py

├─spiders

│ lianjia.py

│ __init__.py

lianjia.py是程序的主要运行文件,run.py为程序启动文件。在pycharm下执行run.py即可启动程序。

项目分析:

8591c76880d6c75e1b929686fe521bb7.png

链接的构造:我们通过抓取首页可以获得北京市各城区的名称(如:东城、西城、朝阳)及对应的拼音,进一步通过遍历每个城区对应的页码数(Pn)即可构造出各城区的二手房链接。

1f2c26da11da5a4e43140cd61a308d42.png

信息的抓取:在进入各个城区的二手房页面时,可匹配出每个房源的详细信息。这里需要注意的是,由于我想将各房源的经纬度信息获取以便可视化到地图上,需要找到每个房源的详情页链接,进入该链接,匹配出经纬度相关的字段。(resblockPosition)数据字段:item.py

# -*- coding: utf-8 -*-

import scrapy

class LianjiaItem(scrapy.Item):

# 标签 小区 户型 面积 关注人数 观看人数 发布时间 价格 均价 详情链接 经纬度 城区

title = scrapy.Field()

community = scrapy.Field()

model = scrapy.Field()

area = scrapy.Field()

focus_num = scrapy.Field()

watch_num = scrapy.Field()

time = scrapy.Field()

price = scrapy.Field()

average_price = scrapy.Field()

link = scrapy.Field()

Latitude = scrapy.Field()

city = scrapy.Field()

主要运行函数:lianjia.py

# -*- coding: utf-8 -*-

import scrapy

import requests

import re

import time

from lxml import etree

from ..items import LianjiaItem

from scrapy_redis.spiders import RedisSpider

class LianjiaSpider(RedisSpider):

name = ‘lianjiaspider‘

redis_key = ‘lianjiaspider:urls‘

start_urls = ‘http://bj.lianjia.com/ershoufang/‘

def start_requests(self):

user_agent = ‘Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.22

Safari/537.36 SE 2.X MetaSr 1.0‘

headers = {‘User-Agent‘: user_agent}

yield scrapy.Request(url=self.start_urls, headers=headers, method=‘GET‘, callback=self.parse)

def parse(self, response):

user_agent = ‘Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.22

Safari/537.36 SE 2.X MetaSr 1.0‘

headers = {‘User-Agent‘: user_agent}

lists = response.body.decode(‘utf-8‘)

selector = etree.HTML(lists)

area_list = selector.xpath(‘/html/body/div[3]/div[2]/dl[2]/dd/div[1]/div/a‘)

for area in area_list:

try:

area_han = area.xpath(‘text()‘).pop() # 地点

area_pin = area.xpath(‘@href‘).pop().split(‘/‘)[2] # 拼音

area_url = ‘http://bj.lianjia.com/ershoufang/{}/‘.format(area_pin)

print(area_url)

yield scrapy.Request(url=area_url, headers=headers, callback=self.detail_url, meta={"id1":area_han,"id2":area_pin} )

except Exception:

pass

def get_latitude(self,url): # 进入每个房源链接抓经纬度

p = requests.get(url)

contents = etree.HTML(p.content.decode(‘utf-8‘))

latitude = contents.xpath(‘/ html / body / script[19]/text()‘).pop()

time.sleep(3)

regex = ‘‘‘resblockPosition(.+)‘‘‘

items = re.search(regex, latitude)

content = items.group()[:-1] # 经纬度

longitude_latitude = content.split(‘:‘)[1]

return longitude_latitude[1:-1]

def detail_url(self,response):

‘http://bj.lianjia.com/ershoufang/dongcheng/pg2/‘

for i in range(1,101):

url = ‘http://bj.lianjia.com/ershoufang/{}/pg{}/‘.format(response.meta["id2"],str(1))

time.sleep(2)

try:

contents = requests.get(url)

contents = etree.HTML(contents.content.decode(‘utf-8‘))

houselist = contents.xpath(‘/html/body/div[4]/div[1]/ul/li‘)

for house in houselist:

try:

item = LianjiaItem()

item[‘title‘] = house.xpath(‘div[1]/div[1]/a/text()‘).pop()

item[‘community‘] = house.xpath(‘div[1]/div[2]/div/a/text()‘).pop()

item[‘model‘] = house.xpath(‘div[1]/div[2]/div/text()‘).pop().split(‘|‘)[1]

item[‘area‘] = house.xpath(‘div[1]/div[2]/div/text()‘).pop().split(‘|‘)[2]

item[‘focus_num‘] = house.xpath(‘div[1]/div[4]/text()‘).pop().split(‘/‘)[0]

item[‘watch_num‘] = house.xpath(‘div[1]/div[4]/text()‘).pop().split(‘/‘)[1]

item[‘time‘] = house.xpath(‘div[1]/div[4]/text()‘).pop().split(‘/‘)[2]

item[‘price‘] = house.xpath(‘div[1]/div[6]/div[1]/span/text()‘).pop()

item[‘average_price‘] = house.xpath(‘div[1]/div[6]/div[2]/span/text()‘).pop()

item[‘link‘] = house.xpath(‘div[1]/div[1]/a/@href‘).pop()

item[‘city‘] = response.meta["id1"]

self.url_detail = house.xpath(‘div[1]/div[1]/a/@href‘).pop()

item[‘Latitude‘] = self.get_latitude(self.url_detail)

except Exception:

pass

yield item

except Exception:

pass

抓取效果:

f32c28c66ea8deabeaae5d6768340ddb.png

以上就是如何抓取数据了,大家是否成功将数据爬取下来了呢?假如还有不懂的地方或者需要源码,可以加群959997225即可获得!

北京二手房数据:https://pan.baidu.com/share/init?surl=nuCeVrV,密码:rfli

本文来自网络,如有侵权,请联系小编删除!

  • 1
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
好的,下面是一个简单的Python爬虫爬取网页数据并解析数据的教程: 1. 确定目标网站和要爬取的信息 首先,需要确定要爬取的网站和要提取的信息。可以使用Python的requests库向网站发送HTTP请求获取HTML源代码,并使用BeautifulSoup库解析HTML文档获取目标数据。 例如,我们要爬取CSDN博客的文章标题和链接,可以先打开CSDN博客主页,右键查看网页源代码,找到文章标题和链接所在的HTML标签。 2. 发送HTTP请求获取HTML源代码 接下来,使用Python的requests库向网站发送HTTP请求,获取HTML源代码。 ``` import requests url = 'https://blog.csdn.net/' response = requests.get(url) html = response.text ``` 3. 解析HTML文档获取目标数据 使用BeautifulSoup库解析HTML文档,获取目标数据。 ``` from bs4 import BeautifulSoup soup = BeautifulSoup(html, 'html.parser') titles = soup.find_all('div', class_='title') for title in titles: link = title.find('a').get('href') title_text = title.find('a').text.strip() print(title_text, link) ``` 上述代码,通过`find_all`方法找到所有class属性为"title"的div标签,然后在每个div标签找到第一个a标签,获取链接和标题文本。 4. 整代码 ``` import requests from bs4 import BeautifulSoup url = 'https://blog.csdn.net/' response = requests.get(url) html = response.text soup = BeautifulSoup(html, 'html.parser') titles = soup.find_all('div', class_='title') for title in titles: link = title.find('a').get('href') title_text = title.find('a').text.strip() print(title_text, link) ``` 以上就是一个简单的Python爬虫爬取网页数据并解析数据的教程。需要注意的是,在爬取网站数据时要遵守网站的爬虫协议,避免被网站封禁IP。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值