【Web_接口爬虫_Python3_58同城_request&os&etree&proxies】58同城，商铺出租，爬取标题、内容、链接地址，保存文本_20200401

最新推荐文章于 2024-04-26 17:08:08 发布

铜锣烧1号

最新推荐文章于 2024-04-26 17:08:08 发布

阅读量707

点赞数

分类专栏：接口测试文章标签： python request web crawler 软件测试

本文链接：https://blog.csdn.net/denzeleo/article/details/114068940

版权

接口测试专栏收录该内容

30 篇文章 1 订阅

订阅专栏

#!/usr/bin/env/python3
# -*- coding:utf-8 -*-
'''
Author：leo
Date&Time：2021/04/01 18:10
Project：Python3  FileName：58_request.py
'''
# -*- coding: utf-8 -*-

import json, time, os
import requests
from lxml import etree

class Five_requests(object):
    def __init__(self):
        self.logTime = time.strftime('%Y%m%d_%H%M%S', time.localtime(time.time()))
        self.curTime = time.strftime('%Y%m%d %H%M%S', time.localtime(time.time()))
        self.nowdate_8, self.nowtime_6 = self.curTime.split(" ")[0], self.curTime.split(" ")[1]
        self.headers = {
            "User-Agent": "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.83 Safari/537.36",
            "Content-Type": "text/html;charset=UTF-8"
        }
        self.proxies = { "http": None, "https": None}

    def get_proxies(self):
        # 绕过代理方法一
        proxies = {"http": None, "https": None}
        requests.get("http://ff2.pw", proxies=proxies)
        response = requests.get("http://httpbin.org/ip", proxies=proxies)
        print(response.text)

        # 绕过代理方法二
        session = requests.Session()
        session.trust_env = False
        response = session.get('http://ff2.pw')
        print(response.text)
        return proxies

    def mkdir_file(self, path):
        path = path.strip()
        path = path.rstrip("\\")
        isExists=os.path.exists(path)
        if not isExists:
            os.makedirs(path)
            # print(path+' 创建成功')
            return True
        else:
            # print(path+' 目录已存在')
            return False

    def get_pic(self, pic_name, pic_url):
        try:
            res_pic = requests.get(url=pic_url, headers=self.headers, timeout=10, proxies=self.proxies)  #二进制数据
            # print('【成功】正在下载第图片，图片地址:' + str(pic_url))
            self.mkdir_file("D:\\Mytest\\Svnbucket\\Python3\\临时文件\\images")
            pic_dir = 'images/' + pic_name.replace("/", "") + '_' + str(time.strftime('%Y%m%d_%H%M%S', time.localtime(time.time()))) + '.jpg'  #给每张图片指定路径并命名
            fp = open(pic_dir, 'wb+')      #给每张图片指定路径并命名
            fp.write(res_pic.content)      #将图片二进制数据写成图片
            fp.close()
        except requests.exceptions.ConnectionError:
            print('【失败】当前图片无法下载，图片地址:' + str(pic_url))

    def get_info(self, html, mode, x_xpath):
        try:
            str_result = x_xpath
            if mode == "string":
                res_value = html.xpath(str_result)[0].xpath('string(.)')
            elif mode == "url":
                res_value = html.xpath(str_result)[0]
            elif mode == "list":
                res_value = html.xpath(str_result)
            elif mode == 'picture':
                res_value = html.xpath(str_result)[0]
            if isinstance(res_value, str):
                res_value = res_value.encode('gbk', 'ignore').decode('gbk').strip().replace(" ", '').replace("\n", '')
            elif isinstance(res_value, list):
                res_value = " | ".join([l for l in res_value if "\n" not in l])
        except Exception as e:
            res_value = str(str_result) + "\t错误码：" + str(e)
        return res_value

    def get_html(self, url, log=False):
        response = requests.get(url, headers=self.headers, proxies=self.proxies)
        res_text = response.text.encode('gbk', 'ignore').decode('gbk')
        html = etree.HTML(res_text, etree.HTMLParser())
        if log == True:
            print("Start crawling：" + url)
        return html

    # 获取信息
    def get_catalog(self, html):
        html_list = html.xpath('//*[@id="house-list-wrap"]/li')
        print("Statistic data：" + str(len(html_list)) + "条数据\n")
        # 遍历列表
        for i in range(1, len(html_list)):
        # for i in range(1, 5+1):
            res_url = self.get_info(html=html, mode="url", x_xpath=f'//*[@id="house-list-wrap"]/li[{i}]/a/@href')
            res_pic_address = self.get_info(html=html, mode="picture",  x_xpath=f'//*[@id="house-list-wrap"]/li[{i}]/a/div[@class="pic"]/img/@data-src')
            res_info_title = self.get_info(html=html, mode="string",  x_xpath=f'//*[@id="house-list-wrap"]/li[{i}]/a/div[contains(concat(" ", @class, " "), "list-info ")]/h2/span[@class="title_des"]')
            res_info_industry = self.get_info(html=html, mode="list",  x_xpath=f'//*[@id="house-list-wrap"]/li[{i}]/a/div[contains(@class, "list-info ")]/p[1]//text()')
            res_info_price = self.get_info(html=html, mode="list",  x_xpath=f'//*[@id="house-list-wrap"]/li[{i}]/a/div[contains(@class, "price ")]//text()')
            res_info_area = self.get_info(html=html, mode="list",  x_xpath=f'//*[@id="house-list-wrap"]/li[{i}]/a/div[contains(@class, "area")]//text()')
            res_info_position = self.get_info(html=html, mode="string",  x_xpath=f'//*[@id="house-list-wrap"]/li[{i}]/a/div[contains(@class, "list-info ")]/p[2]')
            self.get_pic(pic_name=str(i) + "_" + res_info_title, pic_url=res_pic_address)
            print('标题:' + res_info_title, end='\n------------列表信息------------\n')
            print('区域:' + res_info_industry, end='\n')
            print('楼层:' + res_info_position, end='\n')
            print('价格:' + res_info_price, end='\n')
            print('面积:' + res_info_area, end='\n')
            print('详情:' + res_url, end='\n')
            print('图片:' + res_pic_address, end='\n')

            # 详情信息
            details_html = self.get_html(url=res_url)
            res_d_tiltle = self.get_info(html=details_html, mode="list", x_xpath='//*[@class="main-wrap"]/div[@class="house-title"]//text()')
            res_d_outline = self.get_info(html=details_html, mode="list", x_xpath='//*[@class="main-wrap"]/div[@class="house-basic-info clearfix"]//text()')
            res_d_survey = self.get_info(html=details_html, mode="list", x_xpath='//div[@class="general-item general-intro"]/ul//text()')
            res_d_describe = self.get_info(html=details_html, mode="list", x_xpath='//div[@class="des-item"]//text()')
            print(end='------------详情信息------------')
            print('标题:' + res_d_tiltle.encode('gbk', 'ignore').decode('gbk'), end="\n")
            print('概要:' + res_d_outline.encode('gbk', 'ignore').decode('gbk'), end='\n')
            print('概况:' + res_d_survey.encode('gbk', 'ignore').decode('gbk'), end='\n')
            print('描述:' + res_d_describe.encode('gbk', 'ignore').decode('gbk'), end='\n')
            print('Url:' + res_url.encode('gbk', 'ignore').decode('gbk'), end='\n')
            print(end="\n")


    def write_info(self, res_text):
            with open('response_2021.txt', 'a+', encoding='utf-8') as write:
                write.write(json.dumps(res_text, ensure_ascii=False) + '\n')
                write.write('\n')

    def run(self):
        test = Five_requests()
        html = test.get_html(url='https://xn.58.com/shangpucz/', log=True)
        test.get_catalog(html=html)


if __name__ == "__main__":
    Five_requests().run()

Start crawling：https://xn.58.com/shangpucz/
Statistic data：69条数据

------------详情信息------------标题:(转让)BP 个人城北区小桥医院旁火锅店转让 | 餐饮美食 | 临街门面 | 临街 | 可餐饮 | 可明火 | 上水 | 下水 | 380V | 外摆区 | 更新于2021-02-23 | 11人已浏览 | 收藏 | 0 | 举报 | 电话被冒用 | 信息虚假 | 我要报案
概要:1.5 | 万/月 | 转让费：25.5万元 | 询问具体转让内容？ | 快速贷款 > | 108m | 临街门面 | 建筑面积 | 物业类型 | 楼盘： | 地址： | 地图 | 李召生 | 青海爆铺广告有限公司 | | 微信扫码咨询 | 15597050133 | 电话联系TA | 扫一扫，进详情
概况:月租 | 1.5万/月 | 转让费 | 询问具体转让内容？ | 押付 | 押3付12 | 剩余租期 | 3个月 | 建筑面积 | 108m | 商铺性质 | 二手房 | 商铺类型 | 临街门面-临街 | 经营状态 | 经营中 | 经营类型 | 餐饮美食-餐馆 | 楼层 | 1层/共1层 | 规格 | 面宽8m、层高3.3m、进深13.5m | 客流人群 | 办公、学生、居民 | 相关费用 | 暂无数据
描述:房源亮点 | 商户名称：雨亭黑鱼火锅 | 地理位置：城北区小桥医院旁金色家园南门 | 详情:地理位置优越，人流量大，格局通畅，中等装修，环境优雅，经营模式成熟，同行接手无需二次投入，接手即可营业，周边小区众多，交通方便，有学校，医院，生活住宅区，人流量大，发展前景乐观，共计总面积为108平方米。户型方正，适合各种行业等！空间大，无行业限制，接手无后顾之忧，具体情况欢迎来电话详谈 | 所属商圈：小桥大街 | 店铺位于：西宁市城北区小桥医院旁金色家园南门 | 店名：雨亭黑鱼火锅 | 楼层：共1层 | 面积：108㎡。 | 装修情况：中等装修 | 设备：................................. | 原业态情况：空铺 | 不可做行业：无 | 基础设施：通风排烟消防 380V | 房租：15000元/月年交，押金5万
Url:https://xn.58.com/shangpu/44797981702299x.shtml

标题:BP个人城北国际村旺赢川菜馆转让（低价转让）
------------列表信息------------
区域:城北-宁张路 | 湘野小厨 | 经营中
楼层:临街门面1层
价格:1.57 | 万/月 | 日租金 2.33元/㎡/天
面积:224 | ㎡ | 建筑面积
详情:https://xn.58.com/shangpu/42623028797061x.shtml
------------详情信息------------标题:(转让)BP 个人城北国际村旺赢川菜馆转让（低价转让） | 餐饮美食 | 临街门面 | 价格可面议 | 转让费可面议 | 随时入驻 | 随时可看 | 临街 | 可餐饮 | 可明火 | 上水 | 更新于2021-02-24 | 419人已浏览 | 收藏 | 0 | 举报 | 电话被冒用 | 信息虚假 | 我要报案
概要:1.57 | 万/月 | 转让费：面议（费用可面议） | 询问卖方心理预期？ | 快速贷款 > | 224m | 临街门面 | 建筑面积 | 物业类型 | 楼盘： | 地址： | 地图 | 谢生莲 | 青海爆铺广告有限公司 | | 微信扫码咨询 | 13099782776 | 电话联系TA | 扫一扫，进详情
概况:月租 | 1.57万/月 | 转让费 | 询问卖方心理预期？ | 押付 | 押1付12 | 剩余租期 | 4个月 | 建筑面积 | 224m | 商铺性质 | 二手房 | 商铺类型 | 临街门面-临街 | 经营状态 | 经营中 | 经营类型 | 餐饮美食-餐馆 | 楼层 | 1层/共2层 | 规格 | 面宽9.5m、层高6m、进深19m | 客流人群 | 办公、学生、居民 | 相关费用 | 暂无数据
| 房租：15680元/月
Url:https://xn.58.com/shangpu/42623028797061x.shtml