安居客爬虫项目,爬取房源,保存mysql数据库,详细代码如下!!!

import time
import requests
import random
import pymysql
from lxml import etree


class AnJuKe():
    # 初始化
    def __init__(self, url):
        self.connect = pymysql.connect(
            host = 'localhost',
            db = 'pachong',
            user = 'root',
            password = '12345'
        )
        self.cursor = self.connect.cursor()#创建游标
        self.tree = self.get_tree(url)
        self.result_city()
    # 判断是否为空
    def is_empty(self,data):
        if data:
            data = data[0]
        else:
            data = '无信息'
        return data
    # 得到tree
    def get_tree(self, url):
        # 代理ip
        proxies_list = [{'http': 'http://117.191.11.111:8080'},
                        {'http': 'http://118.25.104.254:1080'},
                        {'http': 'http://203.195.168.154:3128'},
                        {'http': 'http://117.191.11.75:80'},
                        {'http': 'http://117.191.11.72:80'},]
        
        proxies = random.choice(proxies_list)
        headers = {'user-agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.87 Safari/537.36'}
        response = requests.get(url, headers = headers, proxies = proxies).text
        # print(response)
        tree = etree.HTML(response)
        return tree

    # 获取城市详情
    def result_city(self):
        # 城市列表
        city_list_class =  self.tree.xpath('//div[@
  • 1
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值