python爬虫 --爬取链家项目【初级版】

最新推荐文章于 2024-08-13 21:38:27 发布

D_dalei

最新推荐文章于 2024-08-13 21:38:27 发布

阅读量645

点赞数

分类专栏：爬虫文章标签： xpath python html servlet js

本文链接：https://blog.csdn.net/D_wart/article/details/103721306

版权

本文介绍了使用Python进行链家数据爬取的初步步骤，重点提及了代理池在爬虫项目中的重要性，提示读者查阅作者先前的文章以了解代理池的配置方法。

摘要由CSDN通过智能技术生成

爬取链家项目需要用到代理池，代理池具体怎么设置可以去翻我之前的文章

import hashlib
import requests
from lxml import etree
import pymongo
import time,re
def get_proxies():
    try:
        response = requests.get('http://localhost:5000/get')
        proxies = {
   
            'http': 'http://' + response.text
        }
        return proxies
    except Exception:
        return None
#请求url，获取xpath
def get_xpath_by_requests(url,proxies):
    headers = {
   
        'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36',
        'Referer': 'https://bj.lianjia.com/?utm_source=baidu&utm_medium=pinzhuan&utm_term=biaoti&utm_content=biaotimiaoshu&utm_campaign=sousuo&ljref=pc_sem_baidu_ppzq_x',
    }
    try:
        response = requests.get(url