【Python 多线程+ip代理+正则+pyquery】爬取链家二手房信息

现在的lj已经不再公示房屋交易记录，所以只能爬一爬房屋基本信息。

 

用到的模块还是挺多的，一波导入

import requests 
import random
from pyquery import PyQuery as pq 
import re 
import pymysql 
from pymysql.converters import escape_string
import threading 
import time

#自行查找ua
uas = []
ua = random.choice(uas)

#请求头
headers = {
	'User-Agent':ua,
	'Host':'bj.lianjia.com',
	'Referer':'https://bj.lianjia.com/ershoufang/dongcheng/pg2/'
}

#这里放ip 格式ip：port
li = []
proxy = f'账号:密码@{random.choice(li)}'
proxies = {
	'http': 'http://' + proxy,
	'https': 'http://' + proxy,
}

#注意提前创建database和table
conn = pymysql.connect(user='root',password='123123123',host='localhost',port=3306,database='lianjia')
cursor = conn.cursor()

根据首页获取最