现在的lj已经不再公示房屋交易记录,所以只能爬一爬房屋基本信息。
用到的模块还是挺多的,一波导入
import requests
import random
from pyquery import PyQuery as pq
import re
import pymysql
from pymysql.converters import escape_string
import threading
import time
#自行查找ua
uas = []
ua = random.choice(uas)
#请求头
headers = {
'User-Agent':ua,
'Host':'bj.lianjia.com',
'Referer':'https://bj.lianjia.com/ershoufang/dongcheng/pg2/'
}
#这里放ip 格式ip:port
li = []
proxy = f'账号:密码@{random.choice(li)}'
proxies = {
'http': 'http://' + proxy,
'https': 'http://' + proxy,
}
#注意提前创建database和table
conn = pymysql.connect(user='root',password='123123123',host='localhost',port=3306,database='lianjia')
cursor = conn.cursor()
根据首页获取最