python爬虫——爬取房天下，一个Python程序员的阿里面试心得

domain = “http://esf.anyang.fang.com/”

city = “house/”

#获取总页数

def getTotalPage():

res = req.get(domain+city+“i31”)

soup = BeautifulSoup(res.text, “html.parser”)

endPage = soup.select(“.page_al a”).pop()[‘href’]

pageNum = endPage.strip(“/”).split(“/”)[1].strip(“i3”)

print(“loading…总共 “+pageNum+” 页数据…”)

return pageNum

分页爬取数据

def pageFun(i):

pageUrl = domain + city + “i3” +i

print(pageUrl+" loading…第 “+i+” 页数据…")

res = req.get(pageUrl)

soup = BeautifulSoup(res.text,“html.parser”)

houses = soup.select(“.shop_list dl”)

pageInfoList = []

for house in houses:

try:

print(domain + house.select(“a”)[0][‘href’])

info = getHouseInfo(domain + house.select(“a”)[0][‘href’])

pageInfoList.append(info)

print(info)

except Exception as e:

print(“---->出现异常，跳过 继续执行”,e)

df = pd.DataFrame(pageInfoList)

return df

connect = create_engine(“mysql+pymysql://root:root@localhost:3306/houseinfo?charset=utf8”)

for i in range(1,int(getTotalPage())+1):

try:

df_onePage = pageFun(str(i))

except Exception as e:

print(“Exception”,e)

pd.io.sql.to_sql(df_onePage, “city_house_price”, connect, schema=“houseinfo”, if_exists=“append”)

感谢每一个认真阅读我文章的人，看着粉丝一路的上涨和关注，礼尚往来总是要有的：

①　2000多本Python电子书（主流和经典的书籍应该都有了）

②　Python标准库资料（最全中文版）

③　项目源码（四五十个有趣且经典的练手项目及源码）

④　Python基础入门、爬虫、web开发、大数据分析方面的视频（适合小白学习）

⑤ Python学习路线图（告别不入流的学习）

小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数初中级Python工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Python爬虫全套学习资料》送给大家，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频

如果你觉得这些内容对你有帮助，可以添加下面V无偿领取！（备注：python）

学习笔记、源码讲义、实战项目、讲解视频**

如果你觉得这些内容对你有帮助，可以添加下面V无偿领取！（备注：python）
[外链图片转存中…(img-8JVjVgH9-1711066345157)]