Python爬虫学习

Python爬虫学习遇到的小问题

1.如何处理当遇到url里面有需要动态更新的内容(如页码变动)?

需要使用url格式化拼接:

#page_num写在for循环里面,每次需要更新
page_num +=1
url = “https://www.baidu.com/%d”
new_url = format(url % page_num)

2.使用fp.write()写入内容时,返回空文件?

原因:写入文件后未关闭文件!需要在结尾处加上fp.close()

#这是爬取58二手房源的那个例子
fp = open('58二手房源xa.txt','w',encoding='utf-8')
for li in li_list:
    title = li.xpath(".//h2[@class='title']/a/text()")[0]
    house_num +=1
    fp.write(str(house_num)+'.'+title+'\n'')
fp.close()

其中,有两点需要注意:
(1)fp.close()跟for循环在同一级
(2)由于house_num是int类型,不能进行字符串拼接,所以要使用str(house_num)转换类型!

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值