关于Pycharm打印丢失数据的问题

关于Pycharm打印丢失数据的问题

问题起因

群里有个朋友问怎么爬某个租房网站,以为出现了什么新的反爬技术,遂打开网站发现并没有什么反爬,数据都在源代码中,以为是cookie加密了,发现不带cookie,甚至不带headers都可以获取到网站源代码,但是会缺少一些数据,比如手机号码,因此下意识以为对方有反爬

解决经过

先用postman不带任何headers访问,发现可以获取到完整的源数据,使用python的requests库获取网站源代码

html = requests.get(url).text
print(html)

打印发现关键信息并不在控制台中,因此很疑惑,因为理论上通过requests获取的数据和postman获取的数据在参数一样的情况下应该是一致的,因此联想到可能是什么地方出了问题

最终选择打断点,然后发现了让我觉得很不可思议的一件事

res = requests.get(url)
print(res)  # 断点位置

直接在print这行打断点,进入res的断点发现断点里面的res.text数据是完整的,但是一旦print出来就不完整了,所以联想到可能是pycharm的控制台打印数据存在丢失的问题,为了验证想法使用ipython进行了上面的操作,发现数据是完整返回的
由此可以推断出来是pycharm编码或者其他一些未知原因造成的

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值