python爬取动态页面

最新推荐文章于 2024-08-23 12:39:49 发布

有一种宿命叫无能为力

最新推荐文章于 2024-08-23 12:39:49 发布

阅读量5.5k

点赞数

分类专栏： --------------python爬虫练习文章标签： python

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/You_are_my_dream/article/details/53399949

版权

本文介绍了使用Python爬取动态页面的方法，强调了通过模拟浏览器访问和解析动态URL的关键点。在Google浏览器的开发者工具中定位请求URL，观察pn参数的变化来构建动态URL。示例代码展示了如何爬取百度美食页面的菜名，将JSON对象转化为字典进行后续处理。

摘要由CSDN通过智能技术生成

今天学习了用re爬取动态页面的方式，发现爬取动态页面的时候需要注意的一些东西，总结下来，以免以后碰见了再忘记。

主要是注意以下的几点吧。

对于所有的页面都用搞成浏览器的形式访问，这个之前的代码中也提到过。

下面的代码是爬取百度美食动态页面的对应页面的菜名。对于动态网页，要找到其对应爬取的url(最好使用Google浏览器)，找到开发者工具，然后点击对应的美食的页面，点击如下(图中)几个位置，

Request URL就是实际上爬取的url，通过点击美食的对应页面可以发现，变化的是pn后的值，相邻两页之间的pn值相差8

最低0.47元/天解锁文章

有一种宿命叫无能为力

关注

0
点赞
踩
8

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

有一种宿命叫无能为力 CSDN认证博客专家 CSDN认证企业博客

码龄8年

330: 原创

38万+: 周排名

122万+: 总排名

189万+: 访问

: 等级

1万+: 积分

284: 粉丝

441: 获赞

115: 评论

1061: 收藏

私信

关注

热门文章

分类专栏

最新评论

后缀表达式
在德国上大学: 博主，过程我明白了，但是那个选项算符栈第一个为什么是（
python 类中@staticmethod，@classmethod和实例方法
年轻的笔记: class Method(object): method = "三种方法的比较" def instance_method(self): print ("正在调用实例方法") @classmethod def class_method(cls): print ("正在调用类方法") print ("在类方法中调用类属性method\t{}".format(cls.method)) print ("在类方法中调用实例方法\t", ) cls().instance_method() @staticmethod def static_method(): print ("正在调用静态方法") print ("在静态方法中调用实例方法",) Method().instance_method() print ("在静态方法中调用类属性method\t%s" % Method.method) @classmethod def class_method1(cls, num): print (num) @staticmethod def static_method1(num): print (num) if __name__ == "__main__": Method.static_method() print ("-" * 16) Method.class_method() print ("-" * 16) # 带参数传递的情况如下 Method.static_method1(2017) print ("-" * 16) Method.class_method1(2017) """ 输出结果如下：正在调用静态方法在静态方法中调用实例方法正在调用实例方法在静态方法中调用类属性method 三种方法的比较 ---------------- 正在调用类方法在类方法中调用类属性method 三种方法的
numpy.linspace使用详解
m0_61819368: 定义了N=8是为了方便修改，生成的样本数为8，若想修改为其他值，只需修改N的值，而不需要再对后面的值进行修改。
numpy.linspace使用详解
Buddyyyyyy: 我想问一下，最后的代码里N=8是什么意思呢？
Tkinter中tearoff的作用
吾青春、国青春: 可以，好像是用place自定义位置

最新文章

目录

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。