![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
爬虫
一不小心写起了代码
我写的代码一定行!不行就算了
展开
-
爬虫实战2(下):爬取豆瓣影评
上篇笔记我详细讲诉了如何模拟登陆豆瓣,这次我们将记录模拟登陆+爬取影评(复仇者联盟4)实战。本文行文结构如下:模拟登陆豆瓣展示分析网址和源码爬取数据进行面对对象重构总结 一、模拟登陆豆瓣 模拟登陆在上文已经详细介绍如何利用post方式登陆,这里不再赘述,直接给出源码如下:import requests# 1.设置URL 和 headerslogin...原创 2019-05-01 20:34:58 · 6133 阅读 · 5 评论 -
爬虫实战1:爬取糗事百科段子
本文主要展示利用python3.8+urllib实现一个简单无需登录爬取糗事百科段子实例。如何获取网页源代码对网页源码进行正则分析,爬取段子对爬取数据进行再次替换&删除处理易于阅读0、全部源码展示 本文将先展示全部源码,后面将逐步分析如何实现爬取糗事百科段子。import urllib.requestimport reclass QSBKCrawler: U...原创 2019-04-24 18:43:02 · 791 阅读 · 2 评论 -
爬虫实战3:模拟登陆知乎并爬取任意帖子数据
刚学爬虫时,看到一篇文章硬核破解知乎登陆,心潮澎湃,真男人!符合我的胃口!哼哧哼哧的立刻安排! (半个小时过后) 似乎我是弱智?很多看不懂?(百度乱搜中…)恩还有种简单的?selenium+xpath模拟登陆?简单但效率低?难道要靠用这种低效率方式来爬取数据,这是向网站妥协!不,我常威就算没技术也绝对不要这样委屈求全!(十分钟过后)挨,怎么他喵这么香? 经过一番曲...原创 2019-05-08 15:31:15 · 2817 阅读 · 6 评论 -
爬虫实战2(上):爬取豆瓣影评
这次我们将主要尝试利用python+requsets模拟登录豆瓣爬取复仇者联盟4影评,首先让我们了解一些模拟登录相关知识补充。本文结构如下:request模块介绍与安装get与post方式介绍request模块使用实例一、request模块介绍与安装1.requests和url...原创 2019-05-01 11:23:37 · 3989 阅读 · 1 评论