python爬虫
程序员吴同学
异步编程:领略编程之美,体会编程的乐趣,寻找编程的价值,在编程中寻找体现自我,寻找自我
展开
-
python爬虫总是爬不到数据,你需要解决反爬虫了
爬虫最讨厌的就是反爬虫,但是如果没有反爬虫的存在的,那么大家都可以随随便便就进行爬虫,那么服务器又怎么支撑得起来呢?所以说反爬虫是一个门槛,跨过这一个门槛就可以轻松掌握爬虫的技术了,跨不过那么你就一直都在起点而已。目前常见的反爬虫无非也就是那几种(查看爬虫的请求头、请求频率、验证码……)第一种处理请求头对于请求头进行处理就是一个非常简单的事情了,可以直接使用浏览器的请求头;在这里插入代码片也可以使用python中的第三方库fake-useragent 进行设置,使用python中的第三方库还有原创 2020-06-26 08:47:05 · 6333 阅读 · 1 评论 -
python 爬虫爬取阿婆主的全部视频详情
很多时候,我们在B站上喜欢一个阿婆主,我们想要把他(她)发出的所有的视频链接都获取下来时候,这时候就会很麻烦,毕竟如果视频只要一多,就会很麻烦了,很耗时间了。这时候,使用爬虫进行爬取就是一个非常好的操作了。下面就来介绍一下吧。...原创 2020-06-17 09:52:43 · 1205 阅读 · 0 评论