![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spider
桃花不见秋风
一入IT深似海
展开
-
爬去动态网站今日头条图片集
如何爬去爬去今日头条动态数据,网上有很多教程,我就不在啰嗦了第一步如何分析得到存储数据的真实url首先打开https://www.toutiao.com/,搜索街拍,会跳转https://www.toutiao.com/search/?keyword=%E8%A1%97%E6%8B%8D你如果用传统的方式你将的得不到任何有价值的信息这个时候你怎么办呢?你这个时候注意查看reque...原创 2019-06-06 22:41:03 · 2092 阅读 · 0 评论 -
如何抓取豆瓣网电影海报信息及重命名
打开豆瓣电影url:https://movie.douban.com/找到真正存储信息的url:https://movie.douban.com/j/search_subjects?type=movie&tag=热门&page_limit=50&page_start=0在上篇文章中已经说了怎么去找动态网站的真实存储数据的url就不多说了打开网址我们这次就需要这些...原创 2019-06-11 07:27:58 · 1041 阅读 · 0 评论 -
python爬去豆瓣网电影信息以及海报命名
这篇文章是接着上篇文章的,前段时间太忙未更新,上篇文章说道海报下载及命名,按照上篇文章下载的海报会有问题就是海报破损,无法打开后面是我跟新的#!/usr/bin/env python-- coding: utf-8 --@Time : 2019/6/10 22:35@Author : LJ@Site :@File : doubantest.py@Softwar...原创 2019-06-22 20:40:06 · 506 阅读 · 0 评论 -
如何利用request和正则表达式获取微博热搜榜
其实这个是很简单的,网上有很多教程,虽然说微博热搜榜是动态数据,但是数据存储确实可以通过HTML来获取https://s.weibo.com/top/summary?Refer=top_hot&topnav=1&wvr=6注意微博是每分钟都跟新的,因此上一分组和下一分钟数据可能不完全相同import reimport requestsfrom requests.exc...原创 2019-07-03 00:18:22 · 585 阅读 · 0 评论 -
python爬去豆瓣网热映电影全部信息以及其海报
#!/usr/bin/env python-- coding: utf-8 --@Time : 2019/6/22 20:59@Author : LJ@Site :@File : db_playing_movie.py@Software: PyCharm‘’’这篇主要是获取豆瓣网正在热映电影网的电影全部信息‘’’import reimport reques...原创 2019-06-25 00:43:18 · 411 阅读 · 0 评论 -
补如何抓取豆瓣网正在热映电影信息以及海报
废话不多说直接上代码#!/usr/bin/env python‘’’这篇主要是获取豆瓣网正在热映电影网的电影全部信息‘’’import reimport requestsfrom requests import RequestExceptionfrom demo01.util import buid_proxyfrom urllib.parse import urlencode...原创 2019-06-30 00:53:22 · 747 阅读 · 0 评论