爬虫
桃花不见秋风
一入IT深似海
展开
-
python爬去豆瓣网电影信息以及海报命名
这篇文章是接着上篇文章的,前段时间太忙未更新,上篇文章说道海报下载及命名,按照上篇文章下载的海报会有问题就是海报破损,无法打开 后面是我跟新的 #!/usr/bin/env python -- coding: utf-8 -- @Time : 2019/6/10 22:35 @Author : LJ @Site : @File : doubantest.py @Softwar...原创 2019-06-22 20:40:06 · 506 阅读 · 0 评论 -
如何利用request和正则表达式获取微博热搜榜
其实这个是很简单的,网上有很多教程,虽然说微博热搜榜是动态数据,但是数据存储确实可以通过HTML来获取 https://s.weibo.com/top/summary?Refer=top_hot&topnav=1&wvr=6 注意微博是每分钟都跟新的,因此上一分组和下一分钟数据可能不完全相同 import re import requests from requests.exc...原创 2019-07-03 00:18:22 · 582 阅读 · 0 评论 -
python爬去豆瓣网热映电影全部信息以及其海报
#!/usr/bin/env python -- coding: utf-8 -- @Time : 2019/6/22 20:59 @Author : LJ @Site : @File : db_playing_movie.py @Software: PyCharm ‘’’ 这篇主要是获取豆瓣网正在热映电影网的电影全部信息 ‘’’ import re import reques...原创 2019-06-25 00:43:18 · 411 阅读 · 0 评论 -
补如何抓取豆瓣网正在热映电影信息以及海报
废话不多说直接上代码 #!/usr/bin/env python ‘’’ 这篇主要是获取豆瓣网正在热映电影网的电影全部信息 ‘’’ import re import requests from requests import RequestException from demo01.util import buid_proxy from urllib.parse import urlencode ...原创 2019-06-30 00:53:22 · 744 阅读 · 0 评论 -
如何利用正则表达式和request抓取豆瓣网热门电视剧并实现翻页
打开https://movie.douban.com/ 地址有变化 注意啊观察 到这里不要以为我找到了热映电影基本信息页了 下面有更多信息加载,你点击一下或出现下面情况 红色部分出现就是以为是动态数据的加载,这个时候建议你打开网页源代码页 view-source:https://movie.douban.com/tv/#!type=tv&tag=热门&sort=recom...原创 2019-06-30 15:16:38 · 638 阅读 · 0 评论