Python_爬虫
名字太长容易被发现并打死
这个作者很懒,什么都没留下…
展开
-
Python 百度百科关键字定向爬取
输入关键字可以查找与之相关的关键字。 import requests, re from bs4 import BeautifulSoup def getHTMLText(url): try: kv = {"User-Agent": "Mozilla/5.0"} r = requests.get(url, headers=kv) r.enco...原创 2019-08-22 09:16:49 · 339 阅读 · 0 评论 -
Python 视频爬取与存储
可以把视频存到本地,前提是有视频链接,有的还要登录,我还不会/(ㄒoㄒ)/~~。 这里爬取的是MOOC上的视频,也是我学习的地方。 也可以弄个.txt,把链接存进去,程序直接读文件,再想添加链接就不用改程序了 import requests, os urls = {"https://jdvodrvfb210d.vod.126.net/mooc-video/nos/mp4/2017/02/28/10...原创 2019-08-22 09:27:41 · 440 阅读 · 0 评论 -
Python 图片爬取与存储
把链接放到py文件同目录下的.txt文件内,就可以爬取图片了。 import requests, os f = open("图片爬取与存储.txt", 'r') urls = f.readlines() f.close() root = "爬取文件/" for url in urls: url = url.replace('\n', '') path = root + url....原创 2019-08-22 10:52:55 · 313 阅读 · 1 评论