python爬虫
一些爬虫案例
钱甫新
just do it.
展开
-
Python 爬取豆瓣电影、书籍、音乐Top250
成果源码import requestsfrom bs4 import BeautifulSoupfrom WebWorm.RandomHeader import getRandomHeader# 根据url返回HTML内容def parse(url): # 设置随机头 headers = {"user-agent": getRandomHeader()} # 请求URL request = requests.get(url, headers=header原创 2021-02-20 19:42:03 · 783 阅读 · 0 评论 -
Python 爬取微博、百度实时热点
成果代码import timefrom WebWorm.RandomHeader import *import requestsfrom bs4 import BeautifulSoup# 爬取微博实时热事def weiBo(): # 微博热搜URL url = 'https://s.weibo.com/top/summary' # 随机头 headers = {"User-Agent": getRandomHeader()} # 请求网页原创 2021-02-15 00:10:35 · 950 阅读 · 1 评论 -
Python 爬取毒鸡汤、甜言蜜语等话语
成果源码import requestsimport timefrom WebWorm.RandomHeader import *# 下载口吐芬芳的话语def downloadAbuse(): download('https://nmsl.shadiao.app/api.php?level=min&lang=zh_cn', '口吐芬芳')# 下载拍马屁的话语def downloadPraise(): download('https://chp.shadiao原创 2021-02-13 21:40:13 · 1048 阅读 · 2 评论 -
Python 爬虫的小案例(男性福利)
此demo来自某个博客,自己改善了一点代码。而且时间久了不记得URL了,所以没法献上原文URL。(向作者致歉)如果侵权,立马删除。不多bb了 直接上成果和源码import osimport randomimport sslimport timessl._create_default_https_context = ssl._create_unverified_contextimport urllib.requestimport requestsfrom bs4 import Be原创 2020-07-07 19:30:22 · 5098 阅读 · 3 评论 -
fake_useragent的所有header
为了方便以后随机header的使用,我把fake_useragent中几乎所有的header提取出来了,有250个header。提取header代码from fake_useragent import UserAgent# 实例化ua = UserAgent(use_cache_server=False)# 存放header的数组a = []# 循环100w次提取headerfor i in range(1000000): # 获得随机header header = u原创 2021-01-23 16:44:51 · 463 阅读 · 0 评论