![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
爬虫
weixin_45686246
这个作者很懒,什么都没留下…
展开
-
[requests]3.3.4、作业(爬取肯定及的餐厅信息)
import requestsimport mathimport jsondef spider1(): url = 'http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=keyword' location = input("请输入你要查询的位置:") ''' 需要表单提交的数据, - keyword表示搜索的关键字(也就是地址) - pageIndex表示页面索引,第几页原创 2020-11-06 09:37:09 · 91 阅读 · 0 评论 -
[requests]爬取指定词对应的搜索结果
import requestsdef spider1(): ## 输入要检索的内容 words = input("输入要搜索的内容:") ## url地址 url = "https://www.sogou.com/web" ## 传递get请求的参数 param = { "query":words } ## 头部信息,User-Agent伪装 headers = { "User-Agent":'Mozi原创 2020-11-05 19:14:32 · 361 阅读 · 0 评论 -
[requests]爬取搜狗首页数据,并保存为html
## 导入requestsimport requestsdef spider1(): ## 使用requests的get请求方法,请求搜狗引擎的首页 response = requests.get(url="https://www.sogou.com/") ## 打印输出首页的内容 print(response.text) ## 保存为sogou.html with open("./sogou.html","w+",encoding="utf-8") as原创 2020-11-05 19:11:10 · 544 阅读 · 0 评论 -
scrapy保存图片、音频
##爬取图片要用到的类from scrapy.pipelines.images import ImagesPipelineclass bilibili_dancePipeline(ImagesPipeline): ##重写get_media_request方法,请求图片链接 def get_media_requests(self, item, info): yield scrapy.Request(item['pic'],meta={'bvid':item['bvid']原创 2020-11-03 20:31:57 · 260 阅读 · 1 评论 -
scrapy爬虫 bilibili舞蹈区宅舞部分
下面展示一些 内联代码片。import scrapyimport jsonfrom scrapy_01.items import Bilibili_danceItem''' 爬取bilibili舞蹈区宅舞部分, 按照时间排序,抓取一页20条,100页用于测试 爬取标题、简介、作者名字、bv号 其他的没取。'''class BilibiliDanceSpider(scrapy.Spider): name = 'bilibili_dance' allowed原创 2020-11-03 20:46:06 · 342 阅读 · 0 评论