- 博客(7)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 [requests]3.3.4、作业(爬取肯定及的餐厅信息)
import requestsimport mathimport jsondef spider1(): url = 'http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=keyword' location = input("请输入你要查询的位置：") ''' 需要表单提交的数据， - keyword表示搜索的关键字(也就是地址) - pageIndex表示页面索引，第几页
2020-11-06 09:37:09
91
原创 [requests]爬取指定词对应的搜索结果
import requestsdef spider1(): ## 输入要检索的内容 words = input("输入要搜索的内容：") ## url地址 url = "https://www.sogou.com/web" ## 传递get请求的参数 param = { "query":words } ## 头部信息，User-Agent伪装 headers = { "User-Agent":'Mozi
2020-11-05 19:14:32
361
原创 [requests]爬取搜狗首页数据，并保存为html
## 导入requestsimport requestsdef spider1(): ## 使用requests的get请求方法，请求搜狗引擎的首页 response = requests.get(url="https://www.sogou.com/") ## 打印输出首页的内容 print(response.text) ## 保存为sogou.html with open("./sogou.html","w+",encoding="utf-8") as
2020-11-05 19:11:10
544
原创 scrapy爬虫 bilibili舞蹈区宅舞部分
下面展示一些 内联代码片。import scrapyimport jsonfrom scrapy_01.items import Bilibili_danceItem''' 爬取bilibili舞蹈区宅舞部分， 按照时间排序，抓取一页20条，100页用于测试 爬取标题、简介、作者名字、bv号 其他的没取。'''class BilibiliDanceSpider(scrapy.Spider): name = 'bilibili_dance' allowed
2020-11-03 20:46:06
342
原创 scrapy保存图片、音频
##爬取图片要用到的类from scrapy.pipelines.images import ImagesPipelineclass bilibili_dancePipeline(ImagesPipeline): ##重写get_media_request方法，请求图片链接 def get_media_requests(self, item, info): yield scrapy.Request(item['pic'],meta={'bvid':item['bvid']
2020-11-03 20:31:57
260
1
原创 使用idea，Spark读取json
使用idea，Spark读取json普通读取import org.apache.spark.sql.SparkSessionobject r11_26_2 { def main(args:Array[String]):Unit= { val session =new SparkSession.Builder().appName("").master("local").getOrC...
2019-11-27 10:11:21
569
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人