![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
爬虫
糖醋小排♚
这个作者很懒,什么都没留下…
展开
-
python爬虫--数据的存储和读取(CSV,EXCEL)
1.CSV格式得存储和读取 (1)写入 import csv # 需要写入的数据 score1 = ['math', 95] score2 = ['english', 90] # 打开文件,追加a, newline="",可以删掉行与行之间的空格 file= open("score.csv", "a", newline="") # 设定写入模式 csv_write = csv.writer(file) # 写入具体内容 csv_write.writerow(score1) csv_write.wri原创 2020-06-04 21:46:15 · 265 阅读 · 0 评论 -
python爬虫--多协程实战
1.爬取Hi运动得食物信息(热量,链接等),并保存在excel中 # 导入所需的库和模块: from gevent import monkey import gevent,requests,bs4,openpyxl,time from gevent.queue import Queue from openpyxl import load_workbook,Workbook,worksheet #让程序变成异步模式 monkey.patch_all() # 创建队列对象,并赋值给work work = Qu原创 2020-06-02 17:43:37 · 257 阅读 · 0 评论 -
python爬虫--多协程
本文所有皆为单核CPU情况,多进程(多核CPU)有待学习 1.爬取任务量较小时 from gevent import monkey #从gevent库里导入monkey模块。 monkey.patch_all() #monkey.patch_all()能把程序变成协作式运行,就是可以帮助程序实现异步。 import gevent import time import requests #导入gevent、time、requests。 start = time.time() #记录程序开始时间。 url_原创 2020-06-02 16:24:58 · 206 阅读 · 0 评论 -
python爬虫--爬虫定时汇报
1.目标:自动爬取每日的天气,并定时把天气数据和穿衣提示发送到邮箱 第一步:爬取信息 import requests from bs4 import BeautifulSoup headers={'user-agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.87 Safari/537.36'} #封装headers url='http:/原创 2020-06-02 12:25:36 · 895 阅读 · 0 评论