![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
爬虫
文章平均质量分 50
介绍爬虫小项目
Haohao+++
大学本科在读的喜欢研究的程序猿
展开
-
scrapy_爬取天气并导出csv
爬取xxx天气 爬取网址:https://tianqi.2345.com/today-60038.htm 安装 pip install scrapy 我使用的版本是scrapy 2.5 创建scray爬虫项目 在命令行如下输入命令 scrapy startproject name name为项目名称 如,scrapy startproject spider_weather 之后再输入 scrapy genspider spider_name 域名 如,scrapy genspider chang原创 2021-11-10 13:30:40 · 1876 阅读 · 3 评论 -
requests使用re爬取腾讯体育新闻
简介 爬取新闻标题 1. 安装 pip install request pip install fake_useragent 2. 演示 进入网址,查看网页源代码 找到标题界面,根据li标签的特征使用re匹配 代码演示 import requests from fake_useragent import UserAgent # 伪装请求头的库 import re url = 'http://sports.qq.com/' # 腾讯体育新闻网址 headers = {'User-A原创 2021-10-14 17:08:14 · 1193 阅读 · 4 评论