python 爬取一页商品数据

最新推荐文章于 2023-09-26 10:00:00 发布

sqh_bzbn

最新推荐文章于 2023-09-26 10:00:00 发布

阅读量866

点赞数

分类专栏：爬虫文章标签： python 爬虫 mac os x

本文链接：https://blog.csdn.net/sqh_bzbn/article/details/51334517

版权

本文记录了一次使用Python爬取58同城商品数据的经历，重点讲述了如何应对网站的反扒机制。作者在研究中发现，通过在HTTP Header中添加referer字段可以成功获取数据，揭示了在爬虫过程中注意cookie、referer和user-agent的重要性。

摘要由CSDN通过智能技术生成

python实战第一周大作业：爬取一页商品数据。
直接上运行结果如图：

代码如下：

from bs4 import BeautifulSoup
import requests
import time

url = 'http://bj.58.com/pbdn/0/'
#入口函数
def get_url(url):
    web_data = requests.get(url)
    soup = BeautifulSoup(web_data.text,'lxml')
    links = get_links(soup.select('td.t > a'))