买东西被坑了？python采集数据详情，不在害怕~

最新推荐文章于 2024-04-26 15:09:14 发布

魔王不会哭

最新推荐文章于 2024-04-26 15:09:14 发布

阅读量914

点赞数 2

分类专栏： python 爬虫文章标签： python 计算机网络

本文链接：https://blog.csdn.net/python56123/article/details/124307828

版权

本文介绍了如何使用Python的requests、re和json库来采集和处理网页数据，并将结果保存到csv表格中，帮助读者更好地理解和应用数据采集。

摘要由CSDN通过智能技术生成

前言

嗨喽！大家好呀，这里是魔王~**

知识点:

requests 发送请求
re 解析网页数据
json 类型数据提取
csv 表格数据保存

开发环境:

python 3.8
pycharm
requests

代码

import requests     # 第三方模块
import re           # 正则 通过规则 搜索对应网页内容
import json
# import csv
import time
import random
import pymysql


def save_sql(title, pic_url, detail_url, view_price, item_loc, view_sales, nick):
    count = pymysql.connect(
        host='49.235.100.87',
        port=3306,
        user='root',
        password='root',
        db='test'
    )
    db = count.cursor()
    sql = f'insert into goods(title, pic_url, detail_url, view_price, item_loc, view_sales, nick) values ("{title}", "{pic_url}", "{detail_url}", {
   view_price}, "{item_loc}", "{view_sales}", "{nick}")'
    db.execute(sql)
    count.commit()
    db.close()


# 伪装
headers = {
   
    'cookie': 'cna=diVbGqmG/CYCAa8APXP4VXR9; lgc=tb668512329; tracknick=tb668512329; th