有手就行的python爬虫实战

最新推荐文章于 2024-06-19 17:27:45 发布
最新推荐文章于 2024-06-19 17:27:45 发布
阅读量1.1k 收藏
点赞数 2
分类专栏： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45254208/article/details/112642858
版权
该代码示例展示了如何使用Python的requests和PyQuery库爬取知乎探索页面的内容，包括专题分类、文章标签和文章标题，并分别存储为txt、json、csv文件以及存入MySQL数据库。爬取内容后，对数据进行格式化输出，提高可读性。存储部分涵盖了文本、JSON、CSV和数据库四种常见方式，确保数据的有效保存。
摘要由CSDN通过智能技术生成

目录

爬取内容

import requests
from pyquery import PyQuery as pq

category = []   # 存储分类名称
tag = []        # 存储文章标签
title = []      # 存储文章标题
url = 'https://www.zhihu.com/explore'       # 目标URL
headers = {
    'User-Agent': ('Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 '
                   '(KHTML, like Gecko) Chrome/87.0.4280.141 Safari/537.36')
    # 一行写不下的话可以使用括号() ，或者在第一行末尾加上' \'
}
html = requests.get(url, headers=headers).text
doc = pq(html)

# 根据属性名称获取对应的item
item1 = doc('.ExploreSpecialCard-info').items()
item2 = doc('.ExploreSpecialCard-contentTag').items()
item3 = doc('.ExploreSpecialCard-contentTitle').items()

for i in item1:
    category.append(i.text())
for i in item2:
    tag.append(i.text())
for i in item3:
    title.append(i.text())
# 打印结果
print(category)
print(tag)
print(title)

显然，内容获取成功，但是排版不太美观，那就稍做处理，把item1的属性改一下，然后美化输出结果。

import requests
from pyquery import PyQuery as pq

category = []   # 存储分类名称
tag = []        # 存储文章标签
title = []      # 存储文章标题
url = 'https://www.zhihu.com/explore'       # 目标URL
headers = {
    'User-Agent': ('Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 '
                   '(KHTML, like Gecko) Chrome/87.0.4280.141 Safari/537.36')
    # 一行写不下的话可以使用括号() ，或者在第一行末尾加上' \'
}
html = requests.get(url, headers=headers).text
doc = pq(html)

# 根据属性名称获取对应的item
item1 = doc('.ExploreSpecialCard-title').items()
item2 = doc('.ExploreSpecialCard-contentTag').items()
item3 = doc('.ExploreSpecialCard-contentTitle').items()

for i in item1:
    category.append(i.text())
for i in item2:
    tag.append(i.text())
for i in item3:
    title.append(i.text())

# 打印结果
for i in range(len(category)):
    print('专题分类：', category[i])
    for j in range(3):
        print('标签：{}'.format(tag[i*3+j]), end=' ---> ')
        print('标题：{}'.format(title[i*3+j]))
    print('=' * 30)

存储爬取的内容

txt文本存储
import requests
from pyquery import PyQuery as pq

category = []   # 存储分类名称
tag = []        # 存储文章标签
title = []      # 存储文章标题
url = 'https://www.zhihu.com/explore'       # 目标URL
headers = {
    'User-Agent': ('Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 '
                   '(KHTML, like Gecko) Chrome/87.0.4280.141 Safari/537.36')
    # 一行写不下的话可以使用括号() ，或者在第一行末尾加上' \'
}
html = requests.get(url, headers=headers).text
doc = pq(html)

# 根据属性名称获取对应的item
item1 = doc('.ExploreSpecialCard-title').items()
item2 = doc('.ExploreSpecialCard-contentTag').items()
item3 = doc('.ExploreSpecialCard-contentTitle').items()

for i in item1:
    category.append(i.text())
for i in item2:
    tag.append(i.text())
for i in item3:
    title.append(i.text())

# r:只读  w:覆盖写入  a:追加写入  b:二进制形式
file = open('explore.txt', 'w', encoding='utf-8')

# 打印结果
for i in range(len(category)):
    file.write(''.join(category[i]))
    file.write('\n')
    for j in range(3):
        file.write(''.join([tag[i*3+j]]))
        file.write('  --->  ')
        file.write(''.join([title[i*3+j]]))
        file.write('\n')
    file.write('\n' + '='*50 + '\n')

file.close()

json文件存储

json的字符串要用双引号包围，不能用单引号。

import json
data = [{
	'name': '航少',
	'gender': '男',
	'age': 21
}]
with open('data.json', 'w', encoding='utf-8') as file:
    file.write(json.dumps(data, indent=2, ensure_ascii=False))

# loads()与dumps()相对
# indent=2表示json数据缩进的字符个数为2
# encoding 加上 ensure_ascii 用于输出中文

csv文件存储
import requests
import csv
import codecs
from pyquery import PyQuery as pq

category = []   # 存储分类名称
tag = []        # 存储文章标签
title = []      # 存储文章标题
url = 'https://www.zhihu.com/explore'       # 目标URL
headers = {
    'User-Agent': ('Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 '
                   '(KHTML, like Gecko) Chrome/87.0.4280.141 Safari/537.36')
    # 一行写不下的话可以使用括号() ，或者在第一行末尾加上' \'
}
html = requests.get(url, headers=headers).text
doc = pq(html)

# 根据属性名称获取对应的item
item1 = doc('.ExploreSpecialCard-title').items()
item2 = doc('.ExploreSpecialCard-contentTag').items()
item3 = doc('.ExploreSpecialCard-contentTitle').items()

for i in item1:
    category.append(i.text())
for i in item2:
    tag.append(i.text())
for i in item3:
    title.append(i.text())


# r:只读  w:覆盖写入  a:追加写入  b:二进制形式
'''
python3中，write(codecs.BOM_UTF8)必须在以二进制打开文件时才可用
而二进制与我们拿到的数据格式(字符串)不符合
所以将文件分两次打开，第一次改形式防止乱码（用二进制的方式），第二次写数据（用非二进制方式）
'''

# 第一次打开时，解决中文乱码问题
file1 = open('explore.csv', 'wb')
file1.write(codecs.BOM_UTF8)

# 第二次打开时，再写入数据
file2 = open('explore.csv', 'w', newline='')
csv_file = csv.writer(file2)

# 写入数据
csv_file.writerow(['专题分类', '标签', '标题'])
for i in range(len(category)):
    for j in range(3):
        csv_file.writerow([category[i], tag[i*3+j], title[i*3+j]])

file1.close()
file2.close()

如果不分两次打开文件，就会总是报错。

数据库存储
import requests
import pymysql
from pyquery import PyQuery as pq


category = []   # 存储分类名称
tag = []        # 存储文章标签
title = []      # 存储文章标题
url = 'https://www.zhihu.com/explore'       # 目标URL
headers = {
    'User-Agent': ('Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 '
                   '(KHTML, like Gecko) Chrome/87.0.4280.141 Safari/537.36')
    # 一行写不下的话可以使用括号() ，或者在第一行末尾加上' \'
}
html = requests.get(url, headers=headers).text
doc = pq(html)

# 根据属性名称获取对应的item
item1 = doc('.ExploreSpecialCard-title').items()
item2 = doc('.ExploreSpecialCard-contentTag').items()
item3 = doc('.ExploreSpecialCard-contentTitle').items()

for i in item1:
    category.append(i.text())
for i in item2:
    tag.append(i.text())
for i in item3:
    title.append(i.text())

# 连接数据库
db = pymysql.connect(host='localhost', user='root', password='root', port=3306, db='test', charset='utf8')
cursor = db.cursor()
sql1 = 'create table explore (catagory varchar(256) not null, tag varchar(256) not null, title varchar(256) not null)'
sql2 = 'insert into explore (catagory, tag, title) values(%s, %s, %s)'

# 保持事务的一致性
try:
    cursor.execute(sql1)    # 创建数据表
    for i in range(len(category)):
        for j in range(3):
            cursor.execute(sql2, (category[i], tag[i*3+j], title[i*3+j]))
    db.commit()
except Exception as e:
    print('报错信息：', e)
    db.rollback()

db.close()

其他数据库存储

其他的数据库的操作和MySQL差不多，无非具体函数有所差别。

hangshao0.0
关注
  • 2
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
最简单的python爬虫案例，适合入门学习
Yuki1127918的博客
07-08 7705
用python从网页爬取数据，网上相关文章很多，但能让零基础初学者轻松上手的却很少。可能是有的作者觉得有些知识点太简单不值得花费精力讲，结果是难者不会会者不难，初学者常常因此而蒙圈。本人也是小白，刚摸索着爬了两个简单的网页数据，经历了初学者易犯的各种糊涂，特总结分享一下，希望能对小白们有用。python爬网络数据，方法很多。不同的python版本、不同的模块、库，对应代码都不同。所以，在看他人代码时，需要搞清代码环境所用的版本和使用的模块库等信息。因为如果环境不同，相同的代码也可能没用。初学者往往看到一篇文
Python 爬虫的简单实例
wzzzj的博客
10-20 3276
1，爬去百度首页。 import requests as r url="https://www.baidu.com" def pc(url): try: t=r.get(url,headers=kv,timeout=100) t.raise_for_status() t.encoding=t.apparent_encoding return t.text except: return "产生异常" print(p
Python爬虫入门实例：Python7个爬虫小案例（附源码）
最新发布
Candyz7的博客
06-19 3255
通过本文的讲解，相信读者已经对Python爬虫有了较为全面的认识。爬虫技能在数据分析、自然语言处理等领域具有广泛的应用，希望读者能够动手实践，不断提高自己的技能水平。同时，请注意合法合规地进行爬虫，遵守相关法律法规。祝您学习愉快！
python简单爬虫实例
12-29
自动爬取鼠绘上的最新话海贼王漫画 如果本地有最新话则退出程序
python爬虫的简单案例
sky5601的博客
08-04 331
# coding:utf-8 import url_manager import html_downloader import html_parser import html_outputer class SpiderMain(object): def __init__(self): self.urls = url_manager.UrlManager() ...
python爬虫实例
08-15
网络爬虫python实例，利用selenium组件爬取网页元素， 也可以作为网页自动化测试学习脚本
Python爬虫实战：数据采集、处理与分析
12-18
Python爬虫实战：数据采集、处理与分析Python爬虫实战：数据采集、处理与分析Python爬虫实战：数据采集、处理与分析Python爬虫实战：数据采集、处理与分析Python爬虫实战：数据采集、处理与分析Python爬虫实战：数据...
Python爬虫实战+数据分析+数据可视化
06-16
Python爬虫实战+数据分析+数据可视化，高分项目本项目是一套成熟的大作业项目系统，获取98分，主要针对计算机相关专业的正在做大作业的学生和需要项目实战练习的学习者，可作为课程设计、期末大作业。 Python爬虫...
python爬虫实战日记.zip
01-08
python爬虫实战日记.zippython爬虫实战日记.zippython爬虫实战日记.zippython爬虫实战日记.zippython爬虫实战日记.zippython爬虫实战日记.zippython爬虫实战日记.zippython爬虫实战日记.zippython爬虫实战日记....
Python爬虫实战+数据分析+数据可视化源码合集
06-16
Python爬虫实战+数据分析+数据可视化源码合集，高分项目本项目是一套成熟的大作业项目系统，获取98分，主要针对计算机相关专业的正在做大作业的学生和需要项目实战练习的学习者，可作为课程设计、期末大作业。...
PYTHON爬虫_实例
10-30
这个资源包,主要是为了方便,我在日后学习爬虫的时候遇到不懂所需要用到的模板.
Python 爬虫例子
hi_bigguy的博客
06-05 867
学了几天的语法，今天终于开始实战-爬虫，心情有点小激动 本人看的教程主要是： 廖雪峰的Python博客 大家看了都说好 小甲鱼的Python视频教程 小甲鱼的视频都很经典，将的挺有意思，风趣，时不时讲讲荤段子，泡妹纸技巧（滑稽脸），之前看过对应的“C语言入门视频”，“数据结构和算法”都讲的很好，想看的直接百度即可 一. Python 调用网易云翻译进行字符串的翻译 参考博客 这个例子...
Python爬虫实例
小白
03-10 953
#-*-conding:utf-8-*- import urllib.request import re import bs4 #入口url import time url_mian = 'http://tieba.baidu.com/f?kw=%E5%89%91%E7%BD%913&fr=index&fp=0&ie=utf-8&red_tag=q3464037905' #下载网页 d
Python爬虫实例（一）
Suuo1的博客
04-28 1530
python爬虫实例
Python 爬虫 案例
MY_JAVAROAD的博客
04-02 141
import requests; import json; url=“http://hassan.bilibili.co/ruler/rule/query”; Cookie= “username=mazheng%%%%；_AJSESSIONID=01f91531f01a53e11f8f8320bddb5b06”; headers={‘content-type’:“application/json”,“cookie”:Cookie}; data={“page_size”: 100, “page_num”: 1
Python爬虫实战：基础原理与应用
"Python应用之爬虫实战-爬虫...Python爬虫实战课程不仅教授如何编写爬虫程序，还会涵盖网络请求库的使用、数据存储和清洗、反爬虫策略等内容，帮助学员掌握这一强大的数据采集工具，从而在大数据时代占据竞争优势。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值