python爬虫东方财富网_Python爬虫入门:以东方财富网为例

本文介绍了如何使用Python爬虫抓取东方财富网的数据。通过设置环境、发送HTTP请求、解析HTML内容和存储数据,实现了从静态网页获取新闻标题和链接。此外,还探讨了如何抓取JavaScript动态加载的数据,通过分析网络请求获取JS脚本数据并提取所需信息。
摘要由CSDN通过智能技术生成

网络爬虫(Web Spider),根据网页地址爬取网页内容,从而获取各类数据,实现多种多样的功能。下面就以爬取东方财富网的数据为例,谈谈最简单的爬虫的实现。爬虫的核心有三个:请求、解析、存储。

环境配置

Python安装使用Anaconda包,包里已经包含了必须的requests模块

请求html页面

import requests

url = 'http://www.eastmoney.com/'

req = requests.get(url)

html = req.content

这样我们就把html网页的源代码下下来了,我们执行

print(html)

就能把网页显示出来

5ae89abe3d7b?from=singlemessage

image1.PNG

此时,我们发现网页有乱码现象,这是编码的问题,这时我们指定网页的编码

req.encoding = req.apparent_encoding

就会发现网页显示恢复正常了

5ae89abe3d7b?from=singlemessage

image2.PNG

当然,如果我们

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值