纯小白Python爬取东方财富网研报内容并通过机器学习的SVM模型进行文本分析(二)

上文介绍了基本爬虫的一些工作内容和原理和urllib.request库和Requests库,但是我此时还没有开始真正的爬取,在学习完上述内容后,我看了《Python网络数据采集》这本书,了解了正则表达式等内容,同时发现了更好用的几个库,首先是Beautifulsoup这个库。我先把这个库的基本内容放上来,以下是我在挺崔庆才老师讲课的时候留下的学习笔记,直接复制了
Beautifulsoup:灵活又方便的网页解析库,处理高效,支持多种解释器,利用它可以不编写正则表达式来实现网页信息抓取
在这里插入图片描述
在学习完Beautifulsoup之后,我正式开始了爬取研报,但是所有的都可以爬到,唯独研报的那个链接爬不到,我搜索了很多资料才意识到,网页分为静态网页和动态渲染网页,Beautifulsoup只能抓取静态网页,而对于动态网页抓取,我学习了Selenium这个库在这里插入图片描述
在使用这个库的时候,需要环境配置,最暴力的方法放在了图片开头,简单实用。
学习到这里,基本就可以进行爬取了,后面一节我会讲一下一些我遇到的额外内容,有兴趣可以看一下。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值