大数据实战
文章平均质量分 64
illusionbigdata
21大数据 25fall
展开
-
selenium爬取TapTap评论
上一篇写的beautifulsoup和request爬取出的结果有误。首先,TapTap网页以JS格式解析,且评论并没有“下一页”,而是每次加载到底部就要进行等待重新加载。我们需要做的,是模仿浏览器的行为,所以这里我们用Selenium的方式爬取。原创 2024-05-10 10:51:51 · 613 阅读 · 0 评论 -
Python大数据实践:selenium爬取京东评论数据
Selenium是广泛使用的模拟浏览器运行的库,用于Web应用程序测试。Selenium测试直接运行在浏览器中,就像真正的用户在操作一样,并且支持大多数现代 Web 浏览器。原创 2024-03-18 19:27:06 · 1366 阅读 · 7 评论 -
爬取“求是网”的文章标题和链接
【代码】爬取“求是网”的文章标题和链接。原创 2024-03-18 19:33:18 · 151 阅读 · 0 评论 -
BeautifulSoup库TapTap评论爬虫
最近在写关于评论数据主题建模和情感分析的作业,本来想用八爪鱼直接爬TapTap的评论数据,但是自动识别网页总是定位错误,还是回归BeautifulSoup和Request来进行评论内容的爬取,具体操作步骤如下。原创 2024-05-06 18:47:48 · 819 阅读 · 1 评论