- 博客(7)
- 收藏
- 关注
原创 selenium爬取京东数据(Chrome)
这里就用xpath提取数据就行,但要注意一点就是京东页面跳转有时候会出现数据加载失败,导致数据无法更新,此时要分别定位最上面和最下面的两个重试按钮并点击。每一页的数据可能会爬得不是很全,会少那么几个。那是因为是网站的问题,会有几个商品的数据一直会加载不出来。标题和评论我用了函数式写法,string(.)是获取该标签写的所有内容,因为有些内容不在同一个标签里。原理就是执行JavaScript模拟鼠标滚动。效果如下(只展示了部分数据)
2024-06-29 00:24:52
695
原创 实现一个简单的DBUtil工具类(Python)
pymysql操作mysql,虽然简单,但每次都要链接数据库,获取cursor,关闭cursor,关闭链接。这些操作无技术含量,还要重复编写!我们应该想法提高开发效率。下面提供一个简易的DBUtil工具类,帮我们解决代码繁琐问题。
2024-06-28 19:23:45
178
原创 selenium爬取虎牙(Chrome版)
如果是在终端中打印数据有时候只打印了第一页数据,后面的数据没有打印出,可以试试js注入。爬取英雄联盟页面 主播数据。
2024-06-23 18:33:54
308
原创 使用selenium库在必应进行自动输入搜索(Chrome版)
很多初学者可能使用selenium在必应上搜索时无法搜索,原因是现在的必应有个广告图片挡住了搜索框,需要在搜索前把它关掉。
2024-06-22 20:34:28
289
原创 fake_User-Agent.json文件
https://blog.csdn.net/h1773655323/article/details/119924206
2024-06-19 23:06:13
102
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人