- 博客(10)
- 收藏
- 关注
RSS订阅原创 Scrapy-fake-useragent
pip install scrapy-fake-useragentDOWNLOADER_MIDDLEWARES = { 'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware': None, 'scrapy.downloadermiddlewares.retry.RetryMiddleware': None, 'scrapy_fake_useragent.middleware.RandomUserAgentMiddleware':
2024-07-11 15:07:48
113
原创 selenium爬取京东数据（Chrome）
这里就用xpath提取数据就行，但要注意一点就是京东页面跳转有时候会出现数据加载失败，导致数据无法更新，此时要分别定位最上面和最下面的两个重试按钮并点击。每一页的数据可能会爬得不是很全，会少那么几个。那是因为是网站的问题，会有几个商品的数据一直会加载不出来。标题和评论我用了函数式写法，string(.)是获取该标签写的所有内容，因为有些内容不在同一个标签里。原理就是执行JavaScript模拟鼠标滚动。效果如下（只展示了部分数据）
2024-06-29 00:24:52
895
原创 实现一个简单的DBUtil工具类（Python）
pymysql操作mysql，虽然简单，但每次都要链接数据库，获取cursor，关闭cursor，关闭链接。这些操作无技术含量，还要重复编写！我们应该想法提高开发效率。下面提供一个简易的DBUtil工具类，帮我们解决代码繁琐问题。
2024-06-28 19:23:45
187
原创 selenium爬取虎牙（Chrome版）
如果是在终端中打印数据有时候只打印了第一页数据，后面的数据没有打印出，可以试试js注入。爬取英雄联盟页面 主播数据。
2024-06-23 18:33:54
321
原创 使用selenium库在必应进行自动输入搜索（Chrome版）
很多初学者可能使用selenium在必应上搜索时无法搜索，原因是现在的必应有个广告图片挡住了搜索框，需要在搜索前把它关掉。
2024-06-22 20:34:28
299
原创 fake_User-Agent.json文件
https://blog.csdn.net/h1773655323/article/details/119924206
2024-06-19 23:06:13
105
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人