- 博客(3)
- 收藏
- 关注
RSS订阅原创 Selenium控制已打开的浏览器抓取公开跨境电商数据
文章告知请正确使用网页爬虫，不得使用爬虫爬取非法数据，不得影响他人服务器的正常工作。任务目标同事扔给我一个某电商大数据网站，想让我帮忙把后台公开的几千条数据给抓取下来,并将数据保存到Excel中，以便进行数据分析使用。难度分析需要登录网站会员账户，在后台中查看数据。网站已经设置了反爬，模拟登录比较困难。 使用Selenium控制Chrome浏览器，在测试模式下，能够被该网站识别，不能正常登录帐号。 数据需要刷新页面后，才能正常显示。解决方法网上搜索各种隐藏Selenium特
2021-01-02 16:12:19
396
原创 Django填坑笔记1：127.0.0.1拒绝了我们的连接请求
问题复现通过Layer弹出层，添加头像剪辑时，使用了iframe，出现了拒绝连接请求。显示“fail to response data”问题解决1.一开始以为是我自己代码编写错误，不会使用layer弹出层，各种搜索，没有解决问题。2. 在Django settings.py文件中，注释掉下图的代码，问题解决。...
2020-09-27 19:52:54
5563
8
原创 selenium 常用方法汇总
1.设置显示等待，不再使用time.sleep(x)：from selenium.webdriver.common.by import Byfrom selenium.webdriver.support.ui import WebDriverWaitfrom selenium.webdriver.support import expected_conditions as EC#设置显示等待element = WebDriverWait(driver, 10).until(
2020-05-14 23:47:36
149
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人