- 博客(5)
- 收藏
- 关注
RSS订阅原创 使用scrapy构建新的FormRequest爬取新发地菜价
import scrapyfrom scrapy.http import FormRequestclass CaijiaSpider(scrapy.Spider): name = 'caijia' #allowed_domains = ['http://www.xinfadi.com.cn/priceDetail.html'] def start_requests(self): self.url = 'http://www.xinfadi.com.cn/ge.
2021-08-27 11:26:02
226
原创 使用超级鹰登录12306网站
12306网站登录界面：https://kyfw.12306.cn/otn/resources/login.html代码如下from selenium.webdriver import Chromefrom selenium.webdriver.common.action_chains import ActionChainsfrom selenium.webdriver.chrome.options import Optionsfrom chaojiying import Chaoj.
2021-08-16 23:07:12
334
原创 验证码识别登录：使用超级鹰（验证码识别第三方包）识别超级鹰网站登录
验证码识别超级鹰网址：超级鹰验证码识别-专业的验证码云端识别服务,让验证码识别更快速、更准确、更强大 (chaojiying.com)注册并微信扫码即可获得1000积分，首先做如图操作生成ID然后下载其第三方开发api python文件点击下载即可，将下载好的python文件chaojiying.py放入你爬虫的代码路径文件夹里，打开并修改最后代码验证码类型超级鹰官方网站里有 ，根据需求对应，这里选择1902即4-6位英文数字关于导入超级鹰，需添加如下代码fro...
2021-08-16 22:04:44
4181
原创 使用selenium爬取艺恩网年度票房（8.16）
网站展示：爬取并保存至csv，代码如下from selenium.webdriver import Chromefrom selenium.webdriver.support.select import Selectimport timeimport csvweb = Chrome()web.get("https://www.endata.com.cn/BoxOffice/BO/Year/index.html")#找到下拉菜单sel_list = web.find_eleme.
2021-08-16 11:50:44
1040
3
原创 python爬取北京新发地菜市场菜价（8.12）
通过学习2021年最新Python爬虫教程+实战项目案例（最新录制）_哔哩哔哩_bilibili，动手实践。发现网站结构已经变更，不能像视频中那样的方式获取价格。可以看到点击页面，网址未发生变化因此看是否采用json传输数据，使用f12开发者调试，可以看出果然数据在json中进一步看Headers信息，可以注意到时post传输方式第四页data信息第五页data信息因此只要改变post中data里的current数据即可实现翻页使用xpath爬取代码如下impo...
2021-08-12 20:41:07
2906
11
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人