![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
爬虫
文章平均质量分 69
Yae Yang
Python爬虫、NLP,html小学生
展开
-
港交所ESG报告爬虫记录贴
按一般思路(比如我之前爬虫上交所和深交所的CSR报告),是设定时间,然后直接进行搜索,设置页面的一些参数,或者获得页数和条目数再一页页去爬虫。这个代码非常常规,就是post请求,设置参数StockId进行遍历爬取就行。不过需要注意的是,遇到一个经常碰到的问题,就是xpath竟然解析不到东西(list out range报错)。在网上搜了一下,发现是因为。于是我自己仔细看了一下源码的结构,自行构造了想爬虫的元素的xpath。原创 2023-04-13 21:42:27 · 1190 阅读 · 1 评论 -
Cloudflare反反爬的几种方式记录
cloudflare反反爬的几种方法原创 2023-05-01 19:10:58 · 944 阅读 · 0 评论