web spider
鹿灏楷silves
不要人夸颜色好,只留清气满乾坤
展开
-
go-colly入门+案例
我们可以先在文档先了解一下go-collyc.OnRequest(func(r *colly.Request) { fmt.Println("Visiting", r.URL)})//请求之前调用c.OnError(func(_ *colly.Response, err error) { log.Println("Something went wrong:", err)})//请求期间发生错误调用c.OnResponseHeaders(func(r *colly.Respon原创 2021-02-09 14:47:59 · 4276 阅读 · 0 评论 -
Scrapy框架爬虫基本使用流程
爬取数据时,单个数据使用requests或urllib将数据爬取,但是多个url会导致麻烦,使用Scrapy框架一次性爬取多个页面使用scrapy startproject [项目名称]在使用命令创建完成之后进入项目文件夹,创建爬虫scrapy genspider [爬虫名称] 爬虫域名在项目中的spiders中查看刚刚创建的爬虫我们需要将存储到的数据存储到本地,需要编写items...原创 2020-04-19 19:37:04 · 3335 阅读 · 0 评论 -
关于反爬虫报错418处理
如果正常爬虫import requestsimport timefrom bs4 import BeautifulSoupurl='https://blog.csdn.net/Xiang_lhh/article/details/104940609'resp=request.get(url)bs=BeautifulSoup(resp,'lxml')#使用beautifulsoup解析返回...原创 2020-04-07 20:35:13 · 6344 阅读 · 3 评论