- 博客(2)
- 收藏
- 关注
原创 关于萌新们在python爬虫中遇到的一些奇奇怪怪的问题解决建议
python注重代码的阅读性,让代码看起来整洁美观,所以python是一门优雅的,简洁的,让人眼前一亮的高级语言.‘’ import requests‘’ url = “https://www.baidu.com”‘’ response = requests.get(url)代码意义简单明了,导入请求模块,利用请求库中的get请求向目标网站发送请求,获取目标网站的响应数据。这是爬虫的基础请求模块。所以总而言之,刚进python界的萌新们应该是轻松愉
2021-04-19 16:13:14
450
2
转载 多线程采集 web of science项目总结
第一次写文章,望各位大佬看到有什么不好的地方,多指正,少批评( ̄ェ ̄;)。下面就是项目的总体思路哦,其实在使用这个完整的项目的时候,也写了一个同一个网站代码,但是需求不同,完成的项目是针对详情页,表单参数请求,加上xpath和beautifulsoup解析HTML定位网页标签数据,最后通过csv添加标题,保存对应的数据的思路,所以相对而言代码比较简单,但是网页限制就是会封账号,你的VPN账号!好像抓取的慢就不会被封,因为之前被封的账号都是在加了5个多线程下被封,后面的这个账号一直稳稳的抓取,没有被封,这是
2021-04-10 17:01:57
251
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人