![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
爬虫
文章平均质量分 92
杰公子
新手
展开
-
分析AJAX的爬虫项目:腾讯新闻
腾讯新闻腾讯新闻网页是标准的ajax加载网页,我们要通过chrome的开发者工具,监控网络请求,并分析。目标是爬取https://news.qq.com/ 的热点精选 ,“热点精选”至少爬50个出来,存储成csv 每一行至少包括标号(从1开始),标题,链接,…。requests和selenium各来一遍~requests:首先观察“热点精选”的js,有三个变化的参数,其中expIds像是每...原创 2020-04-27 15:59:47 · 421 阅读 · 1 评论 -
维护简单ip池,selenium自动化,session和cookie
IP网站为了防止被爬取,会有反爬机制,对于同一个IP地址的大量同类型的访问,会封锁IP,过一段时间后,才能继续访问,有几种简单的应对套路:1.修改请求头,模拟浏览器(而不是代码去直接访问)去访问2.采用代理IP并轮换3.设置访问时间间隔这是一个ip网站,https://www.xicidaili.com/`使用代理格式proxies的格式是一个字典proxies = {‘http’:...原创 2020-04-25 19:02:56 · 1524 阅读 · 2 评论 -
爬虫打卡2之定位工具xpath、bs4、re学习总结
xpathXPath即为XML路径语言(XML Path Language),它是一种用来确定XML文档中某部分位置的语言。在XPath中,有七种类型的节点:元素、属性、文本、命名空间、处理指令、注释以及文档(根)节点。XML文档是被作为节点树来对待的。XPath和CSS选择符十分相像!但XPath有更强大的地方,比如它可以定位到body元素下具体位置上的p或可以选择前N个p:body/p[...原创 2020-04-23 19:44:32 · 585 阅读 · 1 评论