![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
scrapy
networksu
这个作者很懒,什么都没留下…
展开
-
python之scrapy:第一只spider
学习python一直的方向是想成为数据分析方向发展,但是数据分析是那种自己想学却比较需要环境的工作。一般在家自己学习数据分析得有很多的数据。那不如先从python最著名的爬虫功能学起。 首先先从身边的自己进行需要的数据开始抓取,最终选择了深圳房地产信息系统,这是个对外的查询房产信息的系统。包括了房产的楼号、面积、产权信息。这些数据即贴近生活又有分析价值。ok,开...原创 2018-12-21 13:14:54 · 473 阅读 · 0 评论 -
python之scrapy:攻克技术点ASP.NET分页处理、request和response传参、pipeline区分传来Items
上面一篇介绍了scrapy抓取的大概架构,此篇文章针对一些技术问题进行展开说明。一、如何处理ASP.NET分页 我们还是深圳房地产信息系统为例, 因为之前一直是写ASP.NET的,.NET很多控件都是通过拖拽实现。很多代码可以省去编写过程,都是自动生成的。这里的下一页操作就是通过自动生成的js代码,scrapy框架是不能执行JS代码。但我们清楚他执行了_doPostBack函数,...原创 2018-12-21 14:53:39 · 3037 阅读 · 1 评论