python爬虫
文章平均质量分 79
北海樵夫
这个作者很懒,什么都没留下…
展开
-
requests+Google爬取80%网站的思想
requests+Google爬取80%网站的思想 1.requests相比urllib简单了许多,话不多说先来个官网看看:http://docs.python-requests.org/zh_CN/latest/user/quickstart.html 2.pip install requests 3.首先使用Google分析网站的数据,获取url的接口(接口是一个网站数据的真实来源) 举一个简...原创 2019-03-19 14:29:43 · 3870 阅读 · 1 评论 -
python+django三种实现ajax的方法(判断三角形实例)
script实现Ajax 本教程是判断三角型,而使用的ajax,包括script的一种方式,和jquery的两种方式 建立方法(function) 代码实例 {% load static %} <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <titl...原创 2019-04-13 17:32:03 · 1627 阅读 · 0 评论 -
scrapy callback无效
在写scrapy的爬虫文件的时候发现明明设置了callback但无法执行 后来通过网上找到原因 是因为allowed_domains的域和要爬去的域不同所导致 解决办法: 1.把allowed_domains的域填写正确 2删除allowed_domains OK ...原创 2019-06-06 21:59:19 · 2038 阅读 · 0 评论 -
scrapy callback传参
先看代发 from testone.items import TestoneItem class ItcastSpider(scrapy.Spider): name = 'itcast' allowed_domains = ['23us.so']# 网站www后面的字母为域 start_urls = ['https://www.23us.so/files/article/html/43/431...原创 2019-06-06 22:13:02 · 2762 阅读 · 1 评论