![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
python爬虫
文章平均质量分 79
北海樵夫
这个作者很懒,什么都没留下…
展开
-
requests+Google爬取80%网站的思想
requests+Google爬取80%网站的思想1.requests相比urllib简单了许多,话不多说先来个官网看看:http://docs.python-requests.org/zh_CN/latest/user/quickstart.html2.pip install requests3.首先使用Google分析网站的数据,获取url的接口(接口是一个网站数据的真实来源)举一个简...原创 2019-03-19 14:29:43 · 3888 阅读 · 1 评论 -
python+django三种实现ajax的方法(判断三角形实例)
script实现Ajax本教程是判断三角型,而使用的ajax,包括script的一种方式,和jquery的两种方式建立方法(function)代码实例{% load static %}<!DOCTYPE html><html lang="en"><head> <meta charset="UTF-8"> <titl...原创 2019-04-13 17:32:03 · 1632 阅读 · 0 评论 -
scrapy callback无效
在写scrapy的爬虫文件的时候发现明明设置了callback但无法执行后来通过网上找到原因是因为allowed_domains的域和要爬去的域不同所导致解决办法:1.把allowed_domains的域填写正确2删除allowed_domainsOK...原创 2019-06-06 21:59:19 · 2053 阅读 · 0 评论 -
scrapy callback传参
先看代发from testone.items import TestoneItemclass ItcastSpider(scrapy.Spider):name = 'itcast'allowed_domains = ['23us.so']# 网站www后面的字母为域start_urls = ['https://www.23us.so/files/article/html/43/431...原创 2019-06-06 22:13:02 · 2775 阅读 · 1 评论