排序:
默认
按更新时间
按访问量

scrapy中使用CrawlSpider,匹配不到urls

scrapy中使用CrawlSpider,匹配不到urls,并且报如下错误: [scrapy.spidermiddlewares.offsite] DEBUG: Filtered offsite request to 'www.xinpianchang.com': <GET...

2018-03-30 17:13:09

阅读数:54

评论数:0

scrapy分布式爬虫

scrapy_redis scrapy是一个通用的爬虫框架,但是不支持分布式,scrapy_redis是为了更方便的实现scrapy分布式爬取,而提供了一些以redis为基础的组件(仅有组件)。 scrapy_redis工作原理: 调度器将不再负责Url的调度,而是将url上传...

2018-03-29 20:31:45

阅读数:179

评论数:0

scrapy爬取数据之后,如何存入mysql

pipelines.py文件中新建MySQLPipeline类: # 导入库 from scrapy.utils.project import get_project_settings import pymysql # 写入数据库 class MySQLPipeline(object): ...

2018-03-29 17:48:06

阅读数:128

评论数:0

scrapy爬取豆瓣电影

刚看了scrapy框架,就想写个小项目练练手,刚好最近的一个django项目缺少电影推荐的信息,自然就想到了去爬取豆瓣电影的数据,爬取的url是https://movie.douban.com/top250 新建项目命令: scrapy startproject doubanMovie...

2018-03-27 22:30:13

阅读数:108

评论数:0

VisualStudio2017专业版和企业版激活密钥

VS2017专业版和企业版激活密钥 Enterprise: NJVYC-BMHX2-G77MM-4XJMR-6Q8QF Professional: KBJFW-NXHK6-W4WJM-CRMQB-G3CDH

2018-03-26 14:03:22

阅读数:1862

评论数:2

常见浏览器User-Agent

下面是工作中需要用到的常见浏览器User-Agent字符串的收集整理。 Opera Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537...

2018-03-19 16:43:57

阅读数:227

评论数:0

python爬虫学习1

爬虫 爬虫概览 什么是爬虫 生活角度:spider-projection(爬虫程序) 互联网爬虫:一个程序,根据url爬取网页,获取有用信息 核心:爬取网页 + 解析数据 难点:爬虫与反爬虫之间的博弈 爬虫语言 php:多进程和多线程支持不好 java:python爬...

2018-03-19 16:40:48

阅读数:56

评论数:0

django中使用自定义过滤器和自定义标签

自定义过滤器 首先在app底下新建一个templatetags目录,里面添加两个文件,目录结构如下: 然后在settings.py中把templatetags目录作为app注册 INSTALLED_APPS = [ 'django.contrib.admin', 'd...

2018-03-16 10:21:32

阅读数:90

评论数:0

如何在django的admin后台管理中显示多对多字段的值

# admin.py,其中Author表中的authors字段和Book表是多对多关系 from django.contrib import admin from .models import Author, Book, Publisher @admin.register(Book) clas...

2018-03-15 23:13:38

阅读数:316

评论数:0

python:使用装饰器实现单例模式

单例模式:一个类,在整个项目运行周期内只有一个实例。 # 使用装饰器实现单例模式 def singleton(cls, *args, **kwargs): instance = {} def _instance(): if cls not in instance:...

2018-03-14 19:07:29

阅读数:78

评论数:0

python装饰器

python装饰器就是用于扩展原函数功能的一种函数,这个函数特殊的地方就是它的返回值也是一个函数,使用Python装饰器的一个好处就是:在不需要修改原函数代码的情况下,给函数增加新的功能。 先来看个例子: def say(): print('Nice day') say() # ...

2018-03-14 17:46:39

阅读数:72

评论数:0

Python:互换字典的键值对

1.zip dic = {'a':1, 'b':2, 'c':3} dic_new = dict(zip(dic.values(), dic.keys())) print(dic_new) # {1: 'a', 2: 'b', 3: 'c'} 2.循环 dic = {'a':1, 'b'...

2018-03-13 19:12:13

阅读数:312

评论数:0

如何用命令行将本地项目上传到git

(先进入项目文件夹)通过命令把这个目录变成git可以管理的仓库 git init 2.把文件添加到暂存区里面,不要忘记后面的小数点“.”,意为添加文件夹下所有文件 git add . 3.把文件提交到仓库,引号内为提交说明 git commit -m "Dand...

2018-03-12 19:28:50

阅读数:40

评论数:0

centos下用uwsgi + nginx + mysql部署django项目

centos上安装python、nginx以及uwsgi各种相关依赖就不再赘述,详情可见CentOS6.8编译安装Python3.6 + pip + Nginx以及阿里云新手Flask + nginx + uwsgi + ubuntu的完整项目部署教程 测试uwsgi vim ...

2018-03-12 09:27:04

阅读数:88

评论数:0

Django下上传图片后,如何使用图片(路径问题)

在Django下,上传图片就是按照常规流程,这里不再赘述,简要说一下如何将上传后的图片在页面中显示出来。 其实也很简单,就是在settings中设置完MEDIA的相关属性,然后在urlpatterns中设置相关路由,具体代码如下: # settings.py MEDIA_URL = '/u...

2018-03-07 15:41:01

阅读数:236

评论数:0

Bootstrap3里的布局占据100%页面

自定义一个liquid的container类型: .container-liquid { padding-left: 0; padding-right: 0; margin-left: 0; margin-right: 0; }

2018-02-27 20:05:50

阅读数:113

评论数:0

Suspicious Operation Django

I got this error when I put a leading slash in the upload_to definition. BAD pic = models.ImageField(upload_to="/uploads/product_images/"...

2018-02-06 10:15:59

阅读数:44

评论数:0

Django: ImportError: No module named 'corsheaders'

pip3 install django-cors-headers

2018-02-02 15:31:24

阅读数:1084

评论数:0

Django rest framework __str__ returned non-string (type NoneType)

在刚开始设计 测试的时候容易出现这个错误 如果是这样的话就在admin后台把帐号退掉, 然后在进入对应页面就可以了,具体原因也不知道 感觉像是获取用户失败 更新: 在自己写的user模型中 替换了django自带的AbstractUser 然而我又设置了name可以为空,所以返回...

2018-02-01 21:42:26

阅读数:81

评论数:0

Cannot unpack file C:\Users\ADMINI~1\AppData\Local\Temp\pip-ilsapnxq-unpack\simple.htm

今天在安装django rest framework的依赖库时,报了下面的错误: Cannot unpack file C:\Users\ADMINI~1\AppData\Local\Temp\pip-ilsapnxq-unpack\simple.htm (downloaded from C...

2018-02-01 21:14:58

阅读数:558

评论数:2

提示
确定要删除当前文章?
取消 删除
关闭
关闭