2018年09月_wang068717

原创 python之简单Scrapy分布式爬虫的实现

分布式爬虫：爬虫共用同一个爬虫程序，即把同一个爬虫程序同时部署到多台电脑上运行，这样可以提高爬虫速度。在默认情况下，scrapy爬虫是单机爬虫，只能在一台电脑上运行，因为爬虫调度器当中的队列queue去重和set集合都是在本机上创建的，其他的电脑无法访问另外一台电脑上的内存的内容；想要让多台机器共用一个queue队列和set集合，可以让scrapy结合scrapy_redis来完成。要实现...

2018-09-29 19:36:10 353

在navicat链接mysql以后的版本时，会出现2059的错误，这个错误出现的原因是在mysql8之前的版本中加密规则为mysql_native_password，而在mysql8以后的加密规则为caching_sha2_password。解决此问题有两种方法，一种是更新navicat驱动来解决此问题，一种是将mysql用户登录的加密规则修改为mysql_native_password。本文采用...

2018-09-29 19:14:23 620

原创 Python Django项目URL中包含另外一个urls模块

在我们的项目中，不可能只有一个app，如果把所有的app的views中的视图都放在urls.py中进行映射，肯定会让代码显得非常乱。因此django给我们提供了一个方法，可以在app内部包含自己的url匹配规则，而在项目的urls.py中再统一包含这个app的urls。使用这个技术需要借助include函数。示例代码如下： # first_project/urls.py文件： from dj...

2018-09-28 10:53:50 2498 1

原创 Django项目的基本操作顺序

1.安装django命令:pip install django==2.1.1 2.验证是否安装成功:django-admin --version 3.创建一个文件夹DjangoFirst,cd进来，执行命令:django-admin startproject myFirst 4.执行命令:python manage.py runserver 启动django 5.创建app,django-admi...

2018-09-27 20:50:00 273

原创 Python PEP8规范

（一）代码的编排 1、缩进。每行需要4个空格的缩进，不要使用Tap键，更不能混合使用Tap键和空格。 2 、每行最大长度79，换行可以使用反斜杠，但最好使用圆括号。换行点要在操作符的后边敲回车。 3 、类和top-level函数定义之间空两行；类中的方法定义之间空一行；函数内逻辑无关段落之间空一行；其他地方尽量不要再空行。（二）文档的编排 1、模块内容的顺序：模块说明和docstrin...

2018-09-27 20:46:54 150

原创 Django的安装和简单操作

Django初始 python下有许多款不同的web框架，django是重量级选手中最有代表性的一位。许多成功网站和app都是基于django。 django是一个开放的源代码的web应用框架，由python写成。 django采用MVC的软件设计模式，即模型M，视图V和控制器C. 目前django版本对应的python版本： Django 安装 1.打开终端输入安装django的...

2018-09-03 22:11:54 235

qq_42543254的博客