疯子～-CSDN博客

原创 Python 用django ，celery 实现邮件发送

1.创建一个django项目（如email_celery）2.创建一个app（如app_celery）3.在项目文件settings.py中INSTALLED_APPS里面注册app，并且添加需要用到的celery和send_email相关的语句# celery settingsCELERY_BROKER_URL = 'amqp://root:******@192.**.**.**...

2018-11-26 17:39:25 678

原创 python url安全转码

import stringfrom urllib.request import urlopenfrom urllib.parse import quote# parse 解析 quote 引用# url 不能写中文之所以我们能够在url中看到中文# 是因为浏览器出于用户友好的目的# 但是在url执行的时候中文会被转码# 如果不进行转码程序会出错url = 'http:...

2018-11-20 17:17:42 1532

原创 Python 中if name == 'main': 的作用和原理

1.代码的功能一个python的文件有两种使用的方法，第一是直接作为脚本执行，第二是import到其他的python脚本中被调用（模块重用）执行。因此if __name__ == 'main': 的作用就是控制这两种情况执行代码的过程，在if __name__ == 'main': 下的代码只有在第一种情况下（即文件作为脚本直接执行）才会被执行，而import到其他脚本中是不会被执行的。...

2018-11-13 20:15:57 245

原创 mysql数据库查询优化

前言接下来是查询优化，用户80%的操作基本都在查询，我们有什么理由不去优化他呢？？所以我们将会讲解大量的查询优化（索引以及库表结构优化等高级用法后面再讲），先讲单表查优化，再讲多表查优化。明确搜索优化的整体思路以及查询优化的因素搜索优化的整体思路索引优化，查询优化，查询缓存，服务器设置优化，操作系统和硬件优化，应用层面优化（web服务器，缓存）等等。对于一个整体项目而言只有这些齐头...

2018-10-29 21:50:01 166

原创为什么python更适合写爬虫?

1.抓取网页本身的接口相比与其他静态编程语言，如java，c#，C++，python抓取网页文档的接口更简洁；相比其他动态脚本语言，如perl，shell，python的urllib2包提供了较为完整的访问网页文档的API。此外，抓取网页有时候需要模拟浏览器的行为，很多网站对于生硬的爬虫抓取都是封杀的。这是我们需要模拟user agent的行为构造合适的请求，譬如模拟用户登陆、模拟ses...

2018-10-29 21:47:03 4067 1

转载 Python get和post的区别

本文转载自https://www.jianshu.com/p/7b9b44e850c8-------------------------------------------------------------------------------------------------------------------------------------------------GET和PO...

2018-10-29 21:18:19 2995

原创创建虚拟环境并进入

1.创建一个文件夹 mkdir (文件夹名)输入dir 查看当前目录创建文件夹成功2.创建虚拟环境查看文件夹内部3.进入虚拟环境先进入scripts内 dir查看目录 activate激活虚拟环境即成功进入虚拟环境 ...

2018-10-19 14:43:31 2913

原创 Centos 7 下部署Django + uWSGI + Nginx

环境：Python: 3.6Django: 2.1OS: CentOS 7 x86_64uwsgi: 2.0.17安装Python3.6 不要删除自带的python2.7，否则会出问题，因为centos许多软件需要依赖系统自带python 安装依赖工具 yum install openssl-devel bzip2-devel expat-devel gdbm-...

2018-10-17 11:39:18 164

原创编码规范

# PEP8规范（一）代码的编排1、缩进。每行需要4个空格的缩进，不要使用Tap键，更不能混合使用Tap键和空格。2 、每行最大长度79，换行可以使用反斜杠，但最好使用圆括号。换行点要在操作符的后边敲回车。3 、类和top-level函数定义之间空两行；类中的方法定义之间空一行；函数内逻辑无关段落之间空一行；其他地方尽量不要再空行。（二）文档的编排1、模块内容的顺序：模块说明...

2018-10-16 15:40:22 136

原创 django 简单过滤器

1.创建完django项目并完成settings.py基本操作2.在app中创建文件templatetags，并在此内部创建过滤器文件，myfilter.py然后注册并设置过滤器限制条件及输出情况from django.template import Libraryregister = Library()# 过滤器后面写名字如果名字不写默认为函数名字# reg...

2018-09-14 14:58:58 123

原创 django分页系统

1.创建项目并在settings.py 设置和其他基本操作2.往数据库里添加数据，此次数据库用的是mysql数据库，如果使用mysql数据库，要注意 ①在创建的工程文件中的init文件中要引入mysqlimport pymysqlpymysql.install_as_MySQLdb() 而且在settings.py中为数据库设置相关信息DATABASES =...

2018-09-12 22:38:10 176

django 输入城市名称获取相应城市即将上映电影

1.在views.py中from django.shortcuts import renderimport requests# Create your views here.from django.http import HttpResponsedef myMovie(request): # return render(request,'index.html') #...

2018-09-06 21:34:52 333

原创 node js基础以用户注册登录为例

1.安装包下载地址：32 位安装包下载地址 : https://nodejs.org/dist/v4.4.3/node-v4.4.3-x86.msi 64 位安装包下载地址 : https://nodejs.org/dist/v4.4.3/node-v4.4.3-x64.msi2.安装完成，在终端输入指令，验证是否安装成功两种方法都可以1. node -v...

2018-08-29 20:19:32 2027

原创续 html

1.盒模型padding 内间距默认状态下设置的宽高为内容的宽高，标签的大小 = 内容大小+内间距大小+边框大小内容大小不变的情况下间距和边框越大，则标签越大设置 box-sizing : border-box 以后设置的宽高就为整体的宽高，而不是内容区的宽高内容区的宽高就为整体宽高-内间距-边框所以：设置宽和高为内容区+内间距+边框用 box-sizi...

2018-08-21 22:50:04 88

原创续html

1.自动编号<!DOCTYPE html><html lang="en"><head> <meta charset="UTF-8"> <meta name="viewport" content="width=device-width, initial-scale=1.0"&amp

2018-08-21 22:47:20 131

原创网页制作有关基础知识（html）

1.初识background-color 背景颜色width 宽度hright 高度设置模型：height : 100px ; 用英文中的冒号和分号border 边缘边框组合属性时 border ： 1px dotted black ；值1：线条粗细，值2：线条样式（solid 实线，dotted 虚线），值3：线条颜色span 属于行标签，同时 b...

2018-08-21 22:47:05 1634

原创 Python Redis 安装

1.下载地址：https://github.com/MSOpenTech/redis/releases。Redis 支持 32 位和 64 位。这个需要根据你系统平台的实际情况选择，这里我们下载 Redis-x64-xxx.zip压缩包，解压后，将文件夹重新命名为 redis。2. cmd 打开终端使用cd命令进入redis所在目录，然后运行redis-server redi...

2018-08-13 22:41:42 2161

原创 Python 分布式爬虫

1.什么是分布式爬虫 ①.默认情况下，scrapy爬虫是单机爬虫，只能在一台电脑上运行因为爬虫调度器当中的队列queue 去重和set集合都是在本机上创建的其他的电脑无法访问另一台电脑上的内存的内容 ②.分布式爬虫用一个共同的爬虫程序，同时部署到多台电脑上运行。这样可以提高爬虫速度，实现分布式爬虫2.分布式爬虫的前提：①.要保证每一台计算机都能正常的执行scrapy命令，能够...

2018-08-13 22:12:55 338

原创 Python 用scrapy来发送邮件

1.在emailsender.py 文件中# 目的# 封装邮件发送的逻辑不管哪一个项目或者文件需要发送# 只需要引入这个文件并且实现其方法就能发送邮件import smtplibimport emailfrom email.mime.text import MIMETextfrom email.mime.image import MIMEImagefrom email...

2018-08-10 21:02:27 1262

原创 Python中基本邮件发送

# smtp = simple mail transfer protocol 简单邮件传输协议# lib =libraryimport smtplibimport email # 因为要使用此模块，so当前文件名不能写成email.pyfrom email.mime.text import MIMEText # MIME 多用于邮件扩充协议from email.mime.m...

2018-08-10 20:23:16 187

原创 scrapy里面中间件 middlewares.py的使用

1.from scrapy import signalsfrom selenium import webdriverfrom scrapy.http.response.html import HtmlResponsefrom scrapy.http.response import Responseclass SeleniumSpiderMiddleware(object): ...

2018-08-09 23:10:43 4541

原创保存文件信息到本地并用json形式在pipelines.py中操作用代码实现

1.import codecsimport osimport jsonclass HongxiuPipeline(object): def __init__(self): self.file = codecs.open(filename='book.json',mode='w',encoding='utf-8') self.file.writ...

2018-08-09 22:34:00 416

原创使用scrapy框架进行爬虫需要注意的

1.start_urls 内的网址要补充完整2.在获取数据时，如果我们想要先获取先获取某一整块内容，然后再从此内容中获取单个零碎信息比如 def parse(self, response): ul_list = response.xpath('//ul[@class="post small-post"]') #一小整块 print(ul_lis...

2018-08-09 21:14:17 288

原创获取标签全部文本的方式

1.获取最外层标签，遍历内部所有的子标签，获取标签文本选择贴吧小说吧中的一个为例链接为 https://tieba.baidu.com/p/5815118868?pn=1#找到指定类名的div标签该标签内为贴吧内容和作者的集合体div_list = response.xpath('//div[@class="l_post l_post_bright j_l_post cle...

2018-08-06 20:32:58 1577

原创 scrapy 安装及应用

Scrapy的安装（三种方式）第一种：（1）在命令终端直接输入 conda install scrapy（2）进程中会出现判断是否继续，输入Y 或者按下Enter键即可第二种：（1）升级pip版本：pip install --upgrade pip（2）通过pip安装，在命令终端输入 pip install Scrapy 按下Enter键第三种:scr...

2018-08-01 22:05:22 204

原创线程，线程锁，线程队列-------之（线程锁）（线程队列）

线程锁---1---线程锁：当有一个数据有多个线程都可以对其进行修改的时候，任何一个线程改变它都会对其他线程造成影响，如果我们某一个线程在使用完之前，其他线程不能对其修改，就需要对这个线程增加一个线程锁代码实现count = 0def get_money(money): global count count += money count += money...

2018-08-01 20:53:29 581

原创线程，线程锁，线程队列---------之（线程）

线程--进程与线程的区别进程：每个程序都会有一个进程，负责管理程序各个功能的执行，进程有且只有一个线程：每个进程里至少有一个线程，称为主线程，除此以外还会有其他线程，称为分线程。线程是控制任务执行的最小单位-------进程负责控制各个线程的执行，当程序运行，进程启动，程序关闭，进程结束。--主线程和分线程 1、代码执行默认运行在主线程里面，如果需要执行新的任务，可以开辟...

2018-08-01 20:43:12 1380

原创 selenium驱动程序下载和使用流程

1.下载地址 https://github.com/mozilla/geckodriver/releases进入网址以后并找到点击下载。会出现将其拉至桌面2.chromeDriver Mirror 下载地址 http://npm.taobao.org/mirrors/chromedriver/ 点击2.41/ 进入选择第...

2018-07-30 16:25:35 1915

错误（1）：SyntaxError:'return' outside function解决办法：将return放在方法体中错误（2）SyntaxError: invalid syntax解决办法：在使用+拼接的时候必须使用字符串或者将数字转化为字符串错误（3）IndentationError: unindent does not match any outer indentation leve...

2018-07-10 19:18:51 274

weixin_42660771的博客