- 博客(21)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Django学习笔记（十九）:测试文件（text.py）
测试的作用就不多说了，因为我也不知道，哈哈哈哈或或上代码，看效果忘了说一个重要的事情就是，这里的测试数据在一个临时的数据表中存储，不会在数据表中生成from django.test import TestCasefrom .models import Categoryclass CategoryMethodTests(TestCase): def test_ensure...
2018-08-30 19:23:49
940
原创 Django学习笔记（二十五）:Froms表单的使用
在学习Froms表单提交数据前，我一直是直接将数据提交到models模块（ORM）,学习到表单提交数据时，方才知道其便利之处。本章说明如何通过 Web 表单捕获数据。Django 提供的表单处理功能简单明了，根据 Django 文 档，通过这个功能可以做到：➊ 自动生成 HTML 表单的小组件（例如文本字段或ǿ期选择器）；➋ 检查提交的数据是否满足验证规则；➌ 遇到验证错误时重新显...
2018-08-30 10:33:53
1888
原创 MySQL学习笔记（六）:MySQL事务
mysql> create database shiwu charset=utf8; #创建数据库Query OK, 1 row affected (0.00 sec)mysql> use shiwu;Database changedmysql> create table runoob_transaction_test(id int(5)) engine=innodb...
2018-08-29 09:42:43
178
原创 Python常用又易遗忘的函数归纳（遇到一个存一个）
isinstance(object, classinfo)Python 中的isinstance函数，isinstance是Python中的一个内建函数。是用来判断一个对象的变量类型。示例：L=[1,3,'a']if type(L) == type([]): print("L is list")if type(L) == list: print("L is lis...
2018-08-28 15:50:47
531
原创 Spider学习笔记（十一）:获取图片并下载
话不多说，上代码# -*- coding:utf-8 -*-'''@Time : 2018/8/20 9:10@Author : Fate@File : house.py'''import requestsimport lxmlfrom lxml import etreeimport jsonimport timeheaders = { "U...
2018-08-23 17:16:55
367
原创 Spider学习笔记（十）:一个Scrapy框架实战操作
爬取目标：爬取某论坛评论中的所有邮箱首先，创建Scrapy工程和项目在cmd命令中输入如下命令：scrapy startproject tianya（工程名）scrapy genspider mytianya "bbs.tianya.cn"(生成mytianya.py文件)(爬取的域名范围)在工程目录下生成一个start.py文件，方便程序的运行，并编写一下内容在文件...
2018-08-22 21:07:55
393
原创 Spider学习笔记（九）:Scrapy框架的基础操作
Scrapy 框架 Scrapy是用纯Python实现一个为了爬取网站数据、提取结构性数据而编写的应用框架，用途非常广泛。 框架的力量，用户只需要定制开发几个模块就可以轻松的实现一个爬虫，用来抓取网页内容以及各种图片，非常之方便。 Scrapy 使用了 Twisted(其主要对手是Tornado)多线程异步网络框架来处理网络通讯，可以加快我们的下载速度，不用自己去实现异步...
2018-08-22 19:40:35
2093
原创 Spider学习笔记（八）:matplotlib
暂时没有实际运用过，就随便跑跑看import matplotlibfrom matplotlib import pyplot as plt # 绘图# 显示中文matplotlib.rcParams["font.sans-serif"] = ["simhei"] # 配置字体matplotlib.rcParams["font.family"] = "sans-serif"#...
2018-08-21 18:58:56
773
原创 Spider学习笔记（七）:词云（wordcloud）
先看一下实现效果实现代码import jiebafrom PIL import Image # 图片处理import numpy as np # 科学运算from wordcloud import WordCloud, STOPWORDS # 词云import matplotlibfrom matplotlib import pyplot as plt # 绘图...
2018-08-21 18:56:53
735
原创 Spider学习笔记（六）:爬虫部署
在云服务创建一个虚拟环境```pythonvirtualenv envnamesource 进入虚拟环境安装scrapyd pip install scrapyd安装scrapy pip install scrapy安装scrapy pip install requests启动命令 scrapyd 需要改一下配置find -name default_scrap...
2018-08-20 13:51:36
576
原创 Spider学习笔记（五）:抓取51所有城市所有招聘信息（每个城市的每一页）
import requestsimport lxmlfrom lxml import etreeheaders = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36"...
2018-08-18 11:31:45
307
原创 Spider学习笔记（四）:将爬取数据存入数据库
import pymysqlconn = pymysql.connect(host='127.0.0.1',user='root',password='123456', database='world',port=3306,charset='utf8')#游标cur = conn.cursor()#读取with open('tencen...
2018-08-17 10:53:50
1287
原创 Spider学习笔记（三）:抓取51招聘岗位信息
import requestsimport lxmlfrom lxml import etreeheaders = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36"...
2018-08-16 21:25:49
251
原创 Spider学习笔记（二）:抓取51招聘城市信息
import requestsimport lxmlfrom lxml import etreeheaders = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36"...
2018-08-16 21:24:59
217
原创 Spider学习笔记（一）:xpath基础操作
# XPathXPath即为XML路径语言，它是一种用来确定XML（标准通用标记语言的子集）文档中某部分位置的语言。XPath基于XML的树状结构，有不同类型的节点，包括元素节点，属性节点和文本节点，提供在数据结构树中找寻节点的能力。# 什么是 XPath?- XPath 使用路径表达式在 XML 文档中进行导航- XPath 包含一个标准函数库- XPath 是 XSLT 中的主要元...
2018-08-16 17:49:42
773
原创 Django学习笔记（二十四）:Celery里的定时任务
定时任务在settings.py中添加定时任务配置CELERYBEAT_SCHEDULE = { #任务名称，长度不限，尽量详细说明 'every-10-seconds-run-first_task':{ #第一个参数(homework)指app名， #第三个参数(first_task)指调用tasks.py下的哪一个方法 ...
2018-08-07 16:22:26
1225
原创 Django学习笔记（二十三）:Celery异步操作发送邮件
异步操作发送邮件在settings.py里添加邮箱配置from os import environ# 邮件配置EMAIL_USE_SSL = TrueEMAIL_HOST = 'smtp.qq.com' # 如果是 163 改成 smtp.163.comEMAIL_PORT = 465EMAIL_HOST_USER = environ.get("EMAIL_SENDER...
2018-08-07 14:35:15
1572
原创 Django学习笔记（二十二）:Celery简介和实现基础的异步操作
Celery简介Celery是一个基于python开发的分布式异步消息，通过他可以轻松的实现任务的异步处理应用异步调用：那些用户不关心的但是又存在在我们API里面的操作，我们就可以用异步调用的方式来优化（例如发送邮件，头像上传）定时任务：定期去统计日子，数据备份，或者其他的统计任务 Celery的相关概念task需要执行的任务worker负责干活的小弟b...
2018-08-07 10:58:29
293
原创 Token的介绍
基本概念 Token 的中文意思是“令牌”。主要用来身份验证。 Facebook，Twitter，Google+，Github 等大型网站都在使用。比起传统的身份验证方法，Token 有扩展性强，安全性高的特点，非常适合用在 Web 应用或者移动应用上。 验证方法 使用基于 Token 的身份验证方法，在服务端不需要存储用户的登录记录。大概的流程是这样的： 1. ...
2018-08-06 15:50:48
1679
原创 Django学习笔记（二十一）:自定义管理工具
自定义管理工具使用场景当系统给我们提供的objects不满足你全部需求的时候，你可以定义一个管理类比如：我需要经常给木叶村添加忍者使用方法在models.py代码写一个继承models.Manager的一个类，在这个类里写自己额外的需求#实现迅速生成木叶村的忍者class StudentManager(models.Manger): def create_s...
2018-08-01 20:26:40
341
原创 Django学习笔记（二十）:model模型查询
查询集查询集表示从数据库获取的对象集合查询集科研有多个过滤器 过滤器返回查询集的方法称为过滤器过滤器就是一个函数，基于所给的参数限制查询集结果all() 返回所以数据filter() 返回符合条件的数据exclude() 过滤掉符合条件的数据values() 一条数据就是一个字典，返回一个列表get() 返回一个满足条件的对象first()...
2018-08-01 16:56:22
591
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人