- 博客(79)
- 收藏
- 关注
RSS订阅转载 一次使用scrapy的问题记录
前景描述:需要获取某APP的全国订单量，及抢单量。由于没有全国的选项所以只能分别对每一个城市进行订单的遍历。爬虫每天运行一次，一次获取48小时内的订单，从数据库中取出昨天的数据进行对比，有订单被抢则更新，无则不操作。(更新逻辑在这里不重要，重要的是爬取逻辑)。每个订单有发布时间，根据发布时间判断，在48小时外的就停止爬取，开始爬取下一个城市。先看第一版:#spider# 构...
2019-09-12 22:01:00
176
转载 Django-查询优化
表数据：from django.db import models class Province(models.Model): name = models.CharField(max_length=10) def __str__(self): return self.name class City(models.Model): name =...
2019-09-07 21:27:00
337
转载 SQLAlchemy基础
1.介绍做个简单笔记,方便回顾.SQLAlchemy是一个基于Python实现的ORM框架。该框架建立在 DB API之上，使用关系对象映射进行数据库操作，简言之便是：将类和对象转换成SQL，然后使用数据API执行SQL并获取执行结果。pip3 install sqlalchemy组成部分：Engine，框架的引擎Connection Pooling ，数据库连接池Dia...
2019-09-07 21:10:00
242
转载 树莓派4B NAS系统搭建
一、硬盘挂载由于之前硬盘(NTFS格式)里有数据不想格式化想直接挂载，就没有格式化成ext4文件格式的。安装ntfs-3gsudo apt-get install ntfs-3g加载内核模块modprobe fuse查看硬盘情况fdis -l将硬盘挂载到/mnt下ntfs-3g /dev/sda1 /mnt实现开机自动挂载vim /etc/fsta# 最后一行...
2019-09-06 22:50:00
4539
转载 树莓派4B基本配置
一、系统安装官网下载好系统解压，使用SD Card Formatter格式化内存卡# 查看内存卡状态,通过内存卡大小判断是哪个df -lh# 卸载内存卡diskutil unmount /dev/disk2s1# 确认设备号diskutil list# 烧写系统 ，进入解压镜像所在目录sudo dd bs=4m if=rpi_35_v6_1_2_3_jessie_k...
2019-09-06 22:49:00
1377
转载 Android studio中遇到的问题
首先声明只是Android studio使用中遇到的问题纯属个人学习笔记，有什么不对的可以留言。将脱壳后的java文件拖入到Android studioandroid studio 首先提示是ERROR: Gradle version 2.2 is required. Current version is 5.1.1首先，确认Bild,Execution,Deployment&g...
2019-09-02 12:37:00
176
转载 pyenv和pipenv简单使用
一、安装pyenv安装pyenv$ git clone git://github.com/yyuu/pyenv.git ~/.pyenv$ echo 'export PYENV_ROOT="$HOME/.pyenv"' >> ~/.bashrc$ echo 'export PATH="$PYENV_ROOT/bin:$PATH"' >> ~/.bashrc...
2019-08-08 15:10:00
189
转载 scrapy中间件中发送邮件
背景介绍：之前写过通过通过scrapy的扩展发送邮件，在爬虫关闭的时候发送邮件。那个时候有个问题就是MailSender对象需要return出去。这次需要在中间件中发送邮件，但是中间件中不能随便使用return了。import jsonimport randomimport scrapyfrom scrapy.http import Responsefrom scrapy.m...
2019-08-05 14:36:00
610
转载 MongoDB基础
一、mac安装MongoDB1.使用homebrew安装安装homebrew使用brew安装MongoDBbrew install mongodb新建一个目录mkdir data命令行中指定数据库路径mongod --dbpath="./data"出现waiting for connections on port 27017就表示启动成功2.下载安装包...
2019-07-29 19:18:00
117
转载 方法的重载，变量赋值
一、方法的重载Python中没有方法的重载在同一个类中，允许存在一个以上的同名方法，只要他们的参数个数 或者参数类型不同即可 同一个类、相同的方法名，参数类型不同或参数个数不同。public class OverLoadTest { public void getSum(int i,int j){ System.out.println(i+j);...
2019-07-20 10:42:00
182
转载 Python重试模块retrying
Python重试模块retrying工作中经常碰到的问题就是，某个方法出现了异常，重试几次。循环重复一个方法是很常见的。比如爬虫中的获取代理，对获取失败的情况进行重试。刚开始搜的几个博客讲的有点问题，建议看官方文档，还有自己动手实验。参考：https://segmentfault.com/a/1190000004085023https://pypi.org/project/...
2019-07-18 14:45:00
256
转载 python通过TimedRotatingFileHandler按时间切割日志
通过TimedRotatingFileHandler按时间切割日志线上跑了一个定时脚本，每天生成的日志文件都写在了一个文件中。但是日志信息不可能输出到单一的一个文件中。原因有二：1.日志文件越来越大会影响系统的性能。2.日志文件格式不够清晰，比如我想看今天的日志，不太方便找到的今天的日志信息(即使对日志输出做了时间提示)通过设置TimedRotatingFileHandler进...
2019-07-17 14:47:00
1358
转载 Java面向对象入门
Java面向对象入门一、Java面向对象的基本组成Java类及类的成员：属性、方法、构造器；代码块、内部类面向对象三大特征：封装、继承、多态(抽象)关键字：this、super、static、final、abstract、interface、package、import...二、面向对象的分析思路与步骤根据问题需要，选择问题所针对的现实世界中的实体从实体中寻找解决寻找...
2019-07-17 09:13:00
109
转载 python定时任务APScheduler
APScheduler定时任务APScheduler 支持三种调度任务：固定时间间隔，固定时间点（日期），Linux 下的 Crontab 命令。同时，它还支持异步执行、后台执行调度任务。一、基本架构触发器 triggers：设定触发任务的条件描述一个任务何时被触发，按日期或按时间间隔或按 cronjob 表达式三种方式触发任务存储器 job stores：存放任务，...
2019-07-15 09:20:00
172
转载 GIT常用操作
GIT常用操作git本地仓库与远程建立连接1.在本地初始化仓库git initgit add .git commit -m 'add files'2.在github上新建一个仓库3.本地与远程仓库建立连接git remote add origin 你远程仓库的地址4.合并本地代码git pull origin master --allow-unrelated-his...
2019-07-12 13:43:00
87
转载 清理特殊文本
清理特殊文本unicodedata.normalize(form, unistr)把一串UNICODE字符串转换为普通格式的字符串，具体格式支持NFC、NFKC、NFD和NFKD格式。Unicode标准定义了四种规范化形式： Normalization Form D (NFD)，Normalization Form KD (NFKD)，Normalization Form C...
2019-07-08 19:22:00
359
转载 Mac多SSH Key配置
多SSH key配置工作的时候碰到SSH配置的问题，就是公司用的是gittea的仓库，而本人的github平常也要使用，这个时候就需要配置不同的SSH key了。将同一个公钥分配配置给github和gittea的话并不可行。个人认为是你在操作的时候他不知道你是操作哪个git。1.切换到系统的SSH目录下。cd ~/.ssh2.生成自己的github的SSH key(默认这里你...
2019-07-05 09:48:00
182
转载 xposed的基本使用
一、原理Android运行的核心是zygote进程，所有app的进程都是通过zygote fork出来的。通过替换system/bin/下面的app_process等文件，相当于替换了zygote进程，实现了控制手机上的所有APP。基本原理是修改了ART/Davilk虚拟机，将需要hook的函数注册为Native层函数，当执行到该函数时，虚拟机会先执行Native层函数，然后执行Ja...
2019-06-19 22:24:00
274
转载 scrapy发送邮件
scrapy发送邮件应用场景：在爬虫关闭或者爬虫空闲时可以通过发送邮件的提醒。通过twisted的非阻塞IO实现,可以直接写在spider中，也可以写在中间件或者扩展中，看你具体的需求。在网上找了很多教程，都是很多年前的或者就是官网搬运的，一点实际的代码都没有，所以就自己尝试了一下，由于本人也是爬虫新手，轻喷，轻喷！看下面的示例代码前，先看下官网，熟悉基本的属性。官网...
2019-04-29 15:24:00
515
转载 Image Pipeline
Image PipelineScrapy 提供了专门下载文件或者图片的Pipeline，下载图片与文件的原理同抓取网页的原理是一样的，所以他们的下载过程支持多线程与异步，十分的高效Image Pipeline的工作流程itemPipeline从item中获取需要下载的数据，通过Request重新放入到项目队列等待调度器调度下载当图片下载完成，另一个组(images)将被更新...
2019-04-25 14:50:00
262
转载 django-auth组件
auth组件一、auth模块简介auth模块是django自带的用户认证模块，包含了身份验证和权限管理两部分。身份验证用于核实某个用户是否合法，权限管理用于决定一个合法用户有哪些权限默认情况下，使用django-admin startproject命令后，认证模块已经添加到settings文件中，如果没有请手动添加INSTALLED_APPS中添加`django.contri...
2018-11-26 15:46:00
83
转载 django会话
django会话可以把会话理解为客户端与服务器之间的一次会晤，在一次会话过程中有多次请求和响应，但是由于HTTP协议的特性-->无状态，每次浏览器的请求都是无状态的，无法保存状态信息，也就是说后台服务器不知道当前请求是否和上一次的请求是来自同一个用户的，试想一下，淘宝京东，无法识别用户并保存用户的状态是致命的。一、cookie的原理为了保持连接状态，便有了cookie的由来，...
2018-11-22 16:48:00
139
转载 多表操作
多表操作数据准备class Publish(models.Model): id = models.AutoField(primary_key=True) name = models.CharField(max_length=32) addr=models.CharField(max_length=64) email=models.EmailField...
2018-11-14 20:25:00
69
转载 Django-ORM-单表操作
ORM字段参数及单表操作一、字段参数1.字段AutoField(Field) #当model中如果没有自增列，则会自动创建一个列名为id的列 -int 自增列，必须填入参数primary_key=TrueSmallIntegerField(IntegerField): - 小整数 -32768 ～ 32767PositiveSmallIntegerField(...
2018-11-12 18:55:00
71
转载 django学习笔记-模板层
模板层将Python嵌入到HTML中。模板简介将HTML硬解码到视图并不是那么完美原因如下：对页面设计时也需要对python代码进行相应的修改，模板可以不就行python代码修改的情况下变更设计。编写python和HTML设计是两项不同的工作，应该明确分工。两项同时进行效率最高。模板：HTML代码+模板语法def current_time(req): # ==...
2018-11-12 15:28:00
113
转载 Django-视图层(view)
视图层(view) 视图函数，简称视图，本质上是一个简单的Python函数，它接受Web请求并且返回Web响应。响应的内容可以是HTML网页，重定向，404错误，图片等任何东西，但本质是返回响应对象HttpResponse。 视图函数的代码写哪里都可以，但一般约定俗成设置在项目或应用程序目录中的views.py文件中视图案例：from django.shortcuts imp...
2018-11-08 19:07:00
162
转载 python设置虚拟环境
一、介绍 虚拟环境-virtualenv是一个用于隔绝的python环境的工具，虚拟环境与本地环境互相隔离，互不影响，例如我们要安装django2.0的版本但是本地已经安装了1.1的，这时只需要在本地创建虚拟环境，在虚拟环境中安装django2.0即可了。二、命令创建虚拟环境1.安装 -pip3 install virtualenv2.创建虚拟环境...
2018-11-08 16:46:00
61
转载 Django-路由控制
Django-路由控制一、URL路由基础 URL是web服务的路口，用户通过浏览器发送过来的任何请求都会被发送到一个指定的URL地址里，然后被响应。 在django项目中编写路由就是向外暴露我们接收哪些URL的请求，除此之外任何的URL都不会被处理，URL路由就是web服务对外暴露的API二、Django处理请求确定要使用的URLconf模块，通常是setting...
2018-11-07 17:28:00
101
转载 Django学习笔记(http协议与django安装)
Django入门HTTP协议HTTP协议是Hyper Text Transfer Protocol（超文本传输协议）的缩写,是用于万维网（WWW:World Wide Web ）服务器与本地浏览器之间传输超文本的传送协议。http协议的特性基于tcp/ip协议之上的应用层协议基于请求-响应模式请求是先由客户端发出,服务端响应并返回，服务端在没有收到请求的情况下不好发送响应...
2018-11-02 18:56:00
118
转载 JS事件
一、事件的两种绑定方式 *******1、on事件绑定方式document.onclick = function() { console.log("文档点击");}// on事件只能绑定一个方法，重复绑定保留最后一次绑定的方法document.onclick = function() { console.log("文档点击");}// 事件的移除docum...
2018-10-18 20:49:00
69
转载 JS高级
一、函数高级1.函数回调函数回调的本质：在一个函数中，满足特定条件下，调用另一个函数// 回调的函数function callback(data) {}// 逻辑函数function func(callback) { // 函数回调 if (callback) callback(data);}function a_fn(...
2018-10-17 21:28:00
85
转载 JS基础操作
一、分支结构1、if语句if 基础语法if (条件表达式) { 代码块;}// 当条件表达式结果为true，会执行代码块；反之不执行// 条件表达式可以为普通表达式// 0、undefined、null、""、NaN为假，其他均为真if 复杂语法// 1.双分支if (表达式1) { 代码块1;} else { 代码块2;}//...
2018-10-15 20:05:00
69
转载 JavaScript入门（基础）
一、JS语言介绍1.概述浏览器脚本语言可以编写运行在浏览器上的代码程序属于解释性、弱语言类型编程语言2.组成ES语法：ECMAScript、主要版本有ES5和ES6DOM:文档对象模型(Document Object Model),是W3C组织推荐的处理可扩展标准语言的标准编程接口。BOM浏览器对象模型(Browser Object Model),提供了独立于内容的...
2018-10-11 19:45:00
77
转载 表格与表单
表格表单一、表格1、基本结构<table> <caption></caption> <thead> <tr> <th></th> </tr> </thead> <tbody>...
2018-09-28 19:24:00
52
转载 音频与视频
音频与视频一、音频1.相关属性属性值描述autoplayautoplay自动播放controlscontrols音频控件looploop循环播放mutedmuted静音preloadauto metadata none预加载srcURL音频源2.应用<audio id="ad" src="me...
2018-09-28 16:43:00
63
转载 过度与动画
一、过度从一个状态，以动画方式变成另一个状态的变化过程1.过度属性1.transition-duration 持续时间2.transition-delay 延迟时间3.transition-property 属性 表示可过度的样式属性(多个值，用逗号连接)transition-property：all4.transition-timing-function：linea...
2018-09-28 11:04:00
68
转载 高级布局
一、文档流(normal flow)1.概念将窗体自上而下分成一行一行，块级元素从上至下，行内元素在每行中从左至右顺序排放元素本质为normal flow(普通流，常规流)，文档流就是一个连续具有逻辑上下的页面整体，也可以片面的说，出现在页面中的显示内容都可以理解为在文档流中。2.BFC(Block formatting context)块级格式化上下文，它是一个独立的渲染区域...
2018-09-27 19:55:00
101
转载 css杂项补充
css杂项补充一、块与内联1.块独行显示支持宽高，宽度默认适应父级，高度默认由子级或内容撑开设置宽高后，采用设置的宽高2.内联同行显示不支持宽高margin上下无效果，左右会起作用，padding不会影响它的高度，背景会影响。一般不设置内联的margin和padding3.内联块同行显示，之间有间距(间距产生原因是空格)支持宽高，宽高由内容撑开可以设...
2018-09-27 16:22:00
48
转载 CSS入门(二)
一、组合选择器每个选择器位可以是任意基础选择器或选择器组合1.群组选择器可以一次性控制多个选择器选择器之间用逗号(,)隔开div,.d1,#div{ color:red;}2.子代(后代)选择器一次性控制一个选择器(逻辑最后的那个选择器)，前置位的选择器是修饰性选择器子代选择器必须为一级父子关系，后代选择器可以为一级，也可以多级父子嵌套关系子代选择器用...
2018-09-22 20:16:00
149
转载 CSS基础入门
css基础语法一、CSS格式选择器{ 属性名:属性值; 属性名:属性值;}选择器负责圈定范围，要修改的元素集合，花括号内的声明由属性名和属性值组成(key:value)的形式，用于设定具体样式二、CSS三种引入方式1.行间式<p style="color:red;"</p>2.内联式<style> p { c...
2018-09-20 19:33:00
82
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人