自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

原创 python asyncio协程异步爬虫

实践一下python的asyncio异步协程相关的库,爬取豆瓣电影top250,自己边查边试,写出个基本的用法吧。 import time import asyncio from functools import wraps import requests import aiohttp fr...

2020-06-15 00:04:42 131 0

原创 pycharm debug sanic断点失效

auto_reload参数置为False就好了 if __name__ == "__main__": app.run(auto_reload=False) https://github.com/huge-success/sanic/issues/1313#iss...

2020-06-10 16:04:35 66 0

原创 selenium实现无限滚动、循环滚动到底

今天做python动态网页觉得构造请求太麻烦,而网站几次滚动就能下拉到底,所以想着直接用selenium连续下拉滚动到底,然后直接一把梭。没搜到太好太直接的方案。边做边试大概实现了功能。 核心代码就这么几句,思路就是用scrollBy一直下拉滚动条,然后scrollTop会一直变化,当scrol...

2020-05-14 22:40:53 277 0

原创 复制chrome请求头以及Copy as cURL直接转成python代码

python爬虫经常需要服务浏览器请求头,之前都是用pycharm批量替换。今天想看看有啥方便的方法没。结果发现了更超出预期的东西。chrome的Copy as cURL 和curl to python。 下图是Copy as cURL,python去动态网页时经常需要寻找真正的结构然后利用参数...

2020-05-14 22:26:31 447 0

原创 python 脚本获取django环境

import os if __name__ == '__main__': os.environ.setdefault( "DJANGO_SETTINGS_MODULE", "project.settings...

2020-05-13 16:40:01 85 0

原创 django admin join查询user的权限group的sql

select u.username, u.email, (select name from auth_group where id = g.group_id) as user_group from auth_user as u join auth_user_groups as g on u.id...

2020-05-12 16:40:30 54 0

原创 django admin 实现邮箱登录和邮箱唯一性

django1.10+python2.7 django amdin后台实现email登录, 1、重写一个验证后端,继承自系统的ModelBackend类,文档说重写get_user()这authenticate()方法,我这里只重写了authenticate()方法。利用利用Q对象同时查询us...

2020-04-24 21:56:41 203 0

原创 selenium chromedriver 残留进的的问题

用driver.close()虽然关闭了浏览器,但是每次还会残留一个chromedriver的进程, 用driver.quit()没有残留进程

2020-04-23 17:54:47 261 0

原创 djang Resource requests whose URLs contained both removed whitespace

[Deprecation] Resource requests whose URLs contained both removed whitespace (`\n`, `\r`, `\t`) characters and less-than characters (`<`) are bloc...

2020-04-13 00:25:08 204 0

原创 django利用ckeditor富文本编辑器实现修改文章

之前用django-ckeditor作富文本编辑器,想实现文章修改,不知道怎么网富文本编辑器中填充原有的文章。 然后用原生的ckeditor实现了。 1、下载ckeditor4到django静态文件夹 2、在更新文章的模板中或者base.html中引入ckeditor.js文件 <...

2020-04-13 00:00:39 221 0

原创 Django服务器错误自动发送邮件警报

Django 有个在DEBUG=False时,服务500错误时自动发送警报邮件功能之前用过一阵这个功能,但是发现好像不能控制发送频率,遂换成独立的监控服务了。 记录一下用法, 配置ADMINS,收件人,元组形式。 然后下面是163的配置示例,注意EMAIL_HOST_PASSWORD不是邮箱...

2020-04-08 20:01:07 214 0

原创 nth-last-child()和nth-last-of-type() 的区别、以及选择则倒数几个元素

工作中老用到css选择器对nth-last-child()和nth-last-of-type()用法不是熟练,今天整理下。 最开始看的w3c的中文文档,看的有点蒙,后来发现可能是翻译问题。。。 直接上例子吧。 1、nth-last-child() The:nth-last-child(n...

2020-04-08 00:22:23 280 0

原创 python 自定义命令(entry_points)以及开发第三方库setuptools打包

突然想知道django-admin you-get这种自定义命令怎么实现的的,查了一下setuptools打包时配置一下entry_points可以实现。 工程结构 setup.py代码: #setup.py from setuptools import setup setup(...

2020-04-01 19:14:53 255 0

原创 mac系统nginx: [emerg] getgrnam("") failed 以及brew无法启动nginx

电脑重装后发现nginx有点问题,brew services start nginx 虽然显示成功了但是实际上没有启动nginx。 需要用户brew services start nginx启动,因为nginx默认是root用户。 所以想改下nginx的默认用户,改成自己的名字后还是报错,提示...

2020-03-31 15:24:38 99 0

原创 google中文搜索结果太烂了吧

2020-03-24 16:26:39 80 0

原创 django国际化多语言以及gettext, gettext_lazy, ugettext , ugettext_lazy

django国际化,根据浏览器请求头的Accept-Language来显示不同的语言。 一、首先做一些设置: 1、LOCALE_PATHS:存放翻译文件的目录 LOCALE_PATHS = [ os.path.join(BASE_DIR, 'locale')] 2...

2020-03-22 23:51:52 512 0

转载 Using Language Identifiers (RFC 3066)

Using Language Identifiers (RFC 3066) Language identifiers as specified byRFC 3066, can have the form language, language-country, language-coun...

2020-03-22 22:29:01 97 0

原创 django的migrate和makemigrations命令学习记录。

django项目启动后,提示要要运行python manage.py migrate命令。 You have 14 unapplied migration(s). Your project may not work properly until you apply the migrations...

2020-03-22 21:22:59 138 0

原创 nginx中文日志乱码的问题

看到自己的服务器上又好多乱码的日志,查了一下据说nginx会将中文变成16进制,想把他们正常显示出来。 乱码日志: [22/Mar/2020:16:04:27 +0800] "GET /\xE4\xB8\xAD\xE6\x96\x87 HTTP/1.1" 301 169 ...

2020-03-22 16:35:10 1226 0

原创 django mysql Error loading MySQLdb module: %s" % e

换电脑直接mac迁移助手迁移过来,mysql卸载重装后django报错。 Error loading MySQLdb module: %s" % e 解决: 1、卸载原来的mysql相关的库 pip uninstall MySQL-python pip uninstall m...

2020-03-17 18:27:56 69 0

原创 python定义变量后面加逗号

之前只知道定义元组的时候如果只有一个元素需要在后面加逗号 最近发现定义变量的时候如果后面加逗号也会被识别为元组, t= 'a', type(t) Out[10]: tuple s='a' type(s) Out[12]: str ...

2020-03-15 00:26:04 748 0

原创 djanog AttributeError: 'module' object has no attribute '_time'

django1.9升级到1.11下面代码报错 from django.utils import timezone attr=timezone._time.time() django1.9 /site-packages/django/utils/timezone.py 源码有一句 imp...

2020-03-08 18:46:31 117 0

原创 Python相对导入:ValueError: attempted relative import beyond top-level package

首先明确,Python相对导入只能在同一package下而言的。 项目结构: server.py文件 #server.py import sys print(sys.path) from pack1.mod1 import func1 from pack1.mod1_1 import f...

2020-03-08 16:03:54 232 0

原创 django admin class media 查询字符串参数乱码问题

def quote(s, safe='/'): """quote('abc def') -> 'abc%20def' Each part of a URL, e.g. the path...

2020-03-07 23:59:40 57 0

原创 requests、selenium爬虫处理:您的连接不是私密连接的网站(https ssl 证书)

requests的话verify参数设置为False selenium的话添加参数:--ignore-certificate-errors 测试代码: import requests from selenium import webdriver url='https://ww...

2020-03-05 15:45:29 1425 0

原创 django实现模型字段动态choice

需求是根据当前登录用户来显示不同的选项。 先放现在的实现版本。 1、重写PushRuleForm的__init__方法, 让每次实例化PushRuleForm时,test_mode字段的choices根据用户重新赋值 class PushRuleForm(forms.ModelForm)...

2020-03-01 22:14:41 357 0

原创 python包和文件夹的区别

#server.py from package.modb import funb from directory.moda import funa funa() funb() import package.modb import directory.moda directory.moda.fun...

2020-02-26 14:46:28 842 0

原创 pycharm项目根目录作为Python导包路径的说明

之前知道pycharm会将项目根目录作为Python导包路径,今天想看看官方文档说明,如下: Source rootscontain the actual source files and resources. PyCharm uses the source roots as the start...

2020-02-26 11:53:04 712 0

转载 pycharm .idea文件夹的作用

What is the .idea folder?FOLLOW Daria Dovzhikova UpdatedFebruary 05, 2020 05:59 The.ideafolder (hidden on OS X) in the solution root contains In...

2020-02-26 11:13:12 820 0

原创 Python查看第三方库、包的所有可用版本,历史版本

第一: https://my.oschina.net/linbingfeng/blog/885485 第二:利用pycharm 安装第三方库是勾选specify version,就能看到第三方库的各个版本了 第三: 利用yolk3k,这是Python对应的版本,官方文档:https:/...

2020-02-23 22:19:08 102 0

转载 zsh 像bash一样提示未安装的软件

This feature is provided by thecommand-not-foundpackage. Ubuntu installs it by default, and makes it active by default in bash but not in zsh. Just a...

2020-02-22 12:21:47 115 0

原创 nginx配置直接下载文件

location配置, location ~ ^/file { if ($request_filename ~* ^.*?\.(txt|doc|pdf)$){ add_header Content-Disposition: '...

2020-02-20 23:47:51 1344 1

原创 Ubuntu 16 BAD PASSWORD: it does not contain enough DIFFERENT characters

vultr的服务器不能设置6位的密码,提示: BAD PASSWORD: it does not contain enough DIFFERENT characters 但是阿里云的服务器能设置,搜索了一下没看到太直接的用信息,大概是修改/etc/pam.d/common-password...

2020-02-04 14:18:29 227 0

转载 IP地址后面斜杠加具体数字详解

IP地址后面斜杠加具体数字详解   其实这种形式就是用CIDR(无类别域间路由选择,Classless and Subnet Address Extensions and Supernetting))的形式表示的一个网段,或者说子网。 我们知道确定一个子网需要知道主机地址和子网掩码,但用CI...

2020-01-08 10:45:53 152 0

原创 image_match TypeError: _open() got an unexpected keyword argument 'as_grey'

mac os python3.7跑image_match库的demo时报错,traceback如下: Traceback (most recent call last): File "/Users/wangjinyu/PycharmProjects/machine-learni...

2020-01-05 23:32:32 2393 1

原创 windows Python3报错 ValueError: embedded null byte

调用爬取推特的twint库时候代码报错: Traceback (most recent call last): File "D:/pycharm project/twint/wangjinyu.py", line 10, in <module> twint...

2019-12-22 16:57:28 414 0

原创 django用户状态Active和Staff status区别

Staff status:能登录admin后台没问题 Active啥意思记得是能登录非admin的前台页面,今天确认了下就是这样。 可以拿这个既能用户前台登录又能管理员后台登录的django开源博客系统测试 https://github.com/stacklens/django_blog_t...

2019-11-29 00:15:32 349 0

转载 mac oh-my-zsh的docker自动补全不能用了

rm ~/.zcompdump* 这样逼迫zsh的补全重新初始化。 https://stackoverflow.com/questions/37428133/zsh-docker-plugin-not-working# https://github.com/ohmyzsh/ohmyzsh/...

2019-11-28 10:50:59 1026 0

原创 ERROR: Package 'GitPython' requires a different Python

mac os Python2.7.6安装GitPython提示错误 ERROR: Package 'GitPython' requires a different Python 最新的GitPython已经不支持Python2,要么换Python2要么安装老版本的Git...

2019-11-27 17:13:22 253 0

原创 python利用requests库模拟登录,过程解析

之前尝试用requests直接请求登录失败了,都是直接用selenium简单粗暴的登录。今天看了看大佬《网络爬虫开发实战》模拟登录部分,又收获不少。 利用requests模拟登陆的关键: 第一:是要找到相应的请求地址 第二:找到要请求头中对应的提交表单Form Data的各种字段,以及他们...

2019-11-14 23:42:38 191 0

提示
确定要删除当前文章?
取消 删除