程序猿杂记-CSDN博客

原创使用Git操作远程仓库(GitHub\码云)

本篇文章将详细介绍Git操作GitHub\码云远程仓库的详细流程：主要包括工作流程、拷贝Git仓库代码修改并上传、首次上传代码到Git仓库、删除\修改、分支、查看信息、撤销等内容。

2020-08-14 16:01:26 1182 2

原创 Centos 7 设置MySQL 最大连接数

一、查看最大连接数登录MySQL后输入以下命令show variables like 'max_connections';默认是151二、修改最大连接数临时修改登录MySQL后输入以下命令set global max_connections=200;永久修改1 > 找到MySQL的配置文件，vim编辑vim /etc/mysql/mysql.conf.d/my...

2020-08-11 14:35:49 2013 1

原创 Django + uWSGI + Nginx 项目部署

背景：今天又进行了一次项目部署(第N+1次项目部署了)，所以决定整理出一份完整的材料，下次直接CTRL+C、CTRL+V就OK了。

2020-01-19 20:03:09 6996 7

原创 Nginx配置SSL报错 nginx:[emerg] unknown directive “ssl”

前言：配置Nginx + sll 报错`nginx: [emerg] unknown directive "ssl" in /usr/local/nginx/conf/nginx.conf:43`,本章将详细说明如何解决

2020-01-19 20:02:39 14794 2

原创 CentOS 7 修改pip/pip3源

前言：由于网络有时不稳定的原因，使用pip/pip3下载会非常慢。如果使用国内镜像服务就完美的解决了下载速度慢的问题，但是Centos7默认的是国外原，所以整理出两个修改pip/pip3源的方法。

2020-01-19 20:01:38 13640 2

原创 Django + uWSGI + Nginx + https项目部署，并用OpenSSL 生成https证书

**背景：**最近突然接触到了OpenSSL，突然想到貌似还没写过Django + uWSGI + Nginx + https项目部署相关的内容，所以整理出来一份资料。目录一、OpenSSL 安装二、生成证书三、Nginx配置一、OpenSSL 安装从OpenSSL官网下载最新的稳定版本，我下载的是2.0.16，官网：https://www.openssl.org/source/安装依...

2020-01-19 20:00:51 7140

原创 Python爬虫 - 获取网页编码

前言：在我们做爬虫的时候会发现不同的网页会有不同的编码方式，但我们需要根据编码方式来获取数据，所以我们要先获取编码方式，为此我使用requests库解析当前页的编码方式。requests库是常用的网页解析库，也是我做爬虫时一直使用的库。其中的apparent_encoding方法可以正确获取当前网页的编码方式。

2020-01-11 20:52:49 8517 9

原创 Python爬虫 - Requests模块

详细介绍安装Requests、多种请求方式(post和get最常见)、给URl添加参数、获取响应的内容、定制请求头和cookie信息、设置超时时间、会话对象，能够跨请求保持某些参数、IP代理等常用功能的使用

2020-01-11 20:51:29 6687

原创 Python爬虫 - Selenium（1）安装和简单使用

Selenium是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中，就像真正的用户在操作一样。支持的浏览器包括IE，Firefox，Safari，Chrome，Opera等。在爬虫上用来模拟正常用户访问网页并获取数据。

2020-01-06 21:41:01 7442 1

原创 Python爬虫 - Selenium（2）元素定位和WebDriver常用方法

本章将详细介绍元素定位的的8种方式和WebDriver常用方法（点击和输入、提交、获取一些内容）的使用。

2019-12-29 21:10:24 7625 6

原创 Python爬虫 - Selenium（3）控制浏览器的常用方法

本章详细介绍Selenium控制浏览器的一些操作，其中包括自定义浏览器窗口大小或全屏、控制浏览器后退或前进、刷新浏览器。

2019-12-29 21:09:52 7216

原创 Python爬虫 - Selenium（4）配置启动项参数

前言：本章将详细介绍Selenium启动项参数的配置，其中包括`无界面模式(在服务器上运行不设置此项会报错)`、`浏览器窗口大小设置`、`浏览器User-Agent (请求头)`等等

2019-12-29 21:09:18 7939

原创 Python爬虫 - Selenium（5）鼠标事件

前言：前边几篇文章也介绍过鼠标点击方法`click()`，但是这远远无法满足我们多样的需求，在 WebDriver 中，关于鼠标操作的方法封装在 ActionChains 类中，其中包含右击、双击、拖动、鼠标悬停等等。

2019-12-29 21:08:50 8412 2

原创 Python爬虫 - Selenium（6）键盘事件

前言：前边文章也介绍过模拟键盘输入的方法send_keys()，这个方法是很有局限性的，只能对输入框进行操作，这远远无法满足我们多样的需求，在 WebDriver 中，关于键盘操作的方法封装在 Keys()类中，其中几乎包含了键盘所有按键。from selenium import webdriverfrom selenium.webdriver.common.keys import Ke...

2019-12-29 21:08:25 7140 1

原创 Python爬虫 - Selenium（7）多窗口切换

前言：在页面操作过程中有时候点击某个链接会弹出新的窗口，但由于Selenium的所有操作都是在第一个打开的页面进行的，这时就需要主机切换到新打开的窗口上进行操作。WebDriver提供了`switch_to.window()`方法，可以实现在不同的窗口之间切换。以百度首页和百度注册页为例，在两个窗口之间的切换。

2019-12-29 21:08:00 7147

原创 Python爬虫 - Selenium（8）frame/iframe表单嵌套页面

123456

2019-12-29 21:07:29 8771 1

原创 Python爬虫 - Selenium（9）警告框(弹窗)处理

JavaScript 有三种弹窗 Alert (只有确定按钮), Confirmation (确定,取消等按钮), Prompt (有输入对话框)，而且弹出的窗口是不能通过前端工具对其进行定位的，这个时候就可以通过`switch_to.alert`方法来定位这个弹窗，并进行一系列的操作。

2019-12-29 21:06:49 8719

原创 Python爬虫 - Selenium（10）下拉框处理

在我们浏览网页的时候经常会碰到下拉框，WebDriver提供了Select类来处理下拉框，详情请往下看：

2019-12-29 21:05:23 8670

原创 Python爬虫 - Selenium（11）文件上传

前言：大部分的文件上传功能都是用input标签实现，这样就完全可以把它看作一个输入框，可以通过`send_keys()`指定文件进行上传了。

2019-12-29 21:04:49 7798

原创 Python爬虫 - Selenium（12）获取登录Cookies，并添加Cookies自动登录

WebDriver提供了操作Cookie的相关方法，可以读取、添加和删除cookie信息，以下将分别介绍一下`模拟登陆并获取Cookies`、`添加Cookies自动登录`两个小例子。

2019-12-29 21:04:08 8934 1

原创 Python爬虫 - Selenium（13）设置元素等待

WebDriver提供了两种类型的等待：显式等待和隐式等待。显式等待是给每一个条件都单独设置等待时间，而隐式等待是设置一个统一的等待时间。个人比较推荐`隐式等待`，至于原因，大家看过就知道了。

2019-12-29 21:02:14 6947 1

原创 Python爬虫 - Selenium（14）窗口截图

前言：由程序去执行的操作不允许有任何误差，有些时候在测试的时候未出现问题，但是放到服务器上就会报错，而且打印的错误信息并不十分明确。这时，我在想如果在脚本执行出错的时候能对当前窗口截图保存，那么通过图片就可以非常直观地看出出错的原因。WebDriver提供了截图函数get_screenshot_as_file()来截取当前窗口。

2019-12-29 21:01:39 7341 3

原创 Python爬虫 - Selenium（15）关闭浏览器

前言：WebDriver提供了两个关闭浏览器的方法，一个是前边使用quit()方法，另一个是close()方法

2019-12-29 21:01:09 8818 1

原创 Django时间与Mysql数据库时间相差8小时问题解决

最近在项目上开发了记录用户登录IP和登录时间的功能，通过测试未发现任何报错，然后屁颠屁颠的的进行迁移更新，在进行数据库迁移过程中无意发现我的登录时间为凌晨两点多，但我测试时间为上午10点多，整整相差8个小时，一脸蒙蔽的排查了一下Django时区和Mysql时区都没问题，于是新建一个Django项目测试一下：

2019-12-21 20:47:21 7267

原创 Windows和Linux(Centos7)下的Redis安装及使用

Redis 是一个开源（BSD许可）的，内存中的数据结构存储系统，它可以用作数据库、缓存和消息中间件。它支持多种类型的数据结构，如字符串（strings），散列（hashes），列表（lists），集合（sets），有序集合（sorted sets）与范围查询， bitmaps， hyperloglogs 和地理空间（geospatial）索引半径查询。 Redis 内置了复制（replication），LUA脚本（Lua scripting）， LRU驱动事件（LRU eviction

2019-12-21 20:35:14 6354

原创 Centos 7 下升级 SQLite3

获取安装包下载链接下载地址：https://www.sqlite.org/download.html最好重新获取一下下载链接，否则可能不是最新版（以上截图为本人写此篇文章时候的最新版）wget下载#链接用刚才获取的，否则可能不是最新版本wget https://www.sqlite.org/2019/sqlite-autoconf-3300100.tar.gz解压并...

2019-12-21 20:33:27 6412

原创 django-celery实现异步任务，并在后台运行（守护进程）

对于开发人员，尤其要注重用户体验，毕竟没有用户使用，那么开发将毫无意义。Celery异步处理框架，可用于执行耗时任务，比如发送邮件、文件上传，图像处理等等比较耗时的操作，这样用户不需要等待很久，可大大提高用户体验。

2019-12-21 20:30:27 10071 1

原创报错(/etc/init.d/redisd: line 28: /usr/local/bin/redis-server: No such file or directory)的解决办法

Centos7下安装Redis并配置开机自启动时报错：/etc/init.d/redisd: line 28: /usr/local/bin/redis-server: No such file or directory,通过翻译、猜测已解决问题，希望对大家有帮助。

2019-12-18 21:14:51 18263

原创解决不能用root用户启动Celery Worker的问题

目录一、报错演示二、问题解决一、报错演示(venv) [root@localhost celery_tasks]# celery -A tasks worker -l infoRunning a worker with superuser privileges when theworker accepts messages serialized with pickle is a very ...

2019-12-18 21:13:51 8415

原创报错(AttributeError: 'str' object has no attribute 'items')的解决办法

在启动Celery或启动后调用Celery实现异步任务的时候报错：AttributeError: 'str' object has no attribute 'items'，经过百度一番，发现是`redis`版本过高引起的，以下进行报错的展示与解决。

2019-12-18 21:12:56 28874 5

原创报错(SQLite 3.8.3 or later is required (found 3.7.17).)的解决办法

在服务器上刚部署完Django项目，`python manage.py runserver 0.0.0.0:8000`启动启动的时候报错：django.core.exceptions.ImproperlyConfigured: SQLite 3.8.3 or later is required (found 3.7.17).，以下为报错展示及解决办法。

2019-12-18 21:11:10 22911 12

原创报错(UnboundLocalError: local variable 'xxx' referenced before assignment)的解决办法

今天写个程序，运行报错：UnboundLocalError: local variable 'xxx' referenced before assignment（xxx为程序变量名），引发此错误的原因就是全局变量与局部变量引起的，详情请看下文：

2019-12-18 21:09:23 59842 1

原创 Fiddler修改请求和返回数据

目录一、安装软件二、请求发出前拦截请求三、拦截并修改返回信息一、安装软件软件下载地址：https://www.telerik.com/fiddler安装就不过多废话了二、请求发出前拦截请求选择Rules > Automatic Breakpoints > Before Requests请求需要抓包的路由找到请求路由进行操作方法一：修改请求信息方法二：构...

2019-12-07 21:37:23 7163

原创报错(The view *** didn't return an HttpResponse object. It returned None instead.)的解决办法

前言：今天在调试Django项目的时候，报了一个错：The view *** didn’t return an HttpResponse object. It returned None instead.（***处会根据项目视图发生变化），按照惯例，先翻译一下，大概意思是视图**没有返回HttpResponse对象。它没有返回任何内容。，通过猜测，应该是视图里函数没有返回内容，查看一下相关函数，结果可想而知。以下进行简单的错误复现：

2019-11-26 20:32:12 22729

原创 Django - messages(使用消息提示简单的弹出个对话框)

目录一、配置二、创建提醒消息三、跳出弹窗一、配置在项目的settings.py文件中配置django.contrib.messages的相关信息（默认是有的）INSTALLED_APPS = [ 'django.contrib.admin', 'django.contrib.auth', 'django.contrib.contenttypes', 'djan...

2019-11-21 20:37:52 12872

原创 Python - 判断字符串是否为数字、字母、空格等

函数说明实例返回值isdigitisalphaisspaceisdecimalislowerisupperistitleisalnum

2019-11-19 21:04:42 10799 1

原创 Python - 常用占位符

space_1 = "整数占位符：%d" % 5 # 整数占位符print(space_1) # 整数占位符：5space_2 = "字符占位符：%c%c" % (20013, 22269) # 字符占位符，输出数字对应的Unicode编码对应的字符print(space_2) # 字符占位符：中国space_3 = "字符串占位符：%s" % 'ABC' # 字符串占位符...

2019-11-19 20:44:32 7672

原创 Django - model创建数据库表经常使用的字段及参数清单

一、常用字段models.AutoField() —自增列 = int(11) 如果没有的话，默认会生成一个名称为 id 的列，如果要显示的自定义一个自增列，必须将给列设置为主键primary_key=True。models.CharField() —字符串字段单行输入，用于较短的字符串，如要保存大量文本, 使用 TextField。必须 max_length='最大...

2019-11-11 20:48:14 7562

原创 Django - 设置 session 过期时间（登录过期时间）

这里是引用settings.py# session 设置SESSION_COOKIE_NAME ＝ "sessionid" # Session的cookie保存在浏览器上时的key，即：sessionid＝随机字符串（默认）SESSION_COOKIE_PATH ＝ "/" # Session的cookie保存的路径（默认）SESSION_CO...

2019-11-08 22:33:36 13139

原创 Python - PyMySQL操作数据库

之前用的Python2，连接MySQL用的是MySQLdb。现在换成python3.x了，由于 MySQLdb 模块还不支持 Python3.x，所以 Python3.x 如果想连接MySQL需要安装 PyMySQL模块，以下将介绍PyMySQL的详细用法

2019-11-07 21:44:09 6641

Python OpenCV模块通过调用摄像头并截图保存功能的实现代码

PyCharm安装教程.pdf

空空如也