python
西山枫叶
计算机专业 做爬虫 / 逆向 / python 后端
展开
-
【新】Python获取前N周时间开始日期和截止日期
【代码】【新】Python获取前N周时间开始日期和截止日期。原创 2022-09-17 18:34:11 · 586 阅读 · 1 评论 -
ocr识别-总结python图片操作
本周使用了百度的OCR图片识别服务,遇到了一些问题,这里总结一下。其中api中说明识别限制:1.图片 分辨率不高于4096*40962.图片 base64编码后小于4M超过后,需要重新上传针对这两个要求做一下图片处理,主要使用python的PIL包思路主要是:超过限制的就缩小图片分辨率1.图片 分辨率不高于4096*4096from PIL import Image#等比例缩小def process_image(filename, mwidth=4000, mheight=400原创 2020-08-31 17:57:38 · 806 阅读 · 0 评论 -
java getBytes() 转 python bytearray()
java getBytes 转 python bytearrayJava 代码结果python结果Java 代码import java.io.*;import java.util.Arrays;public class Main { public static void main(String[] args){ String Str1 = "1576059389...原创 2019-12-11 18:57:43 · 4245 阅读 · 2 评论 -
递归和尾递归优化
递归递归简而言之就是自己调用自己。使用递归解决问题的核心就是分析出递归的模型,看这个问题能拆分出和自己类似的问题并且有一个递归出口。比如最简单的就5的阶乘,可以把它拆分成5*4!,然后求4!又可以调用自己,这种问题显然可以用递归解决,递归的出口就是求1!,可以直接返回1。用Python实现如下: def fact(n): if n==1: return n ...原创 2018-11-16 20:18:52 · 496 阅读 · 0 评论 -
python电商项目之启动各种服务
电商项目运行前需要启动各种服务1.数据库 mysql redis2.服务器 nginx3.调度器 tracker4.存储器 storage5.任务队列 celery1.首先要联网,自己机器的 ip 要和往常一样 ,这样mysql 会自动连接否则会出bug2.redis要用配置文件启动redis-server /usr/local/redis/redis.confre...原创 2018-10-23 10:06:42 · 1134 阅读 · 0 评论 -
Python Django框架下做电商项目
这个项目是在Linux 环境下做的,需要安装的有ubuntu、pycharm、pycharm如果没有激活的可以使用-----pycharm 最新激活码激活可用流程在虚拟环境下搭建django框架用pycharm创建项目并配置...原创 2018-10-10 20:18:38 · 5529 阅读 · 0 评论 -
解决---MISCONF Redis被配置为保存RDB快照,但目前无法在磁盘上存留。可能修改数据集的命令被禁用。请检查Redis日志,了解有关错误的详细信息。
出现bug:在学习celery,将数据保存到redis时出现下面的bug。consumer: Cannot connect to redis://192.168.12.188:6379/3: MISCONF Redis is configured to save RDB snapshots, but is currently not able to persist on disk. Comma...原创 2018-10-15 10:50:14 · 7578 阅读 · 0 评论 -
Python面试题----Python 的re模块中match、search、findall、finditer的区别
请简要说明Python 的re模块中match、search、findall、finditer的区别re是Python中用于正则表达式相关处理的类,这四个方法都是用于匹配字符串的,具体区别如下:match匹配string 开头,成功返回Match object, 失败返回None,只匹配一个。search在string中进行搜索,成功返回Match object, 失败返回None...原创 2018-10-18 08:48:02 · 1112 阅读 · 0 评论 -
继承----super 调用父类的相同方法(python)
如果一个子类继承多个父类,然后调用父类的相同的方法,使用__mro__ 可以查看查找次序在python 中 有这样的机制,如果之前一个父类中的方法调用过了,下一次就会继续往下找,而不是重复调用实例:class A: @classmethod def f(cls): print("A......") super().f()#super(...原创 2018-10-14 11:59:18 · 741 阅读 · 0 评论 -
Python编程之md5加密和sha1加密
Python编程之消息加密在python中进行消息的加密,下面是md5加密方法和sha1加密方法:import hashlibdef my_md5(value): m = hashlib.md5() m.update(value.encode('utf-8')) return m.hexdigest()def my_sha1(value): m =...原创 2018-09-22 20:45:20 · 1139 阅读 · 2 评论 -
Python 随机数验证码
生成四个随机数的验证码直接上代码:这是生成验证码的方法:def validate_code(request): # 定义变量,用于画面的背景色、宽、高 # bgcolor = (random.randrange(256), random.randrange(256), random.randrange(256)) bgcolor = (255,255,255) ...原创 2018-10-12 11:04:31 · 1157 阅读 · 0 评论 -
python manage.py runserver报错
在运行下面命令之后python manage.py rserver 192.168.12.188:8001预期的结果是这样的:但是却报了这样的错误:数据库密码不正确解决:setting中的配置得修改对。#配置连接mysqlDATABASES = { 'default': { 'ENGINE': 'django.db.backends.mysql',...原创 2018-09-27 11:43:57 · 8314 阅读 · 0 评论 -
转发和重定向(python)
转发和重定向转发:只有一次请求和响应重定向:两对以上的请求和响应使用:renderrender(request, template_name[, context])结合一个给定的模板和一个给定的上下文字典,并返回一个渲染后的HttpResponse对象request:该request用于生成responsetemplate_name:要使用的模板的完整名称context:...原创 2018-10-11 20:17:20 · 4044 阅读 · 0 评论 -
一个bug找一天
最近做一个电商类的毕业设计在写商品详情时 点击添加到购物车 然后没反应我写的是一个带有css 动画的 并且点击之后右上角的购物车中商品数目加1bug1:url ----没写 .as_view()方法urlpatterns=[ url(r'^add$',views.CartaddView,name='add'), #之前在这没写 .as_view()方法 url(...原创 2018-10-25 22:04:01 · 823 阅读 · 0 评论 -
Python 面试题
准备一下python 面试题0.pythonPython垃圾回收机制先问迭代器、装饰器、生成器,协程,协程在项目里怎么用的(重点)列表 元组python2和python3的区别rest framework接口规范range函数多线程 多进程位运算符Python的数据类型python多线程与其他语言多线程的区别python中的字典多线程和协程两者之间的关系?多线程在多...原创 2018-11-01 10:10:15 · 3659 阅读 · 2 评论 -
python中json文件处理涉及的四个函数json.dumps()和json.loads()、json.dump()和json.load()的区分
json.loads()和 json.dumps()作用是相反的字符串------------>字典 json.loads()字典------------>字符串 json.dumps()json.load()和 json.dump()作用也是相反的json信息------------>写入文件 json.dump()从文件-...原创 2018-11-06 22:39:36 · 1532 阅读 · 0 评论 -
服务器开启自启脚本、服务(亲测)
某次需要服务器重启一下,然后需要重新开启各种服务,然后就考虑将脚本和服务做成开机自启的。百度了很多,晚上说有三种方式。。。。。我只精确试了一种最简单的。就是直接在脚本/etc/rc.d/rc.local(和/etc/rc.local是同一个文件,软链)末尾添加自己的脚本然后,增加脚本执行权限chmod +x /etc/rc.d/rc.local实验一: 重启 redis (前...原创 2019-09-23 17:14:24 · 1427 阅读 · 0 评论 -
python 使用pymysql模块通过ssh隧道连接mysql(python、mysql、ssh)
参考链接今天做一个日志抓取的爬虫,然后碰到一个问题,我要在本地将数据存到线上BI数据库,但是这个线上数据库只能通过特殊的一台机器来连(这里称跳板机)而且是通过ssh这种方式。localhost----> 机器A ------->机器B怎么办呢?然后查了一下,查询了一个可以用的工具叫sshtunnel ,需要在你想要登录数据库的机器上安装。首先是安装:pip3 instal...原创 2019-09-04 19:01:36 · 3232 阅读 · 1 评论 -
selenium模拟登陆之截屏验证码位置跑偏
在用selenium做爬虫的模拟登陆时遇到验证码图片截取下来的和目标区域的图片不匹配截到的:目标是这样的:明显坐标写的不对,导致截屏区域不是验证码的区域。只能一步一步取修改坐标,来确定具体的图片位置。服务器上和测试环境的坐标有时候也不一样,也是需要重新再找一遍。...原创 2019-07-31 19:25:37 · 1389 阅读 · 3 评论 -
修改一下pip install 下载的包然后再执行的步骤
之前安装了spiderkeeper ,用了一段时间后发现添加任务的api功能不好用,就想修改一下里面的逻辑,在这里记录一下步骤:1.先在github上下载下来你要的安装包(点击Downloda ZIP下载):2.然后在本地打开,并修改你不满意的代码。3.然后在终端代开该文件目录,输入:pip install .注意 最后有个点 ‘.’...原创 2019-08-02 18:49:13 · 1630 阅读 · 0 评论 -
在sqlite中查看SpiderKeeper日志
今天遇到了一个数据延时的问题,想要查看spiderkeeper 的日志,找到spiderkeeper文件夹下的SpiderKeeper.db文件,用navicate打开发现报错。The database disk image is malformed然后百度找到一个大佬的解决方案:sqlite关于The database disk image is malformed问题的解决顺利解决,...原创 2019-06-10 21:35:05 · 463 阅读 · 0 评论 -
python 字典转字符串 中文编码问题
python 字典转字符串 中文编码问题字典转字符串json.dumps()中文编码问题:json.dumps(huoshan_dict["filter_words"], ensure_ascii=False)原创 2019-05-29 17:31:11 · 4432 阅读 · 0 评论 -
python对utf-8的中文转换
str = '\\u6765\\u6e90:\\u82f1\\u5b5a\\u6559\\u80b2'str1 = str.encode('utf-8').decode('unicode_escape')print(str1)原创 2019-05-29 17:14:25 · 18405 阅读 · 0 评论 -
Python进阶之Scrapy的暂停与重启
我在极光代理网站看到的这一篇-----》链接Scrapy的每一个爬虫,暂停时能够记录暂停状态和爬取的URL,重启时能从暂停状态开始爬取过的URL不在爬取怎么实现暂停与重启记录状态措施一:1、第一步cd进入到scrapy项目里2、在scrapy项目中新建存储记录信息的文件夹3、执行命令:scrapy crawl 爬虫名称 -s JOBDIR=保存记录信息的路径如:scrapy cr...转载 2019-05-28 22:08:33 · 1456 阅读 · 0 评论 -
python 字典生成式 (多种实例测试,一看就懂)
字典生成式d = {key: value for (key, value) in iterable}其中iterable是一个可迭代的对象,比如list例1:# for 循环遍历列表,将列表中小元组的key和value取出,作为字典中的key:valuelist4 = [('name','zhangsan'),('age','11'),('phone','a')]dict_1 =...原创 2018-11-05 22:47:31 · 4757 阅读 · 0 评论 -
Cannot resolve keyword ‘user_name‘ into field. Choices are: create_time,
bug:Cannot resolve keyword ‘user_name’ into field. Choices are: create_time, date_joined, email, first_name, groups, id, is_active, is_delete, is_staff, is_superuser, last_login, last_name, logentry,...原创 2018-10-11 19:43:20 · 13604 阅读 · 1 评论 -
in <module> import MySQLdb as Database ImportError: No module named 'MySQLdb'
bug:Traceback (most recent call last):File “/home/wem/.myvirtualenvs/dailyfresh/lib/python3.5/site-packages/django/db/backends/mysql/base.py”, line 24, in import MySQLdb as DatabaseImportError: No...原创 2018-10-11 10:25:45 · 2964 阅读 · 0 评论 -
收藏------------雨痕 的《Python学习笔记》
雨痕 的《Python学习笔记》原创 2018-08-20 20:04:23 · 3051 阅读 · 0 评论 -
Python概述
自学Python为甚么学Python呢,简单的就是目前就业Python是比较热门的。先了解一下 Python 今天学Python的第一天,以后呢,还会经常分享学习Python的经验。...原创 2018-07-09 18:25:56 · 266 阅读 · 0 评论 -
Python 中字符串的使用方法
字符串所谓字符串,就是由零个或多个字符组成的有限序列使用字符串字符串使用方法总结: 一个分割字符串的示例: 执行结果:原创 2018-07-25 18:31:28 · 388 阅读 · 0 评论 -
Python random模块的功能和简单随机验证码
Random模块的功能:random 模块是Python自带的模块,除了生成最简单的随机数以外,还有很多功能#random模块 - -random是一个生成器# 导入模块import random # 打印random模块帮助信息help(random) # 随机生成 a - b 之间的整数random.randint(a, b) ...原创 2018-08-01 21:15:27 · 601 阅读 · 0 评论 -
Python线程面试题
1.什么是GIL,怎么解决GIL?在python的原始解释器CPython中存在着GIL(Global Interpreter Lock,全局解释器锁),因此在解释执行python代码时,会产生互斥锁来限制线程对共享资源的访问,直到解释器遇到I/O操作或者操作次数达到一定数目时才会释放GIL。所以,虽然CPython的线程库直接封装了系统的原生线程,但CPython整体作为一个进程,同一时间只...原创 2018-08-16 15:38:06 · 3924 阅读 · 1 评论 -
(三)进程VS线程
功能:进程,能够完成多任务,比如 在一台电脑上能够同时运行多个QQ线程,能够完成多任务,比如 一个QQ中的多个聊天窗口定义的不同进程是系统进行资源分配和调度的一个独立单位.线程是进程的一个实体,是CPU调度和分派的基本单位,它是比进程更小的能独立运行的基本单位.线程自己基本上不拥有系统资源,只拥有一点在运行中必不可少的资源(如程序计数器,一组寄存器和栈),但是它可与同属一...原创 2018-08-15 17:48:05 · 192 阅读 · 0 评论 -
(二)Python创建线程的方式
创建线程创建线程的两种方法:1,直接调用threading.Thread来构造thread对象,Thread的参数如下:class threading.Thread(group=None, target=None, name=None, args=(), kwargs={})group为None; target为线程将要执行的功能函数; name为线程的名字,也可以...原创 2018-08-15 17:37:50 · 413 阅读 · 0 评论 -
Python如何发布程序
如何发布一个Python程序:1.安装一个pyInstaller在pycharm里点 file —–>setting—–>Project workspace——>Interpreter——>点pip右边的+号,进入下面这个界面:搜索pyInstaller, 点击左下方Iinstall package安装(出现错误了可以多安装几次)(或者在...原创 2018-08-11 19:43:15 · 34317 阅读 · 1 评论 -
某个变量当作函数的参数传递后,函数内部修改了。到底这个变量是否受影响
某个变量当作函数的参数传递后,函数内部修改了。到底这个变量是否受影响变量:变量的概念基本上和初中代数的方程变量是一致的,只是在计算机程序中,变量不仅可以是数字,还可以是任意数据类型。变量的数据类型有哪些:数字 字符串 布尔值 列表 元组 字典 空值数据类型可变与不可变:&gt;可变类型:列表,元组,字典不可变类型:数字,字符串,其他的...原创 2018-07-25 17:01:48 · 2886 阅读 · 0 评论 -
经set去重后不能直接比较
在做—– leetcode存在重复元素—– 这道题时,用set处理列表时发现的一个小问题:经set去重后,列表会变成乱序,和原列表比较的话,会显示两者不等所以set去重后不能直接比较class Solution: def containsDuplicate(self, nums): nums = sorted(nums) nu = n...原创 2018-08-20 20:22:42 · 552 阅读 · 0 评论 -
Python网络编程 之 UDP和TCP
UDP1.udp是TCP/IP协议族中的一种协议能够完成不同机器上的程序间的数据通信2.udp服务器、客户端udp的服务器和客户端的区分:往往是通过请求服务和提供服务来进行区分请求服务的一方称为:客户端提供服务的一方称为:服务器3.udp绑定问题一般情况下,服务器端,需要绑定端口,目的是为了让其他的客户端能够正确发送到此进程 客户端,一般不需要绑定,而是让操作系统...原创 2018-08-20 21:52:50 · 388 阅读 · 0 评论 -
Python网络编程之web服务器
1.HTTP协议HTTP协议(HyperText Transfer Protocol,超文本传输协议)使用于从www服务器传输超文本到本地浏览器的传送协议。它可以使浏览器更高效,使网络传输减少。它不仅保证计算机正确快速地传输超文本,还确定传输文档中的哪一部分,以及那部分内容首先显示(如文本先于图形)等HTTP是基于TCP/IP通信协议来传递数据(HTML 文件, 图片文件, 查询结果等)。...原创 2018-08-21 20:15:40 · 761 阅读 · 0 评论 -
学完python可以做哪些工作
学完python可以做哪些工作原创 2018-09-14 08:51:05 · 3473 阅读 · 0 评论