- 博客(44)
- 资源 (9)
- 收藏
- 关注
原创 pycharm集成github项目,拉取项目并进行代码管理
找到一个想要拉取github项目的路径,打开git命令行,执行git clone http…路径,可能会需要你输入git的用户名和密码;用pycharm打开该项目;添加python解释器,我用的是annoconda,用来维护本地python开发环境还是比较方便的。因为我要使用playwright,pytest等框架。playwright据说只对python3.7+版本友好,其他版本会有兼容问题,这里我也使用py3.7如果你的github项目还算比较正式的话,会有一个requirements.txt
2024-04-23 16:12:53
487
原创 python操作dataframe--打乱df的顺序
在上面的示例中,sample(frac=1)会按照随机顺序对DataFrame进行抽样,实现了打乱DataFrame的顺序。reset_index(drop=True)会重置索引,使得索引按照新的顺序重新排列。此外,pandas的sample还有一些其他参数和用法。DataFrame中的sample()方法用于从DataFrame中随机抽取指定数量或比例的行或列。要打乱DataFrame的顺序,可以使用sample方法来实现。可以根据自己的实际情况调整代码中的DataFrame和列名。
2024-03-14 16:00:01
748
原创 python txt or 日志等超大文本文件读取
本文着重介绍了大文件读取时遇到的问题和解决办法,可以不用一次把文件全部内容加载到内存里,避免了因为文件过大导致的内存占满导致计算机卡死的情况
2023-10-16 10:46:58
157
原创 ubuntu中使用docker部署mysql
docker images:查看已有镜像docker pull mysql:拉取镜像docker ps -a:查看已有容器docker -o mysql8.0.33.tar(保存镜像使用的名称) mysql(被保存的镜像):避免重复下载,可以把镜像保存下来文件夹重命名:mv old_name new_name删除容器:docker ps -a:查看容器id,名称等docker stop 容器名/容器iddocker rm 容器名称/容器iddocker ps -a,此时查看容器已经删除
2023-07-04 10:32:12
1158
原创 python3 DataFrame一些好玩且高效的操作
通常如果像上述那样,计算每日销售额占比数据,需要先分组求和,再通过一些字段,比如d_date,将两组数据merge,通过列计算,得到占比。pandas在处理Excel/DBs中读取出来,处理为DataFrame格式的数据时,处理方式和性能上有很大差异,下面是一些高效,方便处理数据的方法。periods可以理解为移动幅度的次数,shift默认一次移动1个单位,也默认移动1次(periods默认为1),则移动的长度为1 *freq为None时,移动的是其他数据的值,即移动periods*1个单位长度。
2023-04-13 15:37:30
899
1
原创 python pip install 换源和设置自定义超时时间
我们使用pip安装第三方模块的时候,有时候会遇到由于网络波动而引起的安装失败问题。有时候可能多安装几次就好了,有时候不行。下面两种方法可以尝试一下。随手输了一个模块名,竟然真的有这个。我们国内常用的镜像源。
2023-03-14 20:00:31
471
原创 django 返回文件中文文件名问题
今天需要通过接口返回给前端一个excel文件,业务说需要返回中文格式文件名,直接使用英文文件名是没有问题,但是使用中文会有点问题,大家一试便知。
2022-07-28 15:58:39
366
原创 celery ValueError: not enough values to uppack(expected 3, got 0)
ValueError: not enough values to uppack(expected 3, got 0)
2022-07-18 11:15:03
182
1
原创 windows下celery配置连接redis报错问题修复(TypeError: __init__() got an unexpected keyword argement )
windows下celery配置连接redis报错
2022-07-18 10:57:24
1287
1
原创 docker提交一个自己的镜像
以ubuntu为例[local env]docker search ubuntu # 查看ubuntu[local env]docker pull ubuntu [local env]docker images -a[local env]docker run -it --name ubuntu01 -P ubuntu /bin/bash # -it:运行并进入容器 -d:随机端口 --name:镜像别名[container env]apt-get update[contain.
2022-04-12 11:04:47
787
原创 docker部署nginx容器内安装vim
进入到运行起来的容器内:docker exec -it 容器id /bin/bash执行apt-get update,同步 /etc/apt/sources.list 和 /etc/apt/sources.list.d 中列出的源的索引,这样才能获取到最新的软件包。安装vim:apt-get install vim...
2022-04-11 09:20:34
4343
原创 nginx+uwsgi部署django及问题记录
step1:原理介绍nginx是什么?关于nginx的理解,目前还比较浅。看到这篇文章不错,可以参考下:https://www.cnblogs.com/wcwnina/p/8728391.html我的理解就是,nginx是一个高性能的,通过HTTP协议提供各种网络服务的轻量级web服务器。其特点是占用内存少,稳定性高,并且并发能力强等。uwsgi、uWSGI、WSGI的关系uWSGI是一个实现了uwsgi、WSGI协议的python web server。WSGI是为Python语言
2022-04-08 15:35:42
3429
原创 centos 安装uwsgi失败报错:failed with error code 1 in /tmp/pip-build-k1e3s7n4/uwsgi/
Command "/usr/bin/python3.6 -u -c "import setuptools, tokenize;__file__='/tmp/pip-build-k1e3s7n4/uwsgi/setup.py';f=getattr(tokenize, 'open', open)(__file__);code=f.read().replace('\r\n', '\n');f.close();exec(compile(code, __file__, 'exec'))" install --r
2022-04-05 19:02:55
2255
原创 docker push到dockerhub报错:An image does not exist locally with the tag:
docker push到dockerhub报错:An image does not exist locally with the tag:解决方法:docker tag 镜像id dockerhub用户名/远程仓库名:tagdocker push dockerhub用户名/远程仓库名:tag存疑:这样的话确实可以解决上述错误,但是怎么区分具体镜像的信息呢?...
2022-03-30 10:56:07
8056
原创 python使用队列实现生产消费者/进程间通信
import osfrom multiprocessing import Process, Manager, Eventimport multiprocessing# import queuefrom time import sleepfrom time_helper import time_consumeclass Producer(Process): def __init__(self, queue, tasks, event): super().__ini..
2022-03-27 18:43:30
912
原创 git下载安装及clone出现错误的解决方法
官网下载自己需要的版本:https://git-scm.com/downloads下载好了就是这么个东西双击直接一路默认也是可以的。安装好了之后,cmd运行git --version,看看是否安装成功。安装成功之后,可以配置下全局用户名和邮箱,大概就是告诉git你是谁,每次提交代码的是谁。 git config --global user.email "you@example.com" git config --global user.name "Your Name"没啥干货,.
2022-03-03 21:03:25
1200
原创 django启动报错:Error loading MySQLdb module
新建一个django项目,数据库想使用mysql,就改了下settings.py中DATABASES这个配置项,然后python manage.py runserver启动时报错了:Traceback (most recent call last): File "path\Programs\Python\Python36\lib\site-packages\django\utils\autoreload.py", line 225, in wrapper fn(*args, **kwarg.
2022-02-21 13:29:47
1751
原创 python安装模块的名称和版本快速导出 pip freeze
有新入职同事想问我要本地的python环境安装的模块和版本信息,可以用下面的命令快速导出到文本中:pip freeze > environment.txt,在当前执行命令的同级目录下会生成environment.txt文件。windows和linux用法相同...
2022-02-21 10:29:57
522
原创 git的日常用法记录
查看git提交记录:git log继续回车可以查看更多,想退出查看可以直接按“q”,功能有点像linux的vi。如果觉得看起来麻烦,可以:git log --oneline,以一行输出提交记录。重命名本地分支:git branch -m <oldbranchname> <newbranchname>从远程库中拉取某个分支其他同事的更新,再与本地指定分支进行自动merge,即使本地不存在这个分支:git pull <远程库名> <远程分支名>:<.
2022-02-18 15:41:42
423
原创 django 导入自建模块报异常:no module named ‘build_by_yourself‘
问题描述:我在python项目根目录下创建了一个django项目,django项目里创建了若干app。我在app的视图层中我想引入自己写的DAO模块的时候报错no module named ‘build_by_yourself’。解决方法:在django项目的setting.py中,引入sys,然后把sys.path.append(’…’)加上,可以解决所述问题。python在引入系统内置模块,已安装第三方模块和自建模块时,会分别搜索三个模块所在的位置。sys.path是一个列表,里面包含了导入模块所有
2022-02-16 08:49:57
1404
原创 python线程池ThreadPoolExecutor和as_completed的用法示例
ThreadPoolExecutor, as_completed用法示例
2021-12-06 15:01:37
3388
原创 python多进程concurrent.futures.ProcessPoolExecutor使用方法示例
ProcessPoolExecutor用法示例
2021-12-06 14:19:51
3508
1
原创 2021-07-17
python中reduce/map/filter和lambda结合起来的一些用法示例filter:两个参数,第一个参数是判断真假的函数,第二个参数是待处理的序列。filter函数会把后面的序列遍历,使用前一个参数判断是否符合条件,符合即填入最后返回的序列当中list(filter(lambda x: x >= 10, range(20)))[10, 11, 12, 13, 14, 15, 16, 17, 18, 19]map:map函数会把待处理的序列,用所传进来的函数处理
2021-07-17 17:40:20
78
原创 2021-07-14
Ubuntu16安装mysql之后,远程访问不上的问题记录mysql安装的是5.7版本。安装好了之后,使用工具heidiSQL远程连接Linux的数据库,但是连接不上。查了下,原来是因为mysql的配置文件做了限制,只能够本地访问。修改如下:cd /etc/mysql/mysql.conf.dvim mysqld.cnf找到bind-address = 127.0.0.1,注释掉就可以了...
2021-07-14 14:41:28
64
原创 python3 继承和重写简单示例
class Hero: def __init__(self): self.profession = None self.height = 2 self.weight = 90 self.speed = 2 def walk(self, name, metre): print('父类:{}以 {}m/s...
2020-03-05 11:46:09
254
原创 python3 字典合并
# 字典合并d1 = {'a': 1, 'b': 2}d2 = {'c': 3, 'd': 4}# 方法1:# d3 = dict(d1, **d2)# print(d3)# 方法2:# d1.update(d2)# print(d1)
2020-03-05 11:30:19
243
原创 win10安装numpy/pandas
pip install matplotlib -i http://pypi.douban.com/simple --trusted-host pypi.douban.compip install numpy -i http://pypi.douban.com/simple --trusted-host pypi.douban.compip install pandas -i http://py...
2020-03-04 17:14:35
359
原创 django项目:python3 manage.py runserver 127.0.0.1:8000没反应
python3 manage.py runserver 127.0.0.1:8000没反应,可以试试:python manage.py runserver 127.0.0.1:8000。原因:
2020-01-31 20:04:22
5406
1
原创 js逆向(七)wcbchina.com md5
url:https://www.wcbchina.com/login/login.htmltarget: 登录加密简单分析:3.1 这是一个非常简单的md5加密。复制“password”,搜索,找到调用加密js的地方:3.2 找到加密函数:3.3 提取加密函数,稍微封装下,运行,结果:...
2020-01-10 09:19:28
220
原创 js逆向(六)dns.com AES
url: https://www.dns.com/login.htmltarget: 登录password参数加密简单分析3.1 分析加密js的调用:3.2 寻找具体加密js函数,还挺多的。运行结果如下:
2020-01-09 22:00:46
182
原创 js逆向(五)5173.com md5
url: https://passport.5173.com/?returnUrl=http%3a%2f%2fwww.5173.com%2ftarget: 登录password加密简单分析:3.1 随机输入账号密码,登录,抓包。3.2 找到登录请求,查看加密参数:3.3 很明显,md5加密。直接去搜索“md5”,去看看是哪里调用的,找到之后,打上断点调试下,确定是这里:3.4 找...
2020-01-09 17:14:58
553
encrypt.js
2020-01-07
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人