- 博客(23)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 ClickHouse
类from typing import List, Dict, Anyfrom clickhouse_driver import Clientclass ClickHouseHelper: def __init__(self, host: str, port: int, user: str, password: str, database: str): """ ClickHouse 数据库操作类构造函数 Args: h
2023-05-24 13:08:44
125
原创 python使用faker造数据
@faker安装pip install faker使用方法from faker import Fakerfake = Faker(locale='zh_CN') # 设置造的数据是中文的ps：如果需要英文的，可以把参数去掉，默认就是英文的，支持的语言如下： ar_AA, ar_AE, ar_EG, ar_JO, ar_PS, ar_SA, az_AZ, bg_BG, bn_BD, bs_BA, cs_CZ, da_DK, de, de_AT, de_CH, de_DE, dk_DK,
2022-05-06 11:21:39
320
原创 python获取不定层级的字典结构
答案代码# 递归获取json中的全部的key 或者说递归获取字典中的全部的key# 执行方法def json_handle(indict): """ 处理不定层级的json文件 :param indict: 需要处理的json文件 :return: 处理后的json格式数据 """ dic = {} for i in dict_generator(indict): dic['.'.join(i[0:-1])] = i[-1]
2022-03-23 17:13:57
864
原创 Scrapy的yield不添加url
@Scrapy的errback巧用我有一个需求：我想用yield，但是呢我还没有url，或者说想用yield但是yield请求回来的东西又没有什么用，如果一直请求某个网址的话，肯定对相关网址造成很大的负担，那该咋办呢？yield scrapy.Request中的url是必填的，所以第一种不填url是不可行的（除非改源码），!官方的参数介绍文档，这里面介绍一些参数的涵义，然后我就发现了一很有意思的参数：如果我给一个不存在url，然后去请求，使用errback去调用我想调用的方法，这样是不是就可以解决呢？样例
2022-03-15 10:10:25
803
1
原创 Python中List.clear()和直接赋值为空的区别
结论clear()是清空内容，不改变地址，而直接重新赋值为空，会开辟新的地址。代码论证list1 = ['csdn', 'github']list2 = []for i in range(3): list2.append(list1)print(list2)现在我改一个地方。list1 = ['csdn', 'github']list2 = []for i in range(3): list2.append(list1)list1.clear()print
2021-12-31 16:44:56
1486
原创 flask+redis+Mysql的简易聊天室（二）
Simple_chat简易聊天室介绍Redis+Python3+flask实现简易聊天室源码GitHub演示网址这里Redis说明这里面一共用到了3个redis的库，0库目前左右存储用户名的，后面有可能放弃使用，11和10是来校验token的，并且修复了一个用户可以产生多个token的情况，12库用来存储聊天记录，这个库一定要空，原因是后面会写一个维护的脚本，每天12点清空聊天室的内容，这样可以减少内存消耗，配置dockerfile已将写好，修改完config.py中的配置后可以直接
2021-12-07 11:38:15
415
原创 MySQL大量数据导入优化
背景需要往数据库中导入千万级别的数据，数据存储在sql文件中，文件中都是单独的sql语句。初版解决方法使用python开线程，多文件同时读取，执行sql语句，测试预估5000条/分，速度还行，但是需要大量时间。sql优化思路影响存储速度的主要三个因素：网络IO速度、本地读取速度、cpu读取速度，三者耗时比较：网络IO速度>本地读取速度>cpu读取速度，所以需要尽可能的减少网络请求，将所有的压力给cpu，这样可以最大程度的减少网络请求。方法使用线程多个文件同时读取，这样可以减少本
2021-12-03 10:19:10
678
原创 flask+redis+Mysql的简易聊天室（一）
Simple_chat介绍Redis+ Python3 + flask实现简易聊天室源码https://github.com/zh19990906/Simple_chatsRedis说明这里面一共用到了3个redis的库，0库目前左右存储用户名的，后面有可能放弃使用，11和10是来校验token的，并且修复了一个用户可以产生多个token的情况，12库用来存储聊天记录，这个库一定要空，原因是后面会写一个维护的脚本，每天12点清空聊天室的内容，这样可以减少内存消耗，配置dockerfile已
2021-11-29 11:36:44
1363
原创 python定时任务
前言不是sleep方法，直接写我用的指定时间运行程序的方法。代码import scheduleimport timeimport osdef func1(): os.system("python3 sentinel.py") print("下载完成") print(time.strftime('%Y-%m-%d %H:%M:%S')) print("========================================================
2021-11-24 16:01:39
339
原创 linux操作笔记
linux文章目录linuxlinux环境搭建服务器连接软件Xshell&Xftppython3安装依赖环境下载python3redislinux搭建redis下载redis解压redis移动目录移动工作目录编译redis安装redis启动测试redis查看配置redis设置外网访问测试外网访问redis常用命令dockelinux搭建dockerdocker下载并安装启动docker查看docker服务状态docker常用命令docker搭建es库修改参数下载镜像访问测试安装elasticsea
2021-11-08 15:15:38
2998
原创 MySQL连接报错1130
今天在本地连接自己服务器上的数据库的时候发现出了一个错误，报错1130，网上说直接修改user表中的链接地址就行了，确实可以了，但是其他的地方又连接不上了，所以我就自己研究出了一个新的修正方法。具体放入如下：查询数据库表show databases;选择mysql表use mysql;查看数据表show tables;查询user表的所有内容select * from user;反正就是很多字段，加入你想使用root权限在本地访问，查询root的所字段selec
2021-09-10 14:31:40
154
原创 Python中的直接赋值、浅拷贝以及深拷贝的区别
@ 踩过的大坑直接赋值直接赋值是最常用的赋值方式，直接赋值会隐藏很大的隐患，代码测试：a = {'name':None,'username':None}b = {}for i in range(10): b[i] = aprint(b)a['name'] = '张三'a['username'] = '法外狂徒'print(b)for i in b: print(id(b[i]))很简单的一个代码，我定义了一个值为空的字典，然后给我的b字典，然后我去更新a
2021-09-08 10:15:16
133
原创 Scrapy
@Scrapy学习Scrapy使用异步网络库处理网络通讯，安装Scrapypip install Scrapy可以遇到的坑报错1VC++14.0 Twisted解决方法离线安装，访问网站：https://www.lfd.uci.edu/~gohlke/pythonlibs/根据版本选择文件使用命令进行安装离线文件pip install xxx.whl报错2scrapy bencn 运行报错解决方法pip install pywin32Scrapy原理
2021-08-10 17:40:47
68266
原创 Python限制函数的执行时间
@限制函数执行时间这次爬东西发现容易被封IP但是网站人挺好，只要你重新爬一次就可以继续爬，但是对于监视这个函数是否不能执行（也就是是否被封IP）如何去搞定呢？解决方法：使用线程监控该方法；监控函数如下：class MyThread(threading.Thread): def __init__(self, target, args=()): """ 因为threading类没有返回值,因此在此处重新定义MyThread类,使线程拥有返回值
2021-08-02 09:25:05
999
2
原创 学习Django
@Django一个小白的自学之路这是我在CSDN上的第一篇文章，主要是为了记录自己自学一个框架的过程，整个过程都会一直更新，主要为了督促自己可以更好的去学习，如果我的学习过程可以帮到你，那我会很高兴。学习中经常取得成功可能会导致更大的学习兴趣，并改善学生作为学习的自我概念。为什么学？这个篇文章的写作时间是2021年7月，也就是我毕业的时间，这个时间比较尴尬，很多公司招人都着了差不多了，所以招的人数和工资都会被压缩，每天都在看各种招聘信息，感觉自己缺少的东西真的太多了，因此想丰富一下自己的知识结构。
2021-07-16 21:27:48
13917
15
空空如也
Flask+Vue+redis的存储session问题
2021-11-16
TA创建的收藏夹 TA关注的收藏夹
TA关注的人