- 博客(120)
- 资源 (6)
- 收藏
- 关注
RSS订阅
原创 python爬虫将数据写入csv以及LSTM序列预测
python爬虫并且将数据写入csv写入csv文件的方法有很多中，下面代码用到的是文件操作方式。还有一种参考另一篇文章中的代码，pandas写入csvpandas写入csvimport requestsfrom bs4 import BeautifulSoupimport jsonimport csvdef get_city_aqi(pinyin): url = 'http://www.pm25.in/' + pinyin r = requests.get(url, ti
2020-06-30 09:49:51
9596
3
原创 关于红酒品质的python数据分析
import pandas as pdimport numpy as npimport matplotlib.pyplot as pltimport seaborn as sns# 颜色color = sns.color_palette()print(color)# 数据精度pd.set_option('precision', 3)[(0.8862745098039215, 0.2901960784313726, 0.2), (0.20392156862745098, 0.541176
2020-05-09 15:04:12
9947
原创 img_gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) cv2.error: OpenCV(4.2.0) C:\projects\opencv-python
@解决 img_gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)cv2.error: OpenCV(4.2.0) C:\projects\opencv-python\opencv\modules\imgproc\src\color.cpp:182: error: (-215:Assertion failed) !_src.empty() in functi...
2020-05-08 14:50:44
16132
原创 selenium被反爬了怎么办？
在最近的业务需求中发现淘宝，美团吗，京东各大网站已经对selenium进行了反爬；推测，服务器端因该是判断一些特殊的字段和方法来识别爬虫，毕竟selenium下的chromedriver 与真实的chrome所在的环境和配置等是有差异的。为了完成项目需求，我尝试了一些简单的方法；方法一：发送请求的时候携带cookie，采用requests的Session状态保持，事实证明这种方法简单有效，...
2019-09-28 09:14:14
5116
原创 Python实现二叉树和二叉树的遍历
二叉树是一种常见的树状数据结构，它由节点（Node）组成，每个节点最多有两个子节点，称为左子节点和右子节点。以下是二叉树的一些基本原理：节点 (Node)：二叉树由节点组成，每个节点包含一个值和指向左右子节点的指针。根节点 (Root Node)：二叉树的顶层节点称为根节点。在一棵二叉树中，只有一个根节点。子节点 (Child Node)：每个节点可以有最多两个子节点，称为左子节点和右子节点。叶节点 (Leaf Node)：没有子节点的节点被称为叶节点，也称为终端节点。
2023-08-03 18:48:12
265
原创 Postgresql取消正在执行的任务或强制终止正在执行的任务
使用 pg_terminate_backend 函数：如果需要强制终止任务，而不是仅取消执行，可以使用 pg_terminate_backend 函数。执行这些操作需要具有适当的权限。确保你有足够的权限来执行这些命令，或者使用具有适当权限的用户身份连接到数据库。此外，强制终止任务可能会导致未完成的事务被回滚，因此请谨慎使用。这将向所有处于活动状态的任务发送取消信号，并尝试终止它们的执行。此命令将强制终止所有活动状态的任务。
2023-08-01 13:50:15
3357
原创 Git 中集中代码提交的版本或里程碑和状态的集中方法
使用 git tag -a -m “tag message” 命令可以为特定的提交创建一个带注释的标签。使用 git commit -m “commit message” 命令进行简单的提交，并附带一个提交消息。Git 中，你可以使用提交记录和标签来记录代码的不同状态、版本或里程碑。使用 git log --oneline 命令可以以简洁的方式显示提交记录。使用 git tag 命令可以为当前提交创建一个标签。
2023-07-12 14:58:04
158
原创 神经网络中，前向传播、反向传播、梯度下降和参数更新是怎么完成的
这个过程通常会进行多个训练迭代，直到达到预定的停止条件（例如达到指定的训练轮数或损失函数收敛）。通过不断地调整参数并最小化损失函数，神经网络能够逐渐提升其性能和准确性。
2023-07-11 14:55:31
1686
原创 pytorch实现简单的线性回归cpu版本和gpu版本
gpu版本 后面对tensor要进行一些操作的话 如果使用了gpu训练 需要将gpu tensor转为cpu tensor detach()手动实现线性回归参考另一篇文章。
2023-07-11 14:27:15
581
原创 python类中常用的魔法方法和区别
(self, exc_type, exc_value, traceback): 支持对象的上下文管理器协议，用于处理资源的获取和释放。返回值：应返回一个字符串，该字符串提供了对象的可读性更好的描述，但无需提供完整的信息或用于重新创建对象的详细数据。返回值：应返回一个字符串，该字符串描述了对象的状态或值，并且可以通过此字符串重新创建或重现对象。(self, key, value): 设置对象通过索引或键访问的元素的值。(self): 返回对象的可读性较好的字符串表示形式，通常用于输出和显示。
2023-07-05 15:41:10
277
原创 python类的属性和实例属性的区别和生命周期
此外，类的属性还可以被所有实例共享，并且可以通过 ClassName.attr 的形式访问和修改。因此，如果需要在多个实例之间共享一些状态或数据，并且这些状态或数据与特定的实例无关，则可以使用类的属性。需要注意的是，类的属性和实例属性都有各自的用途和限制，并且应该根据具体的情况来选择使用哪种属性。如果在程序中修改了实例属性的值，则只有该实例受到影响，其他实例不受影响。如果在程序中修改了类的属性值，则所有访问该属性的实例都会受到影响。类的属性和实例属性的生命周期是不同的。类的属性和实例属性的区别。
2023-06-16 16:10:27
381
原创 python类的定义:手动定义getter和setter方法和使用dataclass装饰器的类
手动定义 getter 和 setter 方法可以更加灵活地处理属性的值，并且可以进行各种数据验证和转换操作。但是，这也会增加代码的复杂度，并使得类定义更加冗长。因此，在处理简单的数据时，建议使用 dataclass 装饰器，而在处理复杂的数据时，可以考虑手动定义 getter 和 setter 方法。
2023-06-16 15:31:07
308
原创 pandas中axis=1,axis=0的理解,统计每行或每列中为0的数
把asix理解为变化轴axis=1,行不变,进行扩展列或压缩列,操作结果列变多或变少axis=0,列不变,进行扩展行或压缩行,操作结果行变多或变少。
2023-05-31 13:56:34
213
原创 Fastapi请求体嵌套验证及自定义异常错误
app . exception_handler(RequestValidationError) async def request_validation_exception_handler(request : Request , exc : RequestValidationError) : logger . error(f"参数错误: method: {
2023-04-21 09:41:20
309
原创 新版本ProPhet时间序列预测1:模型解释和安装和初步使用
Prophet原理图Prophet的大致原理如下，它将一个时间序列看成是三部分的组合：趋势，季节和假日和其他。模型默认线性趋势，但如果数据按照log方式增长的，可调节为growth=”logistic”逻辑回归模型。针对节假日，可通过holiday来进行调节，针对不同的假期，可调整不同的前后窗口期，例如：春节7日。异常值可设置成None，防止影响模型的拟合。在设定周期性时，模型默认按照年、星期、天设定，月和小时如需要自行设定。区别: 1.0版本叫prophet
2023-04-19 11:05:38
837
原创 Fastapi报错RuntimeError: no validator found for ＜class ‘typing._UnionGenericAlias‘＞, see `arbitrary_ty
使用FastAPI 请求体 - 嵌套模型的时候报错, 不嵌套的时候是可以的。
2023-04-14 13:15:00
1608
1
原创 postgre空间坐标将有geometry的数据批量插入和批量更新
有geometry的数据批量插入有geometry的数据批量更新生成原生sql批量更新调用上面更新函数提示要是没有空间geometry字段可以尝试更快速的批量插入更新和删除 直接操作dataframe即可链接 添加链接描述
2022-12-07 10:35:03
324
原创 pandas时间中提取年月日分钟小时和字符串替换及map等操作
""" name age tel0 asfds 20 131***52541 asfds 14 131***52542 asfds 5 131***52543 asfds 86 131***52544 dfd 34 131***52545 df 45 131***5254"""
2022-12-07 10:08:34
1686
原创 django_restful序列化和反序列化器验证和操作数据库
常用验证功能 max_length mim_length allow_black 是否允许为空 trim_whitespace 是否截断空白字符 max_value min_value。支持验证功能 age校验(max_value=100, min_value=0)help_text 用于html展示api页面时,显示的字段帮助提示信息。通用参数: read_only 仅用于序列化输出 默认False。write_only 仅用于反序列化输入 默认False。default 反序列化使用的默认值。
2022-11-18 13:15:56
426
原创 Postgrge数据库操作(计算最近距离,计算质心点,空间坐标转换,主键设置,pandas批量入库空间坐标数据)
思路:将点连接成面来计算,st_centroid 是针对多线,面,多面来计算质心点的。新建id主键并更新数据。查看序列值,设置序列值。
2022-10-26 18:34:47
468
2
原创 geopandas和shapely使用(使用pyproj进行坐标转换)
【代码】geopandas和shapely使用(使用pyproj进行坐标转换)
2022-10-26 15:07:08
435
原创 Cython代码加密, 使用 Cython 将 Python 代码编译为二进制(将整个Django项目编译成功并部署)
; 将被编译的文件paths = app; 编译时忽略的文件，支持正则ignores = setup.py __init__.py config.py password_config.py; 用于子命令`init`, 拷贝项目时会忽略的文件，Glob风格copy_ignores = *.pyc *.md; The build directorybuild_dir = mypro; 用于子命令`run` and `git-diff`, 编
2022-08-30 15:56:13
827
原创 Django框架web开发实战:验证码,文件上传,分页,admin,中间件(六)
Django的模型类（django.db.models.Model）提供了两个字段FileField和ImageField用于上传文件和图片。而ImageField继承之FileField，使用Django的ImageField需要提前安装pillow模块，即可。
2022-08-24 18:21:17
89
原创 Django框架web开发实战:请求与响应(五)
Request 和 Response 对象起到了服务器与客户机之间的信息传递作用。Request 对象用于接收客户端浏览器提交的数据，而 Response 对象的功能则是将服务器端的数据发送到客户端浏览器。对于 HttpRequest 对象来说，是由 Django 自动创建, 但是，HttpResponse 对象就必须我们自己创建。每个 View 方法必须返回一个 HttpResponse 对象。Cookie实际上是一种数据存储技术，由服务器生成，并保存在客户端(浏览器)的一种技术。
2022-08-24 18:16:32
129
原创 python操作postgre库,批量进行增删改查和计时比较效率,封装好的普通增删改查和批量增删改查类拿来即用
【代码】python操作postgre库,批量进行增删改查和计时比较效率,封装好的普通增删改查和批量增删改查类拿来即用。
2022-08-23 18:30:01
564
原创 Django框架web开发实战:Model数据库详解(四)
关联关系指的是数据表之间的数据是相互依赖和影响关系，表之间有，比如，有一个用户表，用户又有订单表，则用户表与订单表之间就存在从属关系。
2022-08-18 17:54:17
116
python操作redis笔记
2023-03-10
dlib-19.4.0-cp35-cp35m-win_amd64.rar
2020-05-12
dlib-19.7.0-cp36-cp36m-win_amd64.rar
2020-05-12
python爬虫 破解js加密有道词典案列的两种方式源代码以及思路总结.md
2019-08-24
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人