![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
python
浪荡子爱自由
深度学习与机器学习、自然语言处理技术
展开
-
【NILM】非入侵式负荷分解模块nilmtk安装教程
通过anaconda安装NILMTK模块原创 2022-06-19 22:37:10 · 2963 阅读 · 4 评论 -
【Python】处理中文文本最全python源代码
中文文本处理的工具: 判断unicode是否是汉字,数字,英文,或者其他字符。全角符号转半角符号。def is_chinese(uchar): """判断一个unicode是否是汉字""" if uchar >= u'\u4e00' and uchar<=u'\u9fa5': return True else: return Falsedef is_chinese_all(ustring): """判断一....原创 2022-05-06 10:38:52 · 1113 阅读 · 0 评论 -
【Python】基于逻辑回归的金融风控评分卡
【导语】信用风险计量模型可以包括跟个人信用评级,企业信用评级和国家信用评级。人信用评级有一系列评级模型组成,常见是A卡(申请评分卡)、B卡(行为模型)、C卡(催收模型)和F卡(反欺诈模型)。A卡(Application score card):目的在于预测申请时(申请信用卡、申请贷款)对申请人进行量化评估。 B卡(Behavior score card):目的在于预测使用时点(获得贷款、信用卡的使用期间)未来一定时间内逾期的概率。 C卡(Collection score card...原创 2022-04-15 15:50:05 · 2582 阅读 · 1 评论 -
【Python】使用多个界定符分割字符串
当一个字符串分割为多个字段,但是分隔符(还有周围的空格)并不是固定的。Python字符串对象string内置函数split()只适应于非常简单的字符串分割情形, 它并不允许有多个分隔符或者是分隔符周围不确定的空格。 当你需要更加灵活的切割字符串的时候,最好使用 re.split() 方法:import reline = 'asdf fjdk; afed, fjek,asdf, foo're.split(r'[;,\s]\s*', line) 函数re.split...原创 2022-03-30 23:55:22 · 1678 阅读 · 0 评论 -
【python】Windows操作系统 pyltp安装
python3.6-3.9版本pyltp安装原创 2022-03-26 14:27:46 · 3039 阅读 · 0 评论 -
【Python】通过Counter统计获取列表重复元素
获取列表重复元素原创 2022-03-17 22:27:34 · 2155 阅读 · 0 评论 -
【推荐系统】最全的推荐系统数据集,包括基于社交网络的推荐数据集
推荐算法 数据集 社交网络 推荐系统原创 2022-03-16 23:29:23 · 9722 阅读 · 2 评论 -
【Python】B站热门榜单热门视频UP主信息
from lxml import etree import timeimport requestsimport pandas as pdimport randomheaders = { "user-agent": "Mozilla/5.0 (iPhone; CPU iPhone OS 11_0 like Mac OS X) AppleWebKit/604.1.38 (KHTML, like Gecko) Version/11.0 Mobile/15A372 Safari/604..原创 2022-03-14 23:36:15 · 1503 阅读 · 0 评论 -
【Python】根据汽车品牌列表及链接地址分别获取对应子品牌及车系数据列表
def get_series_data(url_b, car_brand): """根据所有新能源汽车品牌列表及链接地址分别获取对应子品牌及车系数据列表""" series_data = {} headers = { 'authority': 'car.autohome.com.cn', 'method': 'GET', 'scheme': 'https', 'accept': '*/*', 'acce.原创 2022-03-14 21:39:39 · 1607 阅读 · 0 评论 -
【Python】根据所有车系列表数据分别获取所有车型及车型详情数据
def crawer_car_model_data(brand_url): headers = { 'authority': 'car.autohome.com.cn', 'method': 'GET', 'scheme': 'https', 'accept': '*/*', 'accept-encoding': 'gzip, deflate, br', 'accept-language': 'zh-C.原创 2022-03-11 00:01:49 · 1590 阅读 · 1 评论 -
【Python】获取汽车论坛所有汽车品牌列表及链接地址数据
import requestsfrom bs4 import BeautifulSoupurl = 'https://car.autohome.com.cn/diandongche/index.html'headers = { 'Referer': 'https://car.autohome.com.cn/', 'Sec-Fetch-Mode': 'no-cors', 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) Ap.原创 2022-03-10 17:33:17 · 1094 阅读 · 0 评论 -
【Python】B站详细信息抓取
import timeimport requestsimport pandas as pdimport randomheaders = { "user-agent": "Mozilla/5.0 (iPhone; CPU iPhone OS 11_0 like Mac OS X) AppleWebKit/604.1.38 (KHTML, like Gecko) Version/11.0 Mobile/15A372 Safari/604.1", "Referer": "http.原创 2022-03-08 22:27:00 · 1459 阅读 · 0 评论 -
【Python】DataFrame按某列的某些值筛选
DataFrame数据按照某列的某些值(list)筛选数据,实现例子:product_idx =all_product_df['product_id'].unique()product_uni = product_df.where(product_df["商品ID"].isin(product_idx)).dropna().drop_duplicates(subset="商品ID")原创 2022-03-05 10:15:58 · 6160 阅读 · 0 评论 -
【数据挖掘】电商数据合集
Amazonproduct co-purchasing networkhttps://www.heywhale.com/mw/dataset/5a698cdeafceb51770d610b4女性用户网购服装反馈数据集https://www.heywhale.com/mw/dataset/5aab7e09afaabd5e93e4df30该数据集包含23000个顾客的网购评论及评价,基于真实的消费记录ZARAUR 优衣库👔👔服装销售数据https://www.heywhale.com/m原创 2022-03-01 21:32:14 · 17529 阅读 · 1 评论 -
【Python】过滤表情字符
import redef filter_emoji(desstr, restr=''): # 过滤表情 res = re.compile(u'[\U00010000-\U0010ffff\\uD800-\\uDBFF\\uDC00-\\uDFFF]') return res.sub(restr, desstr)原创 2022-02-20 23:52:10 · 1106 阅读 · 0 评论 -
【Python】去哪儿旅游景点数据爬虫
爬虫需要模块:BeautifulSoup、requests爬虫网站:去哪儿-https://travel.qunar.com/place/1.爬取城市ID链接例如:https://travel.qunar.com/p-cs300148-haikou# -*- coding: utf-8 -*-from bs4 import BeautifulSoupimport pandas as pdimport requestsdef crawer_travel_static_url(u.原创 2022-02-15 20:53:27 · 11935 阅读 · 4 评论 -
【Python】获取当前文件夹下所有文件名(后缀名排序)
1.用库函数sorted()对字符串排序,它的对象是字符。sorted(iterable, key=None, reverse=False) ----reverse:排序规则,reverse = True 降序 , reverse = False 升序(默认)----key :主要是用来进行比较的元素,只有一个参数,具体的函数的参数就是取自于可迭代对象中,指定可迭代对象中的一个元素来进行排序。2.使用os模块可以获取指定文件夹下所有文件名,有两个方法os.walk()和os.listd原创 2022-01-27 15:33:28 · 2678 阅读 · 0 评论 -
【Python】python 过滤特殊字符
Python语言剔除除中英文及数字外的其他任何字符,可以通过正则表达式模块re把非中英文及数字的所有字符串删除,参考实现程序如下:import re# 通过re过滤除中英文及数字以外的其他字符def filter_string(des_string, re_string=''): res = re.compile("[^\\u4e00-\\u9fa5^a-z^A-Z^0-9]") return res.sub(re_string, des_string)参考资料【1】py原创 2022-01-27 14:47:51 · 4206 阅读 · 0 评论 -
【Python】读取GB级别的JSON数据
# -*- coding: utf-8 -*-import jsondef each_chunk(stream, separator): buffer = '' while True: # until EOF chunk = stream.read(4096) # I propose 4096 or so if not chunk: # EOF? yield buffer break .原创 2022-01-27 10:45:23 · 1029 阅读 · 2 评论 -
遗传算法及旅行商问题(TSP问题)Python实现
遗传算法(Genetic Algorithm,简称GA)是一类借鉴生物界的进化规律(适者生存,优胜劣汰遗传机制)演化而来的随机化搜索方法,由美国的J.Holland教授1975年首先提出。遗传算法是一种模拟达尔文的遗传选择和自然淘汰的生物进化过程的计算模型,通过模拟自然进化过程搜索最优解,它常用来解决多约束条件下的最优问题。遗传算法的基本操作及步骤初始化: 随机生成一个规模为N的种群,设置最大进化次数以及停止进化条件。计算适应度:适应度被用来评价个体的质量,且适应度是唯一评判因子。计算种群中每原创 2022-01-06 23:53:24 · 5192 阅读 · 2 评论 -
【Python】Python的整数、列表和访问修饰符使用注意事项
1.整数使用注意事项注意事项1在 Python 中一切都是对象,整数也是对象,在比较两个整数时有两个运算符==和is,它们的区别是: is比较的是两个整数对象的id值是否相等,也就是比较两个引用是否代表了内存中同一个地址。 ==比较的是两个整数对象的内容是否相等,使用==时其实是调用了对象的__eq__()方法。 案例1:x = y = -1while True: x += 1 y += 1 if x is y: print('%d is %d' % (x,原创 2021-11-27 23:35:21 · 196 阅读 · 0 评论 -
【数据挖掘】基于Python对Keras版本的卷积神经网络(CNN)可视化
keras实现卷积神经网络(CNN)可视化的Python环境要求如下:pip install keras==2.3.1pip install tensorflow==1.8.0pip install opencv-pythonPython实现卷积神经网络(CNN)可视化,其中卷积神经网络实现模块为keras。卷积神经网络可视化包括以下四方面:1. 卷积核输出的可视化,即可视化卷积操作后的结果,帮助理解卷积核的作用。2. 卷积核的可视化,对卷积核本身进行可视化,对卷积核学习到的行为进行解释。原创 2021-11-27 00:24:13 · 3047 阅读 · 1 评论 -
【数据挖掘】基于卷积神经网络的非侵入式负荷分解(NILM)Python实现
本方法主要利用基于卷积神经网络的非侵入式负荷分解方法实现住宅设备的识别,输入数据为在设备运行时获得的瞬态功率信号数据。训练卷积神经网络使用数据为开源数据REDD(1Hz),具体实现原理请参考文献下载链接。只供学习参考,Python实现代码如下:1 第一部分:数据可视化import pandas as pdimport matplotlib.pyplot as pltimport numpy as npdata = pd.read_csv("data.csv")#print(d...原创 2021-11-24 09:26:21 · 5348 阅读 · 12 评论 -
【Python】pgmpy模块安装教程
1.pgmpy模块描述pgmpy 模块是贝叶斯网络的纯 Python 实现,专注于模块化和可扩展性。 可实现用于结构学习、参数估计、近似(基于采样)和精确推理以及因果推理的各种算法。2.pgmpy模块安装方法 【提醒】Python安装教程见:点击链接安装方法1:pgmpy需要Python 3.7+(3.7.1及以上版本,好像要是3.7系列)。pgmpy托管在pypi和anconda上。要通过pypi进行安装,请使用以下命令:pip install pgmpy...原创 2021-11-21 11:16:03 · 5677 阅读 · 0 评论 -
【问题解决】pgmpy模块出现‘SubDiGraph‘ object has no attribute ‘get_ancestral_graph‘报错的解决方法
【问题描述】在使用pgmpy模块实现贝叶斯网络时,出现‘SubDiGraph‘ object has no attribute ‘get_ancestral_graph‘错误。【解决方法】 出现这种问题主要原因是pgmpy模块安装环境有问题,根据pgmpy模块安装要求,必须要求Python的安装环境必须是Python3.7.X,其中X必须大于等于1。所以要解决这个问题必须安装Python3.7.X环境,如果通过安装Anaconda软件配置Python环境就要,就要安装Anaconda...原创 2021-11-21 10:49:25 · 1279 阅读 · 0 评论 -
【数据挖掘】贝叶斯网络理论及Python实现
1.理论知识 贝叶斯网络(Bayesian Network,BN)作为一种概率图模型(Probabilistic Graphical Model,PGD),可以通过有向无环图(Directed Acyclic Graph,DAG)来表现。因为概率图模型是用图来表示变量概率依赖关系的模型,结合概率论与图论的知识,利用图来表示与模型有关的变量的联合概率分布。在处理实际问题时,如果我们希望在数据中挖掘隐含的知识,可以通过概率图模型构建一幅图的方式实现,具体实现就是用观测结点表示观测到的数据,用隐含结点表示潜在原创 2021-11-21 00:52:38 · 38247 阅读 · 10 评论 -
【Python】matplotlib plt显示中文乱码解决方法
原因:matplotlib库中没有中文字体,使用plt绘图时会出现乱码如果遇到在matplotlib图例显示中文乱码情况,解决方法就是在程序最前进行下面参数设置:import matplotlib.pyplot as plt plt.rcParams['font.sans-serif']=['SimHei'] #用来正常显示中文标签plt.rcParams['axes.unicode_minus']=False #用来正常显示负号 #有中文出现的情况,需要u'内容'其他方法可参考如下:原创 2021-11-15 10:43:46 · 21523 阅读 · 0 评论 -
【Python】Python学习教程与资源链接
一、Python基础Python简明教程(Python3)Python3.7.4官方中文文档Python标准库中文版廖雪峰 Python 3 中文教程Python 3.3 官方教程中文版Python3 Cookbook 中文版 Think Python 2e 最新版中文Python 核心编程 第二版 中文菜鸟教程 Python3基础W3cschool Python3基础Python最佳实践指南Python 精要教程Python进阶 中文版中文 Python 笔记莫烦pyth原创 2021-11-14 23:55:19 · 1237 阅读 · 0 评论 -
【Python】通过Anaconda安装Python环境
Anaconda指的是一个开源的Python发行版本,其包含了conda、Python等180多个科学包及其依赖项。因为包含了大量的科学包,Anaconda 的下载文件比较大(约 531 MB),如果只需要某些包,或者需要节省带宽或存储空间,也可以使用Miniconda这个较小的发行版(仅包含conda和 Python)。步骤1:下载Anaconda软件,下载地址:Index of /anaconda/archive/ | 清华大学开源软件镜像站 | Tsinghua Open Source M.原创 2021-11-14 20:19:40 · 5611 阅读 · 1 评论 -
【Python】非常优秀的网站视频下载工具:You-Get
【You-Get】一键下载几乎所有网站上的音视频。它是一个非常优秀的网站视频下载工具。可以很轻松的下载到网络上的视频、图片及音乐。原创 2021-11-14 18:17:31 · 5869 阅读 · 0 评论 -
【数据挖掘】数据的基本统计描述
数据挖掘-认识数据数据的基本统计描述【目的】把握数据的分布对于成功的数据预处理是至关重要的。基本的数据统计描述可以识别数据的性质,并凸显哪些数据应被视为噪声或离群点。更好地识别数据的性质,把握数据全貌。知识结构图:代码实现##############################################1. 数据的基本统计描述-集中趋势#############################################import numpy as npfrom sk原创 2021-11-13 23:19:57 · 1578 阅读 · 0 评论 -
【问题解决】django.template.exceptions.TemplateSyntaxError: ‘rbac‘ is not a registered tag library.
【问题】django.template.exceptions.TemplateSyntaxError: ‘XXXXX‘ is not a registered tag library.【解决方案】在TEMPLATES中增加libraries,注意根据自己的需求进行修改。我的目录如下,可进行参考:...原创 2021-10-14 16:42:55 · 390 阅读 · 0 评论 -
【问题解决】import keras出现 cannot import name ‘get_config’ from ‘tensorflow.python.eager.context’
安装tensorflow2.X版本后,import keras出现报错cannot import name ‘get_config’ from ‘tensorflow.python.eager.context’** 解决方法:**以TensorFlow2.3.0为例分别单独安装TensorFlow的CPU版本和GPU版本,以及安装最新版本keras1.GPU版本pip install --user https://storage.googleapis.com/tensorflow/windo原创 2021-08-07 10:54:54 · 3807 阅读 · 3 评论 -
【NILM教程】REDD数据处理代码
REDD数据预处理python程序# -*- coding: utf-8 -*-import pandas as pdimport matplotlib.pyplot as pltimport timeimport argparseimport osparams_appliance = { 'microwave': { 'windowlength': 599, 'on_power_threshold': 200, 'max_on_pow原创 2021-08-04 21:26:00 · 1445 阅读 · 3 评论 -
【安装教程】Neo4J知识图谱安装教程
步骤一:配置JDK。Neo4J依赖于jdk,最新的版本需要的jdk版本也较高。笔者选择安装neo4j3.5.26,依赖于jdk1.8。jdk1.8的下载:下载链接JDK环境变量配置步骤:步骤1:JDK默认安装后jdk和jre都在D:\Java目录下(在D盘创建Java文件夹)。配置环境变量:右击“我的电脑(此电脑)”—>"属性(鼠标右键)"—>"高级系统设置"—>"高级系统设置"-->"环境变量"。步骤2:在系统变量里新建"JAVA_HOME"变量,变量值.原创 2021-07-23 16:50:21 · 1038 阅读 · 0 评论 -
【问题解决】py2neo安装教程
python3.6和3.7版本建议安装py2neo 4.0.0,安装最新版本会报错安装命令pip install py2neo==4.0.0原创 2021-07-19 09:36:58 · 1542 阅读 · 0 评论 -
【问题解决】anaconda中 spyder crashed during last session 解决办法
anaconda中 spyder crashed during last session 解决办法spyder打开时,出现图下面的报错:【解决办法】步骤1:以管理员的方式运行Anaconda Promote步骤2:运行 spyder --reset命令注意: 一定要以管理员运行Anaconda Promote,再输入命令...原创 2021-07-17 21:46:52 · 1072 阅读 · 1 评论 -
【问题解决】ERROR: After October 2020 you may experience errors when installing or updating packages. This
pip install --user py2neo报错ERROR: After October 2020 you may experience errors when installing or updating packages. This is because pip will change the way that it resolves dependency conflicts.【解决办法】pip install py2neo --use-feature=2020-resolver...原创 2021-07-17 21:20:53 · 931 阅读 · 0 评论 -
【NILM】非侵入式负荷分解数据集下载链接
非侵入式负荷分解数据集1.UK-DALE数据集下载:下载链接2.REDD数据集下载:下载链接用户名: redd 密码: disaggregatetheenergy3.REFIT数据集下载下载链接4.BLUED数据集下载下载链接(提取码Alex)参考博客:链接5.PLAID数据集下载PLAID 2014下载链接PLAID 2017下载链接PLAID 2018下载链接......原创 2021-07-12 16:52:08 · 7789 阅读 · 16 评论 -
【问题解决】pycharm自动调整代码格式快捷键Alt+Ctrl+L无效
原因:其他软件占用了全局快捷键Ctrl+Alt+L,常见的有:QQ、网易云音乐、网易云有道词典。解决方法:关闭这些软件,或者将这些软件的全局快捷键重新设置。原创 2021-07-12 09:49:06 · 1218 阅读 · 0 评论