- 博客(63)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 机器学习又一个笔记--查缺补漏的知识点1
sklearn入门特征归一化from sklearn import preprocessing#此处还有np.concatenate([待处理的数据列表],axis=1)利用此方法将数据处理成矩阵，作用类似zippreprocessing.scale(X)#在每一列上进行特征归一化learn_curve()......
2022-10-12 20:33:36
99
原创 sklearn的make_classification函数生成随机的n类分类
目录make_classification函数生成随机的n类分类问题的简介示例如下以下内容为官网内容以及个人的总结下面有运行的示例，可以结合示例来对此函数进行了解，如需更多知识可以在中文官网查看sklearn.datasets.make_classification-scikit-learn中文社区make_classification函数生成随机的n类分类问题的简介sklearn.datasets.make_classification(n_samples=100, n_f.
2022-05-19 17:05:54
3364
2
原创 文本数据分析——情感分析
目录python文本分析工具NLTK在python环境下运行以下代码，选择需要的语料库进行下载典型的文本与处理流程为分词编辑结巴分词（中文分词）特殊字符可以使用正则表达式进行分词词形问题、词形归一化词性标注和停用词使用词频表示文本特征来度量文本间的相似性取出词频统计的最多的n个单词编辑文本分类编辑朴素贝叶斯算python文本分析工具NLTKNLP（自然语言处理）领域种最常用的一个python库，NLP是将自然语言（文本）转化为计算...
2022-05-14 11:45:12
1325
原创 时间序列数据分析相关知识
字符串和datetime的相互转换 datetime->strstr()可以强制转换datetime.strftime() 需要指定时间表示的形式，必须指定转换成的格式和分隔符str->datetimedatetime.strptime() 需要指定时间表示的形式，必须指定转换成的格式和分隔符dateutil.parser.parser() 可以解析大部分时间表示形式，如果第一个数字在月份范围之间...
2022-05-07 16:41:59
807
原创 Latex使用总结（根据使用持续更新中）
一般来说投稿的期刊或者会议官网都会给出参考的latex模板，根据模板来进行更改省去了很多麻烦，下面是我总结的比较容易出现问题的地方。以下为本人通过实际使用的使用的示例首先是我最常用的在线Latex编译器Overleaf, Online LaTeX Editor代码中%为注释意目录插入图片插入左右图片插入公式插入表格引用参考文献插入图片\begin{figure}[H]\begin{adjustwidth}{-\extralength}{0cm}\center..
2022-04-21 15:27:27
2442
原创 matplotlib绘图散点图可用的markers形状（标记）汇总
'o'，'v'，'^'，'<'，'>'，'8'，'s'，'p'，'*'，'h'，'H'，'D'，'d'，'P'，'X'
2022-04-02 09:56:14
2064
原创 Excel进行数据分析的常用知识的学习整理
本文所有知识均为个人在视频中学习的整理，主要作为个人笔记使用目录Excel常用基础知识选中并填充所有空单元格复制可见单元格（分类、分组、汇总的单元格）而非分组前的数据创建组选中错误单元格选择性粘贴单元格匹配替换（主要是为了避免符合替换条件但不需要替换的的）数据验证，多行多列变一个下拉列表快速填充Excel的基本公式Excel的常用函数数学函数日期函数统计函数：还有rank（排名次）内部重要函数文本函数查找与引用函数：vloo...
2022-03-30 17:38:02
1077
原创 matplotlib绘图时的内置样式设置汇总
import matplotlib.pyplot as plt import numpy as npimport matplotlib as mpldata=plt.style.availablex=np.linspace(-6,6)y=np.sin(x)for d in data: mpl.rcParams['font.sans-serif']=['FangSong'] mpl.rcParams['axes.unicode_minus']=False fig=p.
2022-03-23 11:28:34
1313
原创 解决matplotlib和seaborn标题和轴名称中文无法正常显示的问题
目录通过 matplotlib的rcRarams指定字体以及事都正常显示字符等，代码和运行结果如下：通过seaborn库中set方法来设置字体等，代码和运行结果如下：通过设置标题title时，利用title中的参数fontproperties直接指定字体，代码和运行结果如下，此方法最为靠谱和方便：通过 matplotlib的rcRarams指定字体以及事都正常显示字符等，代码和运行结果如下：import matplotlib.pyplot as plt import numpy as
2022-03-23 11:26:22
2848
原创 遍历字典的键、值、键值对
目录遍历所有键值对遍历所有键遍历所有值按顺序遍历（sorted）唯一值遍历（set()）遍历所有键值对import pandas as pddata={'001':' wo ','002':' shi ','003':' yi ','004':' zhi ','005':' xiaoguaishou '}for key,value in data.items(): print(f'\nKey:{key}') print(f'Value:{value}')遍历.
2022-03-22 11:56:16
867
原创 机器学习笔记
决策树DecisionTreeClassifier：前剪枝（创建时便指定信息熵的临界值）和后剪枝绘制决策树的图，如下朴素贝叶斯算法：GaussianNB()#构造朴素贝叶斯分类器score（传入测试使用的自变量和因变量，一般指定sample_weight=None）来计算准确率对模型进行打分半朴素贝叶斯：为了解决朴素贝叶斯中属性独立性假设在实际中不适用的问题，建立一些属性间的联系，假定属性有一定的相关性，假设每个属性对多依赖一个其他的属性AODE：在ode的基础上
2022-03-20 15:59:28
1011
原创 机器学习示例总结（线性回归、逻辑回归、KNN算法、朴素贝叶斯、SVM算法、决策树）
以下所有内容均为在华为云学习的总结AI技术领域课程--机器学习_在线课程_华为云开发者学堂_云计算培训-华为云 (huaweicloud.com)线性回归第三方库实现# 导入sklearn下的LinearRegression 方法from sklearn.linear_model import LinearRegressionimport numpy as npmodel = LinearRegression()# 构造用于训练的数据集x_train = np.array([[..
2022-03-17 09:33:10
3426
原创 爬虫学习5——requests进阶（cookie登录、防盗链、
cookies登录登录之后会得到服务器返回的cookie，使用cookie请求我们需求的url页面session用于保持登录信息，在这个过程中cookie信息不会丢失session=requests.session()方法一：在提出申请时指定cookieimport requestsresp=requests.get('https://user.17k.com/ck/author/shelf?page=1&appKey=2406394919',headers={'Cooki
2022-03-09 08:00:00
301
原创 爬虫学习4——Xpath爬取网页信息
xpath是在XML文档中搜索内容的一门语言，我们常见的html是xml的一个子集目录安装lxml模块获取网页数据text()拿文本 。xpath使用[1]选择同种标签的第一个。/a[@href='']根据属性href的值选择特定标签//表示后代（子标签，孙子标签，重孙子标签）。*表示任意的节点，通配符。使用@拿到属性值./表示当前节点安装lxml模块pip install lxml获取网页数据text()拿文本 。xpath使用[1]选择同种标签的第一个。/a
2022-02-23 17:07:24
3131
原创 忘记win10系统账户的登陆密码以及密保问题无法进入桌面时应该怎么拯救自己的电脑
目录网上大多数的解决办法大体总结了一下：一：二：三：四：五：今天我成功的忘记了我的登陆密码，第一次遇到这种尴尬的情况，好在我的电脑里没有什么数据，就是因为长期未使用这台电脑我才忘记了我的密码，对此我完全不慌的点击了忘记密码然后我成功的发现我也忘记了我的密保问题答案，于是痛苦的折磨开始了，我苦思冥想了数小时的密码最终放弃了，唯一的灵感就是我设密码的时候窃喜，密码我设的相当简单，相当顽皮，就像现在心急如焚的我一样上窜下跳。然后我终于把注意力放在了我的密保问题上，又经过了数小时
2022-02-21 16:59:42
3571
原创 爬虫学习3--使用requests与BeautifulSoup爬取网页图片
关于前面的知识点可以通过下面链接对比查看爬虫学习1--使用requests库与re库对网页进行爬取示例讲解_我就是一个小怪兽的博客-CSDN博客图片来源于网络随意找到的一个图库，import requestsfrom bs4 import BeautifulSoupurl='https://www.woyaogexing.com/shouji/'r=requests.get(url,verify=False)r.encoding='utf-8'tt=r.text#获取需要的源代码.
2022-02-19 10:31:42
966
原创 爬虫学习2--使用requests、bs4以及csv爬取保存网页信息
文章所有知识基本来自个人的学习整理目录准备工作代码结果展示准备工作准备好我们需要的库以及我们要爬取的网页url等基本信息pip install requestspip install bs4代码本次演示我们选择了山东省菜价，来源于网络读取多个页面数据时，可能会出现下面AttributeError: 'NoneType' object has no attribute 'find_all'的错误，我查阅了别人所说的解决办法，加了请求头headers之后还会出现.
2022-02-18 12:47:39
1088
原创 爬虫学习1--使用requests库与re库对网页进行爬取示例讲解
简介首先对requests库和re库要有一个清晰的功能定位。requests库是用来获取网页源代码的，使用re库的正则化匹配从获取的网页源代码中匹配得到我们所需要的信息。requests发送请求的方式又get和post两种，两者最直观就是get获取时，数据可以出现在url中，而post获取时，需要在post方法中另外指定data参数来指定数据import requestsurl='https://correctxt.baidu.com/correctxt?callback=jQuery
2022-02-17 14:37:49
1949
原创 return和yield的区分
return：在函数中用于返回一个值，在返回这个值后程序不再继续执行，一个函数直接返回了一个值并且结束>>> def lll():... return 10... print('我是一只小怪兽')...>>> g=lll()>>> print(g)10yield：生成一个数，但是并不直接返回，而是生成一个生成器如下面代码所示，我们可以看成代码运行到yield处得到了一个生成器对象g，到此停止，我们必须调用next方法才可
2022-02-16 22:20:09
356
原创 pyecharts与matplotlib在使用时的区别和优缺点对比
简介pyecharts（以下简介来源于官网）echarts是一个由百度开源的数据可视化，凭借着良好的交互性，精巧的图表设计，得到了众多开发者的认可。而 Python 是一门富有表达力的语言，很适合用于数据处理。当数据分析遇上数据可视化时，pyecharts诞生了。简洁的 API 设计，使用如丝滑般流畅，支持链式调用 囊括了 30+ 种常见图表，应有尽有 支持主流 Notebook 环境，Jupyter Notebook 和 JupyterLab 可轻松集成至 Flask，Django 等.
2022-02-09 09:43:57
10179
原创 广义线性模型（逻辑回归、泊松回归）
线性回归模型也并不适用于所有情况，有些结果可能包含而元数据（比如正面与反面）或者计数数据，广义线性模型可用于解释这类数据，使用的仍然是自变量的线性组合。目录逻辑回归使用statsmodels使用sklearn泊松回归使用statsmodels负二项回归逻辑回归当响应变量为二元数据时，常用逻辑回归对数据进行建模。以下数据来源于pandas活用所提供的数据，如需要可在此下载https://download.csdn.net/download/qq_57099024..
2022-02-05 10:17:39
3754
1
原创 使用cut分箱操作，创建二值响应变量
import pandas as pdd=pd.read_csv('D:/pandas活用/pandas_for_everyone-master/data/acs_ny.csv')print(d.columns)print('@'*66)print(d.head())Index(['Acres', 'FamilyIncome', 'FamilyType', 'NumBedrooms', 'NumChildren', 'NumPeople', 'NumRooms', 'NumU.
2022-02-05 08:37:41
1350
原创 修改字符串的大小写title(),upper(),lower()
title()：使每个单词的首字母变为大写，单词之间的间隔符可以使用空格、斜杠等。upper()：使每个字母都变为大写。lower()：使每个字母都变为小写。>>> s='wo shi xiaoguaishou'>>> s.title()'Wo Shi Xiaoguaishou'>>> sss='wo\shi\ xiaoguaoshou'>>> sss.title()'Wo\\Shi\\ Xiaoguaosh.
2022-01-27 09:41:56
361
原创 分类数据cotegory介绍以及常用API的属性和方法
pandas中有一种分类数据类型category，分类数据类型具有以下优点：（1）采用这种方式存储数据更加节约内存，提高速度，尤其是数据集中包含很多重复的字符串得时候（2）当一劣质存在一定的顺序（比如李克特量表）时，应该转换成分类数据（3）有些python库可以处理分类数据（比如拟合统计模型）使用astype将数据转换成catecory数据类型可参考astype转换数据类型_我就是一个小怪兽的博客-CSDN博客以下给出的参考表中给出了可以再分类series上执行得操作，表格下面是该..
2022-01-20 10:32:12
842
原创 使用to_numeric转换为数值类型
目录errors参数：to_numeric向下转型：downcast参数to_numeric：于astype转换数据类型方法相比擅长将非数值类型数据转换为数值类型，astype转换数据类型_我就是一个小怪兽的博客-CSDN博客import pandas as pd import seaborn as snstips=sns.load_dataset('tips')t=tips.head(10)#获取子集t.loc[[1,4,7],'total_bill']='missin..
2022-01-20 09:35:15
3488
原创 astype转换数据类型
astype方法：通用函数，可以用于把dataframe中的任何列转换成其他类型常见的数据类型有：int 整型；float 浮点型；object/str 字符串；category 分类数据。import pandas as pd import seaborn as snstips=sns.load_dataset('tips')#选择seaborn自带数据集中的tipsprint(tips.dtypes)#查看tips数据每一列的类型tips['sex']=tips['sex'].ast
2022-01-20 09:04:04
7612
4
原创 resample进行重采样
重采样会根据得到的日期参数把数据进行展示，会把数据从一个频率转换到另一个频率，主要有如下三类：1.上采样：从低频率到高频率（比如：从每月到每天）2.下采样：从高频率到低频率（比如：从每天到每月）3.原样采样：采样频率不变（比如从每月得第一个星期四到每月得最后一个星期五）resample有图个rule参数，用于接收偏移量字符串，对于改参数可能取得的值可以参考date_range创建日期范围freq参数取值表及创建示例_我就是一个小怪兽的博客-CSDN博客import pandas a
2022-01-16 15:01:21
1415
1
原创 pandas中的shift()方法对数据进行移动的操作
部分参数含义如下：periods：表示shift移动的幅度，正数表示下移，负数表示上移，默认值是1，移动后没有值得索引后面显示缺失freq：按照freq参数值作为间隔移动时间索引，数据值不发生变化，关于freq可以取得值可以参考date_range创建日期范围freq参数取值表及创建示例_我就是一个小怪兽的博客-CSDN博客>>> import pandas as pd>>> date_index=pd.date_range('2022-01-01',p..
2022-01-14 16:39:52
1485
原创 datetime数据类型——min()获取最早日期、date_range()创建日期范围、Timestamp()创建时间戳、tz()时区变换
目录min()：获取最早日期date_range：创建日期范围偏移量参数Timestamp：创建时间戳tz：时区tz参数用于指定时区tz_localize：用于对时区进行编码to_convert：变换时区min()：获取最早日期>>> import pandas as pd>>> ebola=pd.read_csv(r'D:\pandas活用\pandas_for_everyone-master\data/country_tim
2022-01-12 11:08:11
2104
原创 date_range创建日期范围freq参数取值表及创建示例
别名 说明 B 工作日 C 自定义工作日（实验） D 日历日 W 每周 M 月末 SM 月中和月末（每个月的第十五天和月末） BM 月末工作日 CBM 自定义月末工作日 MS 月初 SMS 月初和月中（每个月的第一天和第十五天） BMS 月初工作日 CBMS 自定义月初工作日 Q 季度末 BQ 季度末工作日 QS 季度初 BQS 季度初工作日
2022-01-12 10:39:10
1369
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人