![](https://img-blog.csdnimg.cn/20190918140037908.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
数据分析与数据挖掘
文章平均质量分 52
笔记
铃音.
如鱼饮水,冷暖自知
展开
-
pandas读取csv文件(分隔符是一个或者多个空格)
如果遇到csv文件不是以逗号分隔,也不是以一个空格分隔,也不是 \t 分隔,里面提到可以修改sep参数为正则表达式来作为分隔符。但是又是有规律的分隔,就像下面这种。也就是说可以这样来读取文件。可以去掉索引,看的更方便。可以修改sep参数为。原创 2023-10-10 10:47:50 · 1692 阅读 · 0 评论 -
python pandas读取文件夹并把文件夹里面的所有txt文件转为dataframe
有一个名为neg的文件夹里面有neg.0.txt到neg.2999.txt,3000个txt文件,每个txt不一定仅有一行内容,有一个名为pos的文件夹里面有pos.0.txt到pos.2999.txt,3000个txt文件,每个txt不一定仅有一行内容,怎么用python pandas读取文件夹里面的txt文件并且把每个txt文件转为dataframe的某一列的一行内容。去掉txt文件里的换行符和空格。数据为 酒店评论语料。原创 2023-05-26 08:38:27 · 1400 阅读 · 0 评论 -
anaconda ( jupyter notebook ) 安装 Cartopy库
Cartopy 也是一个 python 地图绘制包,同样能完成很多 Basemap 能实现的功能,而且旨在使数据分析及可视化尽可能简单。其利用了强大的 PROJ.4,numpy,shapely库,提供了简单直观的绘图接口,可以创建满足出版质量的地图。Cartopy 是一个开源免费的第三方 Python 扩展包,由英国气象办公室的科学家们开发,支持 Python 2.7 和 Python 3,致力于使用最简单直观的方式生成地图,并提供对 matplotlib 友好的协作接口。4.安装cartopy库。原创 2023-04-19 09:26:07 · 3197 阅读 · 2 评论 -
matplotlib设置中文字体为微软雅黑
如何在linux系统下让matplotlib显示中文?“巴西”: [-47.55, -15.47], —1。“坦桑尼亚”: [35.45, -6.08], —1。“罗马尼亚”: [26.10, 44.27], —1。“意大利”: [12.29, 41.54], —1。“俄罗斯”: [37.35, 55.45], —3。“文莱”: [115.00, 4.52], —1。“美国”: [-77.02, 39.91],—3。“中国”: [116.20, 39.55],在代码中加入以下代码。原创 2023-04-18 09:30:41 · 949 阅读 · 0 评论 -
anaconda ( jupyter notebook ) 虚拟环境安装 lazypredict
进入 D:\mystudysoft\Anaconda3\envs\py3.9\Lib\site-packages\lazypredict 目录下。5.将虚拟环境py3.9导入jupyter的kernel中(自己设置显示的名字为python3.9)4.安装ipykernel (第一次导入虚拟环境的要下载)在 removed_classifiers中修改如下内容。在removed_regressors中修改如下内容。4.删除虚拟环境(py3.9是虚拟环境名)3.查看当前有哪些虚拟环境。修改import部分。原创 2022-11-30 13:57:00 · 1230 阅读 · 2 评论 -
Hive SQL案例
2.计算学历为本科的人员在调查中的占比,结果写入本地/root/college012/。1.计算较高收入人群占整体数据的比例,结果写入本地/root/college011/。4.计算男性群体中高收入职业排行,结果写入本地/root/college014/。7.统计教育程度对于收入的影响,结果写入本地/root/college017/。6.统计性别对于收入的影响,结果写入本地/root/college016/。4.统计表数据,结果写入本地/root/college000/01/中。原创 2022-11-18 23:23:10 · 1718 阅读 · 4 评论 -
pandas处理标签-列表值处理
pandas DataFrame对列表值进行处理。原创 2022-10-04 19:02:39 · 522 阅读 · 1 评论 -
lgb,xgb,cat k折交叉验证
import lightgbm as lgbimport xgboost as xgbimport catboost as cat#传入:模型,训练集x,训练集y,测试集x,模型的名字def cv_model(clf, train_x, train_y, test_x, clf_name): #折叠次数5,随机数种子2020 folds = 5 seed = 2020 #分成4份训练集,1份测试集 kf = KFold(n_splits=folds, shuf原创 2022-04-21 23:25:15 · 1056 阅读 · 2 评论 -
python pandas利用str.extract()方法处理标签
所有标签长这样比如说输入闪订 ,然后看每一行的 全部标签 数据里有没有 闪订,如果有的话 闪订 的值计为1,没有的话计为0,总共有9个标签,最后实现了这样的效果import numpy as npimport pandas as pdimport redata=pd.read_csv(r'D:\BaiduNetdiskDownload\shanghai_all_districts(1).csv')while True: x=input('请输入要匹配的标签') #输入q退原创 2022-04-06 22:23:27 · 2059 阅读 · 0 评论 -
python数据可视化(matplotlib,seaborn,plotly)
文章目录Matplotlib绘图基础Matplotlib绘图基础import numpy as npimport matplotlib.pyplot as plt#确保图形能正确展示处理%matplotlib inlinex=np.linspace(0,100,1000)y=np.sin(x)#plt.plot()绘制折线图#c线条颜色 lw线条宽度 ls线条风格#plt.show()展现图形plt.plot(x,y,c='red',lw=2,ls='--')plt.show()原创 2022-01-06 13:33:48 · 7246 阅读 · 16 评论 -
python pandas把.npz文件转为xlsx,csv文件
国民经济核算季度数据链接:https://pan.baidu.com/s/1tMwXLWopQ5hKVKAZ2zNRBg 提取码:pqiy我需要一份.xlsx的国民经济季度核算数据,但是在网上只找到了.npz文件,所以用python的pandas模块进行了处理转换为.xlsx文件file = np.load('国民经济核算季度数据.npz',allow_pickle=True)columns = file['columns']values = file['values']from pandas原创 2021-12-29 11:28:07 · 6965 阅读 · 0 评论 -
python词云图
数据:链接:https://pan.baidu.com/s/1tF2MEy-ZDOCexR1JHA7DnQ提取码:6kxmimport pandas as pd#CalThreeKingdoms.pyimport jiebatxt=open("D:/2.txt",'r',encoding="utf-8").read()words=jieba.lcut(txt) #jieba库函数count={} #创建字典for word in words: if len(word)==原创 2021-11-28 12:47:24 · 2951 阅读 · 0 评论 -
python pandas读取文件夹里的所有csv文件
把读取完的Dataframe合并为一个Dataframe。原创 2021-11-15 20:34:39 · 4991 阅读 · 0 评论 -
pandas基本操作
文章目录SeriesSeries导包from pandas import Series,DataFrameimport pandas as pd创建series,左边一列是索引,右边是值,int64是数据类型obj=Series([4,7,-5,3])obj获取值和索引obj.valuesobj.index指定值和索引创建seriesobj2=Series([4,7,-5,3],index=['d','b','a','c'])obj2通过字典创建值和索引sdata原创 2021-10-17 23:47:30 · 556 阅读 · 1 评论 -
Windows下anaconda安装python虚拟环境
1.安装py3.8虚拟环境conda create -n py3.8 python=3.82.输入y3.查看已有的虚拟环境conda info -e4.激活并使用py3.8虚拟环境conda activate py3.8原创 2021-10-10 21:56:25 · 109 阅读 · 0 评论