学习python数据分析的30个练手数据+4个数据集网站

已于 2022-01-19 12:50:13 修改
阅读量1.6w 收藏 238
点赞数 20
分类专栏： python数据分析技巧 文章标签： python 可视化 数据
于 2021-04-30 09:06:37 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/muyashui/article/details/116289581
版权

前几天发了一个博文:懂点excel作图, 怎么让pyechart作的图更具“职场范“呢?丨pyechart工作作图模板, 一不小心上了热榜, 感谢小伙伴们的支持, 以后会多总结发更好的python数据分析及可视化的文章.
在这里插入图片描述
在这里插入图片描述

有朋友询问这十几个模板的数据文件, 想必是想实际操作一下, 很不错哟!
我将数据上传到了论坛, 另外分享下工作中收集数据的一些方法!

文章目录

12个pyechart模板Excel文件

请点击: 模板数据下载地址
在这里插入图片描述
在这里插入图片描述

2个数据源

以上数据除了模拟数据外, 其他数据都是来自于网上, 主要是199it数据图表

模块 199it
在这里插入图片描述
空气质量数据来自于下面网址, 通过爬虫方式获取
在这里插入图片描述
爬虫代码也上传到论坛, 想了解的可以下载: 请点击

爬取的数据作图之前需要进行清洗, 原因是网址的城市名称可能和百度地图收录的城市名称不一致, 需要保持一致, 比如下面这些:

data['城市'].replace('果洛','果洛藏族自治州',inplace=True)
data['城市'].replace('可克达拉','可克达拉市',inplace=True)

4个数据(集)网址

平时可能用到的数据集网址, 分享几个方便初学者学习python。

- 天池数据集
在这里插入图片描述
- DC竞赛
在这里插入图片描述
- 和鲸社区

在这里插入图片描述
- 500强排名数据

在这里插入图片描述

1个python公共数据工具包: GoPUP

通过python调用工具包,能获取不少公共信息, 亲测有些接口可能获取不到数据了, 大部分还是可以的!
官网

GoPUP 项目所采集的数据皆来自公开的数据源，不涉及任何个人隐私数据和非公开数据。

在这里插入图片描述
安装方式

pip install gopup  --upgrade

调用方式

在这里插入图片描述
基本上都是几行代码, 返回的是一个dataframe格式数据, 用pandas很容易处理, 适合想学python的朋友学习使用.

import gopup as gp
df_index = gp.weibo_index(word="疫情", time_type="3month")
print(df_index)

国内生产总值

代码

import gopup as gp
df_index = gp.get_gdp_quarter()
df_index

在这里插入图片描述

居民消费价格指数

import gopup as gp
df_index = gp.get_cpi()
df_index

在这里插入图片描述

千里马公司数据

import gopup as gp
df_index = gp.maxima_company()
df_index

在这里插入图片描述

历史上的今天

import gopup as gp
df_index = gp.history_daily()
df_index

在这里插入图片描述

百度实时热门

import gopup as gp
df_index = gp.baidu_hot_list()
df_index

在这里插入图片描述

百度今日热点

import gopup as gp
df_index = gp.baidu_today_hot_list()
df_index

在这里插入图片描述

百度百科热词榜

import gopup as gp
df_index = gp.baidu_hot_word_list()
df_index

在这里插入图片描述

微博热搜榜

import gopup as gp
df_index = gp.weibo_hot_search_list()
df_index

在这里插入图片描述

微信热门榜

import gopup as gp
df_index = gp.wx_hot_list()
df_index

在这里插入图片描述

知乎热搜榜

import gopup as gp
df_index = gp.zhihu_hot_search_list()
df_index

在这里插入图片描述

知乎热榜

import gopup as gp
df_index = gp.zhihu_hot_list()
df_index

在这里插入图片描述

豆瓣新片榜

import gopup as gp
df_index = gp.douban_movie_list()
df_index

在这里插入图片描述

豆瓣一周口碑榜

import gopup as gp
df_index = gp.douban_week_praise_list()
df_index

在这里插入图片描述

汽柴油历史价格信息

import gopup as gp
df_index = gp.energy_oil_hist()
df_index

在这里插入图片描述

迁入迁出地详情

import gopup as gp
migration_area_baidu_df = gp.migration_area_baidu(area="湖北省", indicator="move_in", date="20200201")
migration_area_baidu_df

在这里插入图片描述

车站数据

import gopup as gp
df_index = gp.station_name()
df_index

在这里插入图片描述

列车时刻表

import gopup as gp
df_index = gp.train_time_table(train_number="T15")
df_index

在这里插入图片描述

全国普通高校名单

import gopup as gp
df_index = gp.university()
df_index

在这里插入图片描述
如果这些数据你正好需要, 可以方便调用, 感谢开发提供工具包的朋友!

以上就是这次整理的内容, 欢迎关注, 后期会不断更新!

相关阅读推荐:

1. python小白, 1周入门python数据分析视频课程

2. pyechart可视化18式丨从柱形图的变化, 搞懂pyechart作图套路

3. 懂点excel作图, 怎么让pyechart作的图更具“职场范“呢?

4. 8个常用的python办公室自动化技巧,学会了同事都找你!

5. 学习python数据分析的30个练手数据+4个数据集网站

6. [工作必备]pandas数据分析处理52个常用技巧

7. 泰坦尼克号数据你没见过的可视化丨pyechart制作桑基图(sankey)的最简单方法

8. pyechart制作第七次人口普查数据动态图

python技巧(数据分析及可视化)
关注
  • 20
    点赞
  • 踩
  • 238
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
python 第二章——数据类型详解
余识-
04-25 1677
本章主要介绍python的基本数据类型，同时涉及到变量、注释等知识点
推荐一些做Python数据分析的数据集
涛哥聊Python
05-13 6938
这是涛哥给你推荐的第36篇好文来源：Python与算法社区 | 作者：榛果我们平时经常遇到去哪里下载数据的问题，想必你也为找到想要的数据而颇费周折，我也经常花费不少精力在...
python数据分析案例2：电影评分数据集的分析
热门推荐
JavaNewbie__
06-13 1万+
数据集的获取： 1、grouplens官方网址 或者 2、 链接: https://pan.baidu.com/s/1wfU20GH2gLd1Ok262v_X2Q 提取码: us6i 使用上述压缩包中的以下三个文件 有关上述三个文件的介绍： u.data -- The full u data set, 100000 ratings by 943 users on 1682 items. Each user has rated at least 20 movies
5个高质量数据集网站建议收藏
最新发布
QQQ_sh02的博客
06-14 511
通过数据集搜索引擎，找到需要的数据进行分析。
利用Python进行数据分析
weixin_68789096的博客
03-18 1026
很多组织通常都会用一种类似于领域特定的计算语言，如MATLAB和R，对新的想法进行研究、原型构建和测试，然后再将这些想法移植到某个更大的生产系统中去（可能是用Java， C#或C++编写的）。粘合剂代码的执行时间通常是微不足道的。Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。观看零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。
手把手教你如何用python进行数据分析！（附四个案例）
Python栈
01-10 1423
定义一个函数为每个记录创建一个包含营养信息的DataFrame对象，添加一个名为"id"的列，将记录的id值赋给该列的每个元素，并将每个记录的营养信息DataFrame添加到nutrients列表中， 将nutrients列表中的DataFrame对象合并为一个大的DataFrame，并重新索引行号。根据top1000 DataFrame中的"name"列与lesley_like中的姓名进行匹配，筛选出匹配的行数据，并将结果赋值给filtered变量。包含要从数据库中提取的信息的键的列表。
Python学习十大公开免费数据集介绍
2401_84024497的博客
04-01 1479
Python崛起并且风靡，因为优点多、应用领域广、被大牛们认可。学习 Python 门槛很低，但它的晋级路线很多，通过它你能进入机器学习、数据挖掘、大数据，CS等更加高级的领域。Python可以做网络应用，可以做科学计算，数据分析，可以做网络爬虫，可以做机器学习、自然语言处理、可以写游戏、可以做桌面应用…Python可以做的很多，你需要学好基础，再选择明确的方向。这里给大家分享一份全套的 Python 学习资料，给那些想学习 Python 的小伙伴们一点帮助！
豆瓣电影数据集+数据分析入门数据集
06-26
【字段】 电影名称、投票人数、类型、产地、上映时间、时长、年代、评分、首映地点 【用途】 该数据集非常适用了Python数据分析入门，是学习NumPy 、Pandas、Matplotlib的练手数据集
泰坦尼克号数据集新手练手
05-11
而在数据分析领域，泰坦尼克号数据集同样是一个经典的学习案例，为初学者提供了一个实践Python数据分析技能的理想平台。这个数据集包含了船上乘客的基本信息，如年龄、性别、票价、船舱等级等，通过这些信息，我们...
【sklearn】xclara聚类数据集，python-sklearn，Kmeans聚类练手
09-28
经典机器学习算法练手聚类数据集，csv格式，存储了3000余组坐标点数据（x，y），可用于sklearn或普通python实现KMeans聚类，回归等任务 【使用说明】 建议python使用pandas进行数据导入，再使用python进行数据分析...
7个领域70+数据集-总有一个是适合你练手的数据集！
11-02
标题中的“7个领域70+数据集-总有一个是适合你练手的数据集！”意味着这个压缩包包含了大量的数据集，覆盖了多个不同行业的应用场景，为学习数据分析、机器学习或数据科学的人提供了丰富的实践素材。这70多个数据集...
python网页数据分析
qq_22579421的博客
07-15 1641
今天，给大家带来一个python很棒的应用，那就用python技术进行数据分析，通过python获取网页信息，并将得到的信息整理成表格，保存在本地。这个有什么用呢？举个栗子：比如你想买个手表，你想快速的对比各个款式的一些信息，那么这篇文章就能帮到你解决这个问题。 简单讲下过程，首先我们需要拿到电商网站的数据，然后过滤，获取我们需要的内容，然后把创建一个excel表格，把内容填进去，并保存在本地。 以易贝网为例，我们查询卡西欧手表，可以看到下面的页面，圈出部分就是产品的展示列表， ...
11.Python数据引用&输入&格式化输出
清风
11-03 1483
文章目录1.输入1.2知识点11.3知识点21.4知识点32.不同版本的输入的差异2.1Python3输入2.2Python2输入1.input5.raw_input3.格式化输出3.1输出3.2定义3.3占位符号与字符输出类型3.4所有类型3.5字符宽度 1.输入 关键字：input() 知识点： 1.程序在执行到input时会终端要输用户输入信息，输入信息后，按下回车提交信息，程序继续往下运行。 2.可以在input中写入一段字符串用于提示，在默认情况下就一个光标在闪烁，提示性不不强。 3.inp
Python 数据分析
霏霏_伊人
06-10 318
数据分析基础 学好数据分析首先需要了解统计学，统计分析是数据分析的基础，也是灵魂。下面列出统计分析的几个核心内容： 描述统计，统计推断，概率论； 抽样，分布，估计，置信区间，假设检验； 线性回归，时间序列； 数据分析工具 SQL语言 数据分析师最关键的一项技能就是会使用SQL语言操作数据库。 关于SQL的学习推荐两个学习路径： w3school SQL必知必会 Excel基本操作...
【详解】Python数据分析第三方库分析
LeeZhao的博客
07-09 3750
Python数据分析第三方库分析 目录Python数据分析第三方库分析@常用库下载地址1 Numpy2 Matplotlib3 Pandas4 SciPy5 Scikit-Learn6 Keras7 Gensim8 Scrapy总结 使用原因：Python可用于数据分析，但其单纯依赖Python本身自带的库进行数据分析还是具有一定的局限性的，需要安装第三方扩展库来增强分析和挖掘能力。 Python数据分析第三方扩展库：Numpy、Pandas、SciPy、Matplotlib、Scikit-Learn、Ke
学Python常逛的10个网站
hfbsjkdsb的博客
03-27 1699
最全面的Python学习网站非官方文档莫属，它不仅提供了下载安装教程、基础语法教程、标准库、模块、各类术语解释、API接口等内容，还准时更新Python最新版本的变化信息，以及常见问题答疑。Chatgpt是非常火的AI对话工具，区别于以往任何的类似产品，我试过用Chatgpt写爬虫、游戏、算法，表现得都非常好，虽然有错误但是可以去调校它，最终会给你满意的代码。Medium的技术文章质量，不管放国内国外都是数一数二的，给我的感觉是博主们都在认认真真写作，有思考的深度，而不是耍大刀、博眼球。
利用python进行数据分析（一）
chichadegua的博客
09-25 244
这里写目录标题准备工作1 重要的python库1.1 numpy1.2 pandas[^1]1.3 matplotlib1.4 SciPy1.5 scikit-learn1.6 statsmodels2 Jupyter notebook 使用 准备工作 1 重要的python库 1.1 numpy ·快速高效的多维数组对象ndarry ·基于元素的数组计算或数组间数学操作函数 ·用于读写硬盘中基于数组的数据集的工具 ·线性代数操作、傅里叶变化以及随机数生成 ·成熟的C语言API，允许python扩展和本地的
python 数据分析练手
surge
10-16 212
import matplotlib.pyplot as plt plt.plot([1,2,3],[4,5,3]) plt.show() import pandas as pd import numpy as np pf=pd.DataFrame(3*np.random.rand(5), index=['a','b','c','d','e'],columns=['x']) pf.plot.pie(subplots=True) import matplotlib..
全网最全python爬虫＋数据分析资源整理
yk 坤帝
04-29 9399
4.29(第二天) 开篇词 你为什么需要数据分析能力？ 第一模块：数据分析基础篇 (16讲) 01丨数据分析全景图及修炼指南 02丨学习数据挖掘的最佳路径是什么？ 03丨Python基础语法：开始你的Python之旅 04丨Python科学计算：用NumPy快速处理数据 05丨Python科学计算：Pandas 06 | 学数据分析要掌握哪些基本概念？ 07 | 用户画像：标签化就是数据的抽象能力 08 | 数据采集：如何自动化采集数据？ 09丨数据采集：如何用八爪鱼采集微博上的“D&G”评论 10
BP算法应用于两个数据集得出结果分析 python实现
05-19
BP算法是一种常用的神经网络训练算法，用于解决分类、回归等问题。下面以应用BP算法解决分类问题为例，对两个数据集进行实验分析，并使用Python实现。 数据集1：鸢尾花数据集 鸢尾花数据集是一个经典的分类问题数据集，包含3类鸢尾花，每类鸢尾花有50个样本，共计150个样本。每个样本包含4个特征，分别为花萼长度、花萼宽度、花瓣长度、花瓣宽度。该数据集经过归一化处理后，可以直接用于BP神经网络的训练。下面是Python代码实现： ``` import numpy as np from sklearn.datasets import load_iris from sklearn.preprocessing import normalize # 加载鸢尾花数据集 iris = load_iris() X = iris.data y = iris.target # 数据预处理 X = normalize(X, axis=0) # 将标签转换为独热编码 n_classes = 3 y_one_hot = np.zeros((len(y), n_classes)) for i, label in enumerate(y): y_one_hot[i, label] = 1 # 构建神经网络 input_size = X.shape[1] hidden_size = 10 output_size = n_classes W1 = np.random.randn(input_size, hidden_size) b1 = np.zeros(hidden_size) W2 = np.random.randn(hidden_size, output_size) b2 = np.zeros(output_size) # 定义激活函数和损失函数 def sigmoid(x): return 1 / (1 + np.exp(-x)) def softmax(x): exp_x = np.exp(x) return exp_x / np.sum(exp_x, axis=1, keepdims=True) def cross_entropy_loss(y_pred, y_true): return -np.mean(y_true * np.log(y_pred)) # 定义训练函数 def train(X, y, W1, b1, W2, b2, lr, epochs): for epoch in range(epochs): # 前向传播 a1 = np.dot(X, W1) + b1 z1 = sigmoid(a1) a2 = np.dot(z1, W2) + b2 y_pred = softmax(a2) # 计算损失 loss = cross_entropy_loss(y_pred, y_one_hot) # 反向传播 delta2 = y_pred - y_one_hot delta1 = np.dot(delta2, W2.T) * z1 * (1 - z1) # 更新参数 W2 -= lr * np.dot(z1.T, delta2) b2 -= lr * np.sum(delta2, axis=0) W1 -= lr * np.dot(X.T, delta1) b1 -= lr * np.sum(delta1, axis=0) # 打印损失 if epoch % 100 == 0: print("Epoch %d Loss %.4f" % (epoch, loss)) return W1, b1, W2, b2 # 训练神经网络 W1, b1, W2, b2 = train(X, y_one_hot, W1, b1, W2, b2, lr=0.1, epochs=1000) # 预测 a1 = np.dot(X, W1) + b1 z1 = sigmoid(a1) a2 = np.dot(z1, W2) + b2 y_pred = np.argmax(a2, axis=1) acc = np.mean(y_pred == y) print("Accuracy %.4f" % acc) ``` 数据集2：手写数字识别数据集 手写数字识别数据集包含10个类别，每个类别有大约180个样本，共计约1800个样本。每个样本是28*28的灰度图像，需要将其展平为784维向量进行训练。下面是Python代码实现： ``` import numpy as np from sklearn.datasets import load_digits from sklearn.preprocessing import normalize from sklearn.model_selection import train_test_split # 加载手写数字识别数据集 digits = load_digits() X = digits.images.reshape(-1, 784) y = digits.target # 数据预处理 X = normalize(X, axis=0) # 将标签转换为独热编码 n_classes = 10 y_one_hot = np.zeros((len(y), n_classes)) for i, label in enumerate(y): y_one_hot[i, label] = 1 # 划分训练集和测试集 X_train, X_test, y_train, y_test = train_test_split(X, y_one_hot, test_size=0.2, random_state=42) # 构建神经网络 input_size = X.shape[1] hidden_size = 50 output_size = n_classes W1 = np.random.randn(input_size, hidden_size) b1 = np.zeros(hidden_size) W2 = np.random.randn(hidden_size, output_size) b2 = np.zeros(output_size) # 定义激活函数和损失函数 def sigmoid(x): return 1 / (1 + np.exp(-x)) def softmax(x): exp_x = np.exp(x) return exp_x / np.sum(exp_x, axis=1, keepdims=True) def cross_entropy_loss(y_pred, y_true): return -np.mean(y_true * np.log(y_pred)) # 定义训练函数 def train(X, y, W1, b1, W2, b2, lr, epochs): for epoch in range(epochs): # 前向传播 a1 = np.dot(X, W1) + b1 z1 = sigmoid(a1) a2 = np.dot(z1, W2) + b2 y_pred = softmax(a2) # 计算损失 loss = cross_entropy_loss(y_pred, y) # 反向传播 delta2 = y_pred - y delta1 = np.dot(delta2, W2.T) * z1 * (1 - z1) # 更新参数 W2 -= lr * np.dot(z1.T, delta2) b2 -= lr * np.sum(delta2, axis=0) W1 -= lr * np.dot(X.T, delta1) b1 -= lr * np.sum(delta1, axis=0) # 打印损失 if epoch % 100 == 0: print("Epoch %d Loss %.4f" % (epoch, loss)) return W1, b1, W2, b2 # 训练神经网络 W1, b1, W2, b2 = train(X_train, y_train, W1, b1, W2, b2, lr=0.1, epochs=1000) # 预测 a1 = np.dot(X_test, W1) + b1 z1 = sigmoid(a1) a2 = np.dot(z1, W2) + b2 y_pred = np.argmax(a2, axis=1) acc = np.mean(y_pred == np.argmax(y_test, axis=1)) print("Accuracy %.4f" % acc) ``` 以上就是两个数据集应用BP算法的实验分析和Python实现，希望对你有所帮助。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

python技巧(数据分析及可视化)

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值