数据分析初阶——数据导入

最新推荐文章于 2024-05-15 10:30:30 发布

joeyoung18

最新推荐文章于 2024-05-15 10:30:30 发布

阅读量565

点赞数

分类专栏： SQL 文章标签： mysql 数据分析数据库 sql

本文链接：https://blog.csdn.net/joeyoung18/article/details/105983542

版权

本文介绍了如何将Kaggle上的E-commerce数据集进行预处理并导入到MySQL数据库中，包括新增主键、改变日期格式和清除逗号等步骤。在Excel中处理数据后，使用MySQL Workbench创建schema和Table，并通过命令行导入数据，最后解决导入过程中遇到的错误。

摘要由CSDN通过智能技术生成

最近在学习数据分析，本次采用的数据集是Kaggle的E-commerce data。Kaggle链接

1. 数据预处理

1.1 新增主键

数据库必须要有唯一主键，在原本的数据集内没有该设置，因此需要添加主键字段。

原文件
InvoiceNo	StockCode	Description	Quantity	InvoiceDate	UnitPrice	CustomerID	Country
536365	85123A	WHITE HANGING HEART T-LIGHT HOLDER	6	12/1/2010 8:26	2.55	17850	United Kingdom
...	...	...	...	...	...	...	...

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

joeyoung18

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

数据采集技术：selenium/正则匹配/xpath/beautifulsoup爬虫实例

AI相关从业分享

07-04

444

数据采集在机器学习领域中扮演着至关重要的角色。它是数据分析、机器学习和人工智能应用的基础。数据采集的目的是通过各种手段和技术手段，收集、整理、存储和处理各类数据。这些数据可以来自不同的来源，如传感器、日志、社交媒体、数据库等，并可能包括结构化数据、非结构化数据和时序数据等不同类型。Selenium、正则匹配、XPath和BeautifulSoup是网络爬虫中常用的技术手段，它们各自有不同的特点和用途。SeleniumSelenium是一个自动化测试工具，但它也常被用于网络爬虫中。

高阶用户运营体系搭建

weixin_43320465的博客

01-16

3440

这里写目录标题第1章理解用户运营本质1. 什么是“用户运营”？2.一个“用户运营”重点关注什么？3.怎么做好用户运营？4.高阶用户运营体系搭建5.大规模用户运营体系的3大子系统6.用户留存的归因/活跃差模型7.用户运营基本功之用户召回法第2章用户分层和精细化运营落地1.了解用户分层的本质2.四种常见的用户分层介绍3. 用户生命周期分层法4.RFM分层方法应用5.怎么使用AARRR模型对用户分层6.面对用户不同需求时在做用户分层案例：详解豆瓣是如何做用户分层的必修9：怎么用金字塔分层法做用户分层？第3

参与评论您还未登录，请先登录后发表或查看评论

数据分析（二）——导入外部数据，导入Excel数据，CSV文件，txt文件，HTML网页，数据抽取，DataFrame对象的loc属性与iloc属性

最新发布

WZY22502701的博客

05-15

453

网址不接受https。

数据分析导入实战

偷得浮生半日闲

05-21

434

1.导入csv数据概念： csv是一种常见的数据存储格式，基本上我们遇到的数据都可以转为这种存储格式。在Python数据数据分析中，我们可以使用pandas模块导入csv数据。例子： import pandas as pda # csv数据导入 i = pda.read_csv('数据地址/test.csv') i.describe() # 查看基本统计信息，返回是...

数据分析篇 Microsoft Excel 2016导入数据库数据-01

佐德将军的博客

04-16

1267

目录一、打开一个新的Excel工作簿二、在数据下拉菜单中选择相应的数据库类型三、输入数据库服务器的IP地址与相应的数据库名称四、选择访问MySQL数据库的认证方式，这里使用数据库的账号与密码认证五、确定（这里访问的数据源不支持加密，所以只能使用不加密连接来访问此数据源了）六、选择MySQL数据库中的表，在右边查看效果，没有问题就加载到七、将此数据添加到数据模型中，然后加载八、效果总结一、打开一个新的Excel工作簿二、在数据下拉菜单中选择相应的数据库类型这

python【大数据分析】库的导入与添加（02）

Neil_1993的博客

10-18

322

import math import math as m from functools import reduce from functools import reduce as re 三方类库（mac开发环境） sudo easy_install pip pip install numpy

三分钟教你Python数据分析—数据导入，小白基础入门必看

weixin_55154866的博客

08-19

3541

今天我们来学习数据导入，需要使用到Pandas模块。模块相当于是一个文件夹，它能够用于存放同个主题相关的Python代码段，包括定义函数、类和变量。例如将数据处理相关的函数都存放在一个模块里，将数据分析相关的函数都存放在一个模块里，将数据可视化相关的函数都存放在一个模块里。这样就可以在其他有需要的地方进行调用，在编写程序的时候，经常需要引用其它模块。你可以将Excel菜单中的每个选项卡看成是一个模块，例如数据选项卡下就包含了数据获取和转换、连接、排序和筛选、数据工具等功能。

在线零售销售数据

10-19

在线零售数据，可用于数据分析实践和BI数据一体化展示

数据分析初阶——各变量初步探索（1）

joeyoung18的博客

05-12

396

本分析数据集采用Kaggle的E-commerce data。数据导入详见：数据分析初阶——数据导入数据初步处理详见：数据分析初阶——数据初步处理当我们拿到一份数据时，应先对其进行描述性分析。从这里开始，我们将配合Power BI对数据进行可视化，以便我们对其趋势有个直观感受。 1. Country SELECT Country,count(*) FROM ecom.data GROUP BY Country 对Country计数，结果如下：表1 订单国籍分布计数（部分） Coun

C++——类和对象初阶讲解完整版（类的引入、类的定义、类的作用域、类的实例化、类访问限定符及封装、类成员函数的this指针、析构函数、构造函数、拷贝构造函数、赋值操作符重载、类的静态成员......）

weixin_53811859的博客

12-01

1822

家人们，百闻不如一见，百见不如一品啊！三万字超详细的C++类和对象讲解你值得拥有！

数据清洗 - 缺失值，异常值，重复值处理

qq_27924553的博客

03-30

3198

数据清洗数据清洗的对象就是缺失值，重复值，异常值一重复值的处理一般用删除法，但是在业务上有意义的重复值不能删除 import numpy as np import pandas as pd import matplotlib.pyplot as plt import os import missingno as msno os.chdir(r"D:/jupyter_notebook/...

kaggle上面的E-Commerce Data数据集练习（数据处理）

weixin_43615654的博客

12-04

3289

熟练一下pandas和数据处理项目地址参考：Python数据清洗指南 Customer Segmentation with XGBoost (97.92%) 项目描述：这是一个跨国数据集，包含2010年12月1日至2011年12月9日期间英国注册的非商店在线零售的所有交易。该公司主要销售独特的万能礼品。公司的许多客户都是批发商。 Part 1 分析数据和清洗数据导入数据 data = pd...

电商数据分析笔记

weixin_44714634的博客

12-14

2008

电商数据分析 本笔记宗旨在于多维度分析英国某电商平台的销售数据，了解平台的日常业务状况，辅助业务运营及业务策划提出相关建议。此数据列出了一年内（2010/12/01~2011/12/09）约4000名客户的购买内容。数据来源：https://www.kaggle.com/carrie1/ecommerce-data 1.准备数据 1.1读取数据首先加载数据并查看了数据结构以及字段类型。导包 import warnings warnings.filterwarnings('ignore') # 有时代码

kaggle上面的E-Commerce Data数据集练习（可视化与部分特征工程）

weixin_43615654的博客

12-06

1686

接上篇： https://editor.csdn.net/md/?articleId=103394900 Part 2 特征工程及可视化一种处理时间数据的方法 data.insert(loc = 2, column='year_month',value=data['InvoiceDate'].map(lambda x:100*x.year+x.month)) data.insert(loc = ...

列举网络爬虫所用到的网络数据包，解析包？

weixin_30823683的博客

07-16

1243

网络数据包 urllib、urllib2、requests 解析包 re、xpath、beautiful soup、lxml 转载于:https://www.cnblogs.com/sea-stream/p/11192531.html

大数据的采集和导入