![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
数据分析
-派神-
每天进步一点点……
展开
-
震惊! 居然可以用python在短短几秒内处理几十亿数据!
最近一个偶然的机会,我发现了一个可以在短短几秒内处理几十亿数据的python工具包:Vaex, 处于好奇我研究了一下Vaex,下面给大家简单介绍一下Vaex及其基本使用方法。Vaex是什么Vaex是用于惰性核心数据框架(类似于Pandas)的python库,用于可视化和探索大型表格数据集。它可以在N维网格上计算统计数据,例如均值,总和,计数,标准差等,最大可达十亿(109109)每秒的对象/行数。可视化使用直方图,密度图和3d体积渲染完成,从而可以交互式探索大数据。Vaex使用内存映射,零内存复制策原创 2020-06-06 22:58:01 · 5048 阅读 · 0 评论 -
使用Altair实现Python交互式数据可视化
今天给大家介绍一个基于python的交互式数据可视化组件:Altair,Altair是基于Vega和Vega-Lite的Python声明式统计可视化库。Altair提供了强大而简洁的可视化语法,使您可以快速构建各种统计可视化。只需要短短十几行代码就可以创建丰富多彩的交互的可视化统计图报表:这里你只需要指定数据列以及颜色的编码比如指定图表的x轴、y轴所对应的数据列及数据点的颜色编码,其余的绘图工作Altair会自动帮你完成。下面是的截图是官方文档中提供的一些例子:安装Altair组件的原创 2020-05-25 23:31:28 · 4582 阅读 · 0 评论 -
史上最简单的爬虫:使用python快速获取web网页中的table数据。
今天给大家介绍一个史上最简单的爬虫程序,如何利用python中的pandas库来快速读取web网页中的table数据,我以搜狐NBA数据中心的一个网页为例,该网页包含了6个table,我们要做的是快速获取这6个table中数据,并对其格式进行调整,使其更加美观实用:1. 读取数据我们使用pandas的read_html方法可以快速获取网页中所有table的数据。import p...原创 2020-04-07 18:40:04 · 21994 阅读 · 2 评论 -
房价预测:EDA+ElasticNet+Xgboost
房屋的价格取决于很多因素,就拿美国的房屋来说(咱中国情况特殊)房屋的价格取决于所在的区域,房屋的面积,卧室的数量,卫生间的数量,院子的大小,地下室的面积,车库的数量等等很多变量。在众多的变量中房屋所在区域应该对房屋价格影响最大,但是相同区域的房价,也会因为其他变量的不同而有所差异。今天我们就拿kaggle中的一个案...原创 2019-03-15 15:02:22 · 1562 阅读 · 0 评论 -
使用python来实现零售行业的数据分析 : EDA+TF-IDF+t-SNE+K-Means+LDA(干货)
当今电子商务已经非常普及,网上购物已经成为人们生活的一部分,电商网站上的商品数量已经呈现几何级的增长.伴随着在线的商品数量的增长,商品的定价越来越成为一个问题。比如服装的价格会呈现出季节性的变化趋势,而且受品牌的影响很大,而电子产品的价格则根据产品规格而波动。Mercari是一个日本C2C二手交易平台。他们们深深地了解零售商品定价这个问题。他们想向卖家提供定价建议,但这很难,因为他们的卖家可以...翻译 2019-03-13 18:26:16 · 5729 阅读 · 0 评论 -
如何用python进行数据分析-统计学常识的实战应用
前言python是当前数据分析最流行的工具之一,在做数据分析的时候我们经常会用到一些统计学的基础知识和概念,如概率,分布,直方图,箱体图,分位数等等。不可否认的是R语言及其工具是统计分析最专业的武器,正因为它太过专业(使用者需要具备统计学的专业知识),使得它的受众局限于特定领域的专业人士,而python是后起之秀,它瑞士军刀般的灵活性正被越来越多的IT从业人员所使用,同时python也包含了很...原创 2019-05-28 00:59:35 · 12810 阅读 · 1 评论 -
使用VAE(变分自动编码器),来预测用户流失.
原作者:Susan Li原文来自Medium,略有增删。变分自编码器(VAE)与生成对抗网络(GAN)一样,是无监督学习最具前景的方法之一,VAE类似于经典的自动编码器和是由一个编码器,一个解码器和一个损失函数构成的一个神经网络。它可以让我们设计复杂的数据生成模型,并使它们适合大型数据集。在阅读有关使用卷积网络和自动编码器的文章后,我想VAE可以对有关用户流失问题的预测提供帮助,所以我...翻译 2019-07-03 00:15:04 · 3559 阅读 · 0 评论