早起Python

原创 python数据分析之清洗数据：缺失值处理

在使用python进行数据分析时，如果数据集中出现缺失值、空值、异常值，那么数据清洗就是尤为重要的一步，本文将重点讲解如何利用python处理缺失值创建数据为了方便理解，我们先创建一组带有缺失值的简单数据用于讲解检查缺失值对于现在的数据量，我们完全可以直接查看整个数据来检查是否存在缺失值看到有两列含有缺失值。当然如果数据集比较大的话，就需要使用data.isnull().sum...

原创 说一点学习python的心得

点击上方“早起python”，关注公众号满满干货，极速送达本文非技术型文章，仅是一些学习python的心得、感悟，希望能帮到正在学习python的小白和小小白们。选择合适的IDE在这里不去...

原创 python数据分析——如何用python连接远程数据库

点击上方“早起python”，关注公众号满满干货，极速送达本文将以SQLite、MySQL，PostgreSQL为例讲解python怎样连接远程数据库并执行相关数据库操作。SQLiteSQ...

原创 更高级的数据可视化，使用pyecharts制作精美图表

提到用python进行数据可视化，那么大多数人选择都是matplotlib，但是生成的图表不能进行交互操作，比如时间轴拖动、交互式图例等，那么本文将对pyecharts进行详细讲解。前言目前pyecharts已经更新到1.x版本，而1.x版本与0.5.x版本在构图语法上有很大的不一样，1.x的版本语法更靠近Echarts，但是方便理解的还是0.5.x版本，所以本文基于pyecharts...

原创 python数据分析——详解python读取数据相关操作

点击上方“早起python”，关注公众号满满干货，极速送达本文继续讲一点python读取数据相关的操作为数据分析作准备。利用pandas读取一般在做数据分析时最常接触的就是逗号分隔值（Co...

原创 2020最值得学习的12款python-web开发框架大盘点

点击上方“早起python”，关注公众号满满干货，极速送达最近JETBRAINS发布了目前最受欢迎的python-web开发框架，可以看到最受欢迎的还是Django和Flask，那么本文就...

原创 数据工程师需要掌握的18个python库

本文对python中在数据分析中需要掌握的库进行了整理，一起来看看吧！目录 数据获取 Selenium Scrapy Beautiful Soup 数据清洗 Spacy NumPy Pandas 数据可视化 Matplotlib Pyecha...

原创 钉钉在线求饶？五星分期付款？爬取钉钉App Store真实评价数据并分析

最近钉钉火了，因为疫情影响，钉钉被教育部选为给学生用来在线上网课的平台，本以为自己因为业务过硬得到官方的认可，是2020上天选中的宠鹅，万万没想到到由于小学生不爽被占用寒假时间上课，于是集体出征在各大应用商店给钉钉打低分⬇️于是就出现了前几天的“钉钉十一亿下载量，整体评分只有一星”，真是好惨一软件。那么就跟随本文一起通过爬取钉钉在App Store的评分，看看用户的真实反应吧。二、数据...

原创 python中那些小众但有用的内置模块

今天带来的是python里一些小众但是却比较实用的python库，一起来看看吧！pprint：更清晰的打印pprint是 pretty printer 的缩写，用来打印 Python 数据结构，与print相比，它打印出来的结构更加整齐，便于阅读。先来看看print再来看看pprint，是不是打印出来更加方便阅读shutil ：高级文件操作shutil是P...

原创 【Python】一文说清楚类与函数的选择

前两天一位已经学习python一段时间的小伙伴问了这样一个问题：虽然已经使用python一年多了，也用python写过很多脚本，代码量从几十行到上千行的也有，但是从未使用过类(class)，似乎用函数(def)就能解决所有问题，使用类有什么好处？到底什么时候该用类呢？关于这个问题，算是困惑了许多刚接触python的同学，那么本文就尝试从多个角度来解读这个问题。首先还是先来看看官方给出类...

原创 python数据分析万字干货！一个数据集全方位解读pandas

说到python与数据分析，那肯定少不了pandas的身影，本文希望通过分析经典的NBA数据集来系统的全方位讲解pandas包，建议搭配IDE一遍敲一边读哦。话不多说，开始吧！目录 安装与数据介绍 安装与配置 检查数据 探索性分析 pandas数据结构 series对象 dataframe对象 ...

原创 数据工程师面试必备——Python与数据库的那些事

最近小伙伴在准备python数据工程师的面试，趁这个机会整理了Python与数据库的相关问题，话不多说，直接开始。一、关系数据库与非关系数据库SQL（Structured Query Language）数据库，指关系型数据库。主要代表：SQL Server、Oracle、MySQL、PostgreSQL。NoSQL（Not Only SQL）泛指非关系型数据库。主要代表：MongoDB...

原创 钉钉在线求饶？五星分期付款？爬取钉钉App Store真实评价数据并分析

一、前言最近钉钉火了，因为疫情影响，钉钉被教育部选为给学生用来在线上网课的平台，本以为自己因为业务过硬得到官方的认可，是2020上天选中的宠鹅，万万没想到到由于小学生不爽被占用寒假时间上课，于是集体出征在各大应用商店给钉钉打低分⬇️于是就出现了前几天的“钉钉十一亿下载量，整体评分只有一星”，真是好惨一软件。那么就跟随本文一起通过爬取钉钉在App Store的评分，看看用户的真实反应吧。...

原创 怎么样描述你的数据——用python做描述性分析

描述性分析介绍描述性统计分析是关于数据的描述和汇总。它使用两种主要方法：定量方法以数值方式描述和汇总数据。可视化方法通过图表，曲线图，直方图和其他图形来说明数据。一般在数据分析的过程中，拿...

原创 海象运算符？一文详解python3.8到底更新了哪些新功能

原创 GitHub上3k+star的python爬虫库你了解吗？详解MechanicalSoup爬虫库

提起python爬虫，大家想起的是requests还是bf4或者是scrapy？但是有一款爬虫库在GitHub上已经拿了3k+的小星星，那就是MechanicalSoup：本文将从以下几个维度讲解这个爬虫包：MechanicalSoup有什么特点 MechanicalSoup适合在哪些场景用 代码详解MechanicalSoup的工作流程MechanicalSoup介绍Mec...

原创 python数据分析——在python中实现线性回归

线性回归是基本的统计和机器学习技术之一。经济，计算机科学，社会科学等等学科中，无论是统计分析，或者是机器学习，还是科学计算，都有很大的机会需要用到线性模型。建议先学习它，然后再尝试更复杂的方法。本文主要介绍如何逐步在Python中实现线性回归。而至于线性回归的数学推导、线性回归具体怎样工作，参数选择如何改进回归模型将在以后说明。回归回归分析是统计和机器学习中最重要的领域之一。有许多可用...

原创 python数据分析学习——1.描述性统计分析

描述性分析描述性统计分析是关于数据的描述和汇总。它使用两种主要方法：定量方法以数值方式描述和汇总数据。可视化方法通过图表，曲线图，直方图和其他图形来说明数据。一般在数据分析的过程中，拿到数据不会去直接去建模，而是先做描述性分析来对数据有一个大致的把握，很多后续的建模方向也是通过描述性分析来进一步决定的。那么除了在Excel/R中可以去做描述性分析。本文将细致讲解如何使用python进...

原创 使用SIR模型对2019新型冠状病毒的疫情发展进行分析

新型冠状病毒的确诊人数依旧在持续上升。在对传染病模型的研究上有很多模型比如：SI、SIS、SERS、SIR等，本文将利用SIR模型对这次新型冠状病毒的发展情况进行研究。数据数据本次数据比较简单可以看我之前文章爬取疫情数据，也可以直接直接手动输入。当然本次数据选取从一月份开始到2月12日，因为自从13日公布的确诊数据包含了临床数据，与之前的数据统计方式不一样因此步加进去。那么先看下数据,在左边的...

原创 情人节用python写个网站对ta表白吧！小白都可以看懂的教程。

情人节来了，广大男性同胞们都打算送给女朋友什么礼物？口罩？口红？不如用python写个网站对她表白吧！简约的动画+大火的想见你bgm，还有谁能不心动？先看下效果（视频后半段网速卡了，实际十分丝滑）：情人节表白页面预览不会python？不会写网站？只要你能看懂print('hello world')再有一台电脑就完全足够了，python+Django+php+mysql+html只要3...

原创 情人节用python写个网站对ta表白吧！

情人节来了，广大男性同胞们都打算送给女朋友什么礼物？口罩？口红？不如用python写个网站对她表白吧！简约的动画+大火的想见你bgm，还有谁能不心动？先看下效果：不会python？不会写网...

原创 python数据分析之路——centos下载并配置mysql与navicat的使用

python数据分析之路——centos下载并配置mysql与navicat的使用在之前的文章中已经说明了如何购买并配置一台自己的服务器，那么在安装完anaconda之后，为了之后方便用Django进行网站开发与数据分析，需要对数据库进行配置，那么在数据库上选择了mysql。在数据库管理软件上选择的是Navicat。mysql的安装与配置windows对于Windows用户来说，直...

原创 手机上利用python进行数据分析——创建自己的远程jupyter notebook

手机上利用python进行数据分析——创建自己的远程jupyter notebook使用python的你，是否经历过想展示自己的代码却又没有电脑？又或者换一台电脑想使用python发现很多包不好安装？在或者想在地铁上进行coding又但是手机却无法编译。那么跟着本文一起配置自己的远程jupyter notebook，随时随地Python。准备一台电脑一台配置了anaconda的服务器 （...

原创 购买并在自己的云服务器上配置anaconda

在使用python进行深度学习/数据分析的路上经常会需要在云端跑代码，或者用Django开发网站的时候也会用到服务器去部署自己的项目，所以拥有一台自己的服务器会带来很多方便。1 购买一台服务器在服务器的选择上我推荐阿里云，没啥原因，用熟悉了。如果你有其他品牌的服务器也可以，并且阿里云还有学生优惠。因为面向初学者，下面说下购买流程，首先打开阿里云学生优惠页面[外链图片转存失败,源站可能有防盗链...

原创 python中数据读取的那些事——python读取excel、txt

继续讲一点python读取数据相关的操作为数据分析作准备。利用pandas读取一般在做数据分析时最常接触的就是逗号分隔值（Comma-Separated Values，CSV，有时也称为字符分隔值，因为分隔字符也可以不是逗号），其文件以纯文本形式存储表格数据（数字和文本）。纯文本意味着该文件是一个字符序列，不含必须像二进制数字那样被解读的数据。CSV文件由任意数目的记录组成，记录间以某种换行符...

原创 python数据处理相关操作——iloc、loc、ix选取数据

python数据处理相关操作——选取数据iloc，loc，iximport pandas as pdfrom pandas import DataFrame创建数据框data = {'a':[11,22,33,44], 'b':['aa','bb','cc','dd'], 'c':[9,8,7,6], 'd':[1,2,3,4] ...

原创 使用pyecharts1.5进行数据分析可视化

使用pyecharts 1.5进行数据可视化安装 pip install pyecharts 直接使用该命令安装的版本为最新版本为1.5。语法与之前版本大不一样，因此本文仅针对1.5及之后版本说明。若想使用之前版本请使用命令pip install pyecharts == 0.1.5.19注：建议在jupyter notebook中coding，方便debug。开始使用基本套路就是先创建...