数据分析之爬虫实例-获取天气AQI数据-附python代码

数据分析与数据挖掘的步骤流程：

1、明确目标。首先要熟悉业务背景，了解业务背景后，才能明确目标。如去分析电商业务流量与转化率的关系，广告业务如何确定单次点击竞价增加点击率和有效访问率，产品业务根据PV,UV,用户留存增长ARPU（利润或者金额），供应链业务：如工厂，饭店的订货量预测，营销业务：根据已有数据如何提高ROI（投资回报率）及金融行业的风险控制等等。

2、数据搜集。哪些数据会影响问题答案，然后搜集相关的数据。如网上已有数据，爬虫，API。

3、数据清洗。数据质量分析，缺失值（空值），异常值（异常），一致性分析（不能矛盾，不能是多数据源数据，消除量纲影响，保证