首先分享一些可以进行数据分析实战和积累经验的平台。
- Kaggle:https://www.kaggle.com/
一个数据科学竞赛平台,提供丰富的数据集、实战项目和竞赛,可以在解决实际问题的过程中锻炼数据分析技能。 - 数据堂(http://datatang.com):https://www.datatang.com/
一个提供数据集的中国平台,这里有很多中文数据集,可以帮助您实战练习数据分析。 - UCI Machine Learning Repository:https://archive.ics.uci.edu/ml/index.php
加州大学欧文分校的机器学习数据集仓库,可以找到许多适用于数据分析实战的数据集。 - DataCamp(实战项目):https://www.datacamp.com/projects
尽管DataCamp主要是一个在线学习平台,但它还提供了一系列实战项目,可以让您在完成课程后将所学知识应用于实际项目中。通过这些项目,您可以在真实场景中练习数据分析技能。 - 黑马程序员(实战项目):Python+大数据开发自学教程
不仅有Python大数据的入门课程,还有一些列的工具、工业项目实战。
一、数据分析、数据挖掘、数据建模的区别
狭义的数据分析,就是指根据分析目的,用适当的统计分析方法及工具,对收集来的数据进行处理与分析,提取有价值的信息,发挥数据的作用。
而数据挖掘是指从大量的数据中,通过统计学、人工智能、机器学习等方法,挖掘出未知的、且有价值的信息和知识的过程。
因此综合起来,数据分析(狭义)与数据挖掘的本质都是一样的,都是从数据里面发现关于业务的知识(有价值的信息),从而帮助业务运营、改进产品以及帮助企业做更好的决策。
数据建模。引用百科的定义来说,数据建模是对现实世界各类数据的抽象组织,确定数据库需管辖的范围、数据的组织形式等直至转化成现实的数据库。简单来说,数据建模就是根据实际问题来建立数学模型,对数学模型来进行求解,然后根据结果去解决实际问题。
二、数据分析需要掌握的内容
数据分析流程:目标确定——数据获取、清洗、整理——数据分析——结果呈现
数学与统计学基础:数据分析师需要具备一定的数学和统计学基础,例如线性代数、概率论、假设检验和回归分析等。这些知识对于理解和应用数据分析方法至关重要。
毫不夸张地说统计学是整个数据分析的灵魂。判别一个数据分析师强弱的一个重要方法就是,看他对统计规律的敏感度。
这里我们需要从基础的统计理论(描述性统计、区间估计、假设检验等)出发,到基本的统计分析(T 检验、方差分析等),最后到商业常用的模型(回归分析、方差分析等),学习数据分析背后的逻辑,掌握实用统计学的概念和会利用统计的思维去思考问题。
编程能力:数据分析师需要熟练掌握至少一种编程语言,例如Python、R或者SAS等。Python和R在数据科学领域尤为常用,拥有丰富的库和模块支持数据处理、可视化和建模等任务。
作为数据分析人员,要想获取数据,肯定就要和数据库打交道,因此SQL肯定是要掌握的,在招聘要求中,SQL也是很多数据分析岗位的能力要求之一。
学习SQL最快的方法是能自己下载数据库管理工具,找些数据练习,主要了解一些数据库查询语言。
另外必学内容就是Python,虽然要学的内容看似很多,但是相对入门都很简单。
数据处理和清洗:熟悉数据预处理和数据清洗的方法,如数据筛选、缺失值处理、异常值检测等。熟练使用Excel和数据库管理系统(如SQL)进行数据操作和查询也非常重要。
数据可视化:掌握常见的数据可视化工具和库,如Tableau、Power BI、Matplotlib、Seaborn等,可以帮助你更直观地展示和解释分析结果。
机器学习与建模:了解常用的机器学习算法和模型,如线性回归、逻辑回归、决策树、聚类等,这将帮助你在数据分析过程中进行预测和分类。
特征工程的基础:如何统计数据特征、选用不同的特征,做模型的优化;
基本的分类算法:决策树、随机森林等;
基本的聚类算法、数据挖掘、常见的机器学习算法的了解等等。
业务理解与沟通能力:为了能够更好地解决实际问题,数据分析师需要具备一定的业务知识和良好的沟通能力。这可以帮助你更好地理解业务需求,为决策者提供有价值的见解和建议。
基本的项目管理:熟悉项目管理的基本流程和工具,如需求分析、时间管理、资源管理等,这将有助于你在实际工作中更高效地完成任务。
三、Python+大数据
Python+大数据学习路线图(2023版)
- 开发入门:Linux入门 → MySQL数据库
- 核心基础: Hadoop
- 数仓技术: Hive数仓项目
- PB内存计算: Python入门 → Python进阶→ pyspark框架 → Hive+Spark项目
黑马程序员Python:2023年Python+大数据学习路线图https://zhuanlan.zhihu.com/p/450898507
四、做数据分析必须要知道的行业权威数据
国家统计局 (http://data.stats.gov.cn)
(无需注册,完全公开)
这个网站覆盖面很广,可以找到很多宏观层面的信息,GDP、人口、就业、收支等,其中中国统计年鉴数据超全。偏宏观经济数据~
萝卜投研(https://robo.datayes.com
(免费、只要注册就可以看到)
看数据、下载研报、上市公司PE/PB研究、个股的数据、行业数据都有。
巨潮资讯网 (http://www.cninfo.com.cn)
(免费,可不注册)
国内首家全面披露深沪2500多家上市公司公告信息和市场数据的大型证券专业网站。
镝数聚(http://www.dydata.io)
(注册就可免费下载PDF版本,ppt版本的下载需要成为会员)
全行业数据&报告查找下载平台,覆盖100+行业报告及统计数据,支持报告与数据交叉查询。
四大:
- 德勒: https://www2.deloitte.com/cn/zh.html
- 安永:https://www.ey.com/zh cn
- 比马威: https://home.kpmg/cn/zh/home.html
- 普华永道: https://www.pwccn.com/
慧博投研资(http://www.hibor.com.cn)
(注册下载客户端就能免费下载)
专业的研报大数据平台,分享行业、券商、股票等最新研究报告。
艾瑞网 (https://www.iresearch.cn)
(注册就可以免费下载)
互联网及电信相关领域研究成果,融合行业资源,为业内人士提供丰富的产业资讯、数据、报告、专家观点、行业数据库等服务。
199IT (http://www.199it.com)
(页面有广告推送,稍微影响观感)
提供全行业研究报告,内容详实、板块众多。
五、如何通过面试呢?
自我介绍和简历,建议各位大学生全部⭐参考STAR原则。
- S:Situation,项目在什么情况下发生,所处的背景是什么。
- T:Task,项目的最终任务是什么,为什么开展这个项目。
- A:Action,针对这个目标,你采取了哪些行动,具体的工作内容是什么。
- R:Result,带来了什么结果,对业务有哪些推动价值,收获有哪些。
举个例子:
我在大学期间,作为一名计算机科学与数据分析专业的学生,积极参与了一项与校园社团合作的数据分析项目。项目的目标是分析社团活动的参与情况,以提高活动的吸引力和参与度。
(Situation)在项目开始时,我们面临着一个挑战:社团的活动数据零散且不规范,导致很难从中获取有价值的信息。
(Task)作为项目组的一员,我的任务是收集、整理这些数据,并从中发现潜在的规律,以便为社团提供有针对性的改进建议。
(Action)针对这个任务,我采取了以下几个行动:
- 与团队成员一起,我们首先梳理了各种来源的数据,并通过Excel和Python进行清洗和整合,确保数据的准确性和一致性。
- 利用Python的Pandas和Numpy库进行数据处理,提取关键指标,如活动参与人数、活动类型及满意度等。
- 使用Matplotlib和Seaborn等可视化库,生成直观的图表,以便更好地呈现数据分析结果。
- 应用基本的统计学方法和机器学习技术,如回归分析和聚类,挖掘活动参与度与其他因素之间的关系。
(Result)通过以上行动,我们成功地为社团提供了一份详细的数据分析报告。报告揭示了一些关键因素,如活动类型、时间安排和宣传方式等,对活动参与度产生显著影响。根据我们的建议,社团对其活动策略进行了调整,最终活动参与度得到了显著提高,同时也提升了校园社团的影响力。
专业问题
- 日常工作中的内容占比,考核和岗位的契合度,建议研究一下JD。
- 针对某些场景的分析思路,面试官可能会给到一个假设场景,让候选人针对这个场景给出分析思路,这里核心是逻辑性!按照一二三点来进行回答,至于回答的内容,可能并不是面试官最关心的。
- 对数据分析的思考,这主要体现在工作中主动发现问题的能力。
- 数据方法论的沉淀,这点一般也是面试官比较关注的,因为做这个行业,往往会被需求压的喘不过气,日常的知识落地,将别人的东西转化为自己的东西,是至关重要的。
其实,简历上多看看别人的简历模板,或者是找个前辈给你抠一下戏界,通过率就会变高。在面试过程中遇到问题没有听懂,可以直接追问,但是别溜号。