作为文科生，我是如何转行Python数据挖掘工程师的

酒酿小小丸子

已于 2024-01-24 13:45:09 修改

阅读量484

点赞数 1

文章标签：数据挖掘 python 跳槽

于 2022-12-08 16:07:17 首次发布

本文链接：https://blog.csdn.net/2201_75362610/article/details/128238728

版权

随着大数据的时代的来临，各个行业都受到了数据分析不同程度的影响和作用。尤其是在电信行业，Python数据分析已经逐渐成为电信运营商的战略优势之一。

大家好，我是一名CDA持证人，今天想跟大家分享一下，我如何从文科生转行成为了一名电信行业的Python数据挖掘工程师。

主要内容分成以下二块：

第一部分我作为文科生转行数据挖掘的历程；
第二部分关于目前从事数据挖掘，主要针对商业数据挖掘所需要掌握的一些技能；

文科生转行数据挖掘工程师的历程

首先看到第一部分的内容，也就是我的转行历程。

我高中那会儿读的是文科，大学期间学习了社会学专业。在本科期间，我也接触过一些统计学的知识，线性代数等知识也学过，但当时对这些学科将来的用途并不是很清楚。

参加工作后，最初我从事产品运营的相关工作。在工作过程中，我接触到了数据分析相关的内容。当时我感觉自己工作内容比较杂，也没有拿得出来的技能。

我认为数据分析很有前景，无论是文科生还是理科生都可以学，学起来也比较有趣，内容不枯燥，所以我渐渐开始学习数据分析。

这里我列了几个对我比较关键的节点，这些对我未来的工作有了较大的影响。

首先就是学数据挖掘，用的是SPSS Modeler。比较容易上手，入门也比较简单。SPSS Modeler虽然很好用，但其实很多时候不能满足数据清洗的一些需求，也有一些劣势，比如算法更新很慢，只有比较常规的算法，如果想用比较先进的算法，还是开源的软件提供的比较多。

之后我学习了Python，比较容易上手，语法也比较简洁。通过大量练习掌握了爬虫、数据清洗、数据可视化等技能点。Python基本能满足日常工作的需求。

第三个节点是我学习了SQL和统计知识。SQL本身基础的知识不是特别复杂，然后主要靠练习，包括统计的一些知识，这也是我在之后的工作中不断学习的。

从事数据挖掘技能需求

目前我目前从事的是数据挖掘的相关工作，接下来讲一下工作中所需要的一些技能。

这部分可以分为硬技能和软技能。

硬技能

硬技能这里我分为理论基础、算法能力、分析工具和通用工具。下面具体来看一看。理论基础中统计知识是不可或缺的。后面的概率论、线性代数、微积分其实是跟偏算法相关。

算法方面主要需要一些机器学习跟深度学习的算法。比如分类、回归、聚类等一些比较基础的算法。

不同于算法工程师对算法的要求会比较高，像偏业务的数据挖掘的岗位，对算法的要求没那么高。你能够做到理解算法的基本原理跟应用场景，能够应用工具去实现它，能够解读算法最后的结果，也就差不多了，对数学的要求也并不太高。

关于深度学习，现在数据挖掘等算法岗也相对内卷，如果你不会也不了解深度学习就有点说不过去了，这方面可以了解一下。还需要掌握一些工具库，现在深度学习的工具库比较多，也有一些比较简便的工具库能协助实现相关的功能。

然后看到分析工具。其实目前主要用的也就是SQL跟Python，主要是看你公司的数据量，如果数据量不是很大的话，基础的一些SQL知识就够了，可能关系数据库就可以了，包括在单机里面，去运行Python也可以的；但是如果公司的数据量特别大的话，比如我目前是在Hadoop的平台做一些数据分析跟数据挖掘。如果本身的数据量就比较大，可能会用到Hive数据仓库等。

再看到建模工具，目前其实主流是Python，还有集成了Pyspark，这是用得比较多的。然后建模的话，考虑到数据量Python在80%的情况上都是够用的。

关于通用工具，Excel跟PPT都是比较基础的。下面这个Shell是开发工具，很多时候会涉及到一些开发的工作，比如说标签表的开发，然后就会用到Shell结合ETL自动化平台，调用需要的脚本进行自动化的运行。就相当于是每天它会自动的跑一些脚本，而不需要去手工或者是在单机操作，这些都是在平台上面自动完成的。

软技能

软技能这块简单看一下，包括像业务的理解，比如你进入任何一个行业，你前几个月会多花时间了解该行业的业务表，业务涉及的一些内容，核心的盈利业务是哪些。还有一些通用的能力，比如沟通、汇报能力等，因为你经常会需要将模型和分析报告讲给别人听，因此这些能力也是十分重要的。还有学习能力。数据行业的迭代比较快，需要有持续学习的能力。

我整理了一些Python数据挖掘的资料，有需要的小伙伴下方自取