大概一年以前,我们被现在的DP(数据处理)工作搞的苦不堪言。
公司的小伙伴有一个共同的认识,改变思维方式,通过一些技术手段去变被动为主动,将现在的数据处理减少人工进一步智能。
说干就干。
我们使用的是python,这个在大数据趋势中越来越火的技术。为什么用python?
因为他,非常灵活,适用性非常广。他有小爬虫、gpu加速、web后台、c++代码中的插件、在python中封装c++的库、机器间进程监控重启、spark 程序。。。。
然鹅,文科生听不懂。
简言之:我们就是用了。不解释。
Python在数据处理中应用的场景一
利用Python。他可以对任何的中文的文本进行词频统计。那我们熟悉的《还珠格格》来做个有趣的尝试。
对《还珠格格》进行词频统计的结果
我们进一步加工,让结果变得更可视化。
对《还珠格格》的词频统计生成词云标签
实战中,对一款红酒包装的评价的文本分析,长这个样子。
这一小技巧可以应用在所有的问卷调查的开放题分析当中。可以初步的快速解决文本分析的浩大工程。
阅读更多精彩内容贝叶斯模型,预测panel会员流失的套路提高panel的忠诚度,是一桩赔本买卖?您所不知道的Panel系列1---城市和区域的秘密真相了,这就是我们使用的MaxDiff技术
更多精彩内容尽在极速洞察!
aHR0cDovL3dlaXhpbi5xcS5jb20vci9Wal91dGtQRTBCNnZyUWZWOTJwRQ== (二维码自动识别)
微信ID:jisudongcha