爬虫
Python基础、数据分析扩展包Numpy、pandas、matplotlib,Python读取MySQL数据,Python爬虫及Scrapy框架,无监督机器学习算法聚类分析等,以及案例:互联网金融行业客户价值分析等。
机器学习
机器学习是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。
它是人工智能的核心,是使计算机具有智能的根本途径。
人工智能之父,艾伦·测“有图灵很早就曾预一天,人们会带着电脑在公园散步,并告诉对方,今天早上我的计算机讲了个很有趣的事”。
机器学习的核心是,“用算法解析数据,从中学习,然后对某些事物做出决定或预测。”这意味着,你无需明确地编程计算机来执行任务,而是教计算机如何开发算法来完成任务。机器学习主要有三种类型,它们各有优缺点,分别是:监督学习,无监督学习和强化学习。
监督学习
监督学习涉及到标注数据,计算机可以使用所提供的数据来识别新的样本。
监督学习的两种主要类型是分类和回归。在分类中,训练的机器将把一组数据分成特定的类。比如邮箱的垃圾邮件过滤器,过滤器分析之前标记为垃圾邮件的邮件,并将其与新邮件进行比较。如果达到某个百分比,则这些新邮件会被标记为垃圾邮件,并发送到相应的文件夹;不像垃圾邮件的将被归类为正常并发送到收件箱。
第二种是回归。在回归中,机器使用先前标注的数据来预测未来。比如天气应用。利用天气的相关历史数据(即平均温度,湿度和降水量),手机的天气应用可以查看当前天气,并对一定时间范围内的天气进行预测。
无监督学习
在无监督学习中,数据是未标注的。由于现实中,大多数的数据都是未标注的,因此这些算法特别有用。
无监督学习分为聚类和降维。聚类用于根据属性和行为对象进行分组。这与分类不同,因为这些组不会提供给你。聚类将一个组划分为不同的子组(例如,根据年龄和婚姻状况),然后进行有针对性的营销。另一方面,降维涉及通过查找共性来减少数据集的变量。大多数数据可视化使用降维来识别趋势和规则。
强化学习
强化学习使用机器的历史和经验来做出决策。强化学习的经典应用是游戏。与监督和无监督学习相反,强化学习不注重提供“正确”的答案或输出。相反,它专注于性能,这类似人类根据积极和消极后果进行学习。如果孩子碰到了热炉,他很快就会学习不再重复这个动作。同样在国际象棋中,计算机可以学习不将王移动到对手的棋子可以到达的地方。根据这个原理,在游戏中机器能够最终击败人类玩家。