Python数据分析-笔记01

上课时间：2022-09-13-周二

目录

1、课程介绍

2、机器学习

---

1、课程介绍

课程编号：xxxx        学时：40        学分：2.0        ​​​​​​​课程属性：公共选修课        主讲教师：刘老师
教学目的、要求
本课程以完整互联网公司真实项目复现为主线，以python编程语言为基础纽带，结合互联网行业最具生产力的技术栈，介绍了数据目标识别、获取、整理、存储、分析、优化、可视化输出及报警等场景，重点讲述了网络流量分析（Netflow Analysis）及自动化收集、数据序列化（Serialize）及清洗、数据统计分析（Statistical Analysis）模型、数据深度神经网络（Deep Neural Network）学习模型、数据可视化（Visualization）的实际应用与落地过程。最后综合讨论了数据分析中的重要关注节点及核心方法原理。在完成本课程后，学生应能够了解数据分析周期中数据的整体流向、掌握其原理和方法，并能够独立完成生产环境中数据分析的实际任务。
预修课程
（略）
教 材
Python数据分析与应用，黄红梅，张良均 著 出版社： 人民邮电出版社 ISBN：9787115373045 出版时间：2018-04-01
主要内容
第一章 使用数据抓取、存储——抓取：按照应用场景，分别从接口、xml格式文件、本地文件的方式进行数据获取，以及绕过一些反爬的机制。存储：使用Python结合ELK栈进行存储，使用Python es库对Elasticsearch进行增删改查操作，分别以本地文件、消息队列、Elasticsearch直连的方式进行数据输入。

第二章 数据的清洗、使用统计机器学习模型进行分析——分别使用Python进行数据清洗、Logstash进行清洗并输入Elasticsearch存储。使用Python结合Sklearn、Karas等框架，分别使用回归、聚类等模型进行数据分析

第三章 使用统计机器学习进阶模型及深度学习进行分析——使用k-means、装袋、提升、CNN、RNN、GAN等模型进行数据分析。 第四章 使用Python进行展示、可视化——分别使用Pychars、Kibana结合每组项目的数据进行可视化编辑及展示。

教材与参考文献： 无指定教材，课程选用反映业界主流软件过程及最新进展的技术文献作为参考资料。
参考文献
Python数据分析与挖掘实战（第2版）张良均，谭立云，刘名军，江建明 著 出版社： 机械工业出版社 ISBN：9787111640028 出版时间：2019-12-01
教师简介
（略）

数据分析

Python语言。2次课程完成Python基础的学习。工具。java，开发岗位，包括运维开发。

机器学习：（1）机器学习（2）统计学。

经典机器学习开始了解。
深度学习。
1.机器学习
（1）定义：机器学习实战。

（2）流程：数据收集（采集）、公开数据集、自己找数据（写爬虫）、导师给数据（行业场景强相关）、小样本学习。

                    作业：用python写爬虫，两周后交。自动化机器人--->自动化办公。
                    算法设计（knn算法，了解及实现），下次上课提问knn算法的相关问题，记录到平时成绩中。

                    算法实现。Java包、python库、

                    算法训练（数据量越大越好）。算法验证。算法应用。

两本书
1.基于python flow
2.经典机器学习实战

计算机领域：天下武功，唯快不破。——>创新

机器学习--->深度学习

学习近两三年的研究方向，看看有没有创新成果。——>创新瓶颈。

发某一方向的文章，先看看当前最新的研究成果。

作业：爬虫，基本的爬虫demo

刘老师写了本书，分析此书相关资料，4~6个人一组。

每组每周有个汇报时间，4-6人。相关方向汇报。

基础要求：复现。

做好分工、设好组长

边界拓展、算法改进

每人单独汇报，可以无创新。

2、机器学习

机器学习分类：有监督、无监督、强化学习。

师哥《强化学习教程》

深度学习

机器学习书籍：

1.《机器学习实战》自学完成

2.机器学习-西瓜书

3.《深度学习》蓝色书皮

4.人工智能（一种现代的方法）

TensorFlow、Google教程

包含了六大主要人工智能领域，nlp、cv、dp等。

资源的整理、教程。

联邦学习的实践、吴方照老师（清华毕业），微软亚洲研究院。推荐使用：课比科app。

迁移学习

刘老师方向：大数据、移动互联网、智慧医疗（cv）、数字孪生（与腾讯合作）。

电影《头号玩家》、元宇宙、虚实联动。

nlp、cv、自动驾驶。徐睿峰。cv方向：清华崔鹏老师。

正则表达式。《正则表达式必学必会》必知必会。