神级-数据-科学-ML-全栈

最新推荐文章于 2024-10-14 09:08:48 发布
最新推荐文章于 2024-10-14 09:08:48 发布
阅读量78 收藏
点赞数
文章标签： python 开发语言
原文链接：https://github.com/hemansnation/God-Level-Data-Science-ML-Full-Stack
版权

 

路线图分为 16 个部分

持续时间：256 小时学习时间（8 个月）以及更多时间用于练习和项目构建。‌‌

第 1 个月 - 5 月

  1. Python 编程和逻辑构建
  2. 数据‌结构‌＆‌算法‌

第 2 个月 - 6 月

  1. 熊猫 Numpy Matplotlib
  2. 统计数据

第 3 个月 - 7 月

  1. 机器学习
  2. 机器学习操作

第 4 个月 - 8 月

  1. 自然语言处理
  2. 计算机视觉

第 5 个月 - 9 月

  1. 使用 Tableau 进行数据可视化
  2. 结构‌d‌查询‌‌语言‌（SQL）‌

第 6 个月 - 10 月

  1. 数据工程
  2. 数据系统设计

第 7 个月 - 11 月

  1. 五个“主要”顶点项目
  2. 面试准备

第 8 个月 - 12 月

  1. Git 与 GitHub
  2. 个人品牌和投资组合

资源

技术栈

  • Python
  • 数据结构
  • NumPy‌
  • 熊猫‌‌
  • Matplotlib‌
  • Seaborn‌‌
  • Scikit-学习‌
  • 统计模型‌
  • 自然 ‌语言 ‌工具包（‌ ‌NLTK‌ ‌）‌
  • PyTorch‌
  • OpenCV‌
  • 画面
  • 结构‌‌查询‌‌语言‌‌（‌‌SQL‌‌）‌
  • PySpark‌
  • Azure 基础知识
  • Azure 数据工厂
  • 数据块
  • 5个“重大”项目
  • Git 和 GitHub

1 | Python编程和逻辑构建

我会更喜欢 Python 编程语言。Python 是开始您的编程之旅的最佳选择。这是python用于逻辑构建的路线图。

  • Python 基础、变量、运算符、条件语句
  • 列表和字符串
  • While 循环、嵌套循环、Else 循环
  • For 循环、中断和继续语句
  • 函数、返回语句、递归
  • 字典、元组、集合
  • 文件处理、异常处理
  • 面向对象编程
  • 模块和包

Python 深度路线图

2 | 数据结构与算法

数据结构不仅对数据科学家而且对所有从事计算机科学工作的人来说都是最重要的学习内容。通过数据结构，您可以深入了解软件中一切的工作原理。

了解这些主题

  • 算法分析的类型
  • 渐近符号、Big-O、Omega、Theta
  • 堆栈
  • 队列
  • 链表
  • 树木
  • 图表
  • 排序
  • 搜索中
  • 哈希

3 | 熊猫 Numpy Matplotlib

Python 通过 Numpy 支持 n 维数组。对于二维数据，Pandas 是最好的分析库。您可以使用其他工具，但工具具有拖放功能并且有限制。Pandas 可以根据需要进行定制，因为我们可以根据现实生活中的问题进行编码。

麻木的

  • 向量、矩阵
  • 矩阵运算
  • 均值、方差和标准差
  • 重塑数组
  • 矩阵的转置和行列式
  • 对角线操作，跟踪
  • 加、减、乘、点和叉积。

熊猫

  • 系列和数据框
  • 切片、行和列
  • DataFrame 上的操作
  • 创建 DataFrame 的不同方法
  • CSV 文件的读、写操作
  • 处理缺失值、替换值和正则表达式
  • GroupBy 和串联

Matplotlib

  • 图基础知识
  • 格式化图中的字符串
  • 标签参数，图例
  • 条形图、饼图、直方图、散点图

4 | 统计数据

描述性统计

  • 频率和集中趋势的度量
  • 色散测量
  • 概率分布
  • 高斯正态分布
  • 偏度和峰态
  • 回归分析
  • 连续和离散函数
  • 拟合优度
  • 正态性检验
  • 方差分析
  • 同方差性
  • 与回归的线性和非线性关系

推论统计

  • t检验
  • z检验
  • 假设检验
  • 第一类和第二类错误
  • t检验及其类型
  • 一种方差分析
  • 双向方差分析
  • 卡方检验
  • 连续和分类数据的实现

5 | 机器学习

掌握机器学习算法的最佳方法是使用 Scikit-Learn 框架。Scikit-Learn 包含预定义的算法，您只需生成类的对象即可使用它们。这些是您必须了解的算法，包括监督和无监督机器学习的类型：

  • 线性回归
  • 逻辑回归
  • 决策树
  • 梯度下降
  • 随机森林
  • 岭和套索回归
  • 朴素贝叶斯
  • 支持向量机
  • K均值聚类

机器学习的其他概念和主题

  • 测量精度
  • 偏差方差权衡
  • 应用正则化
  • 弹性网络回归
  • 预测分析
  • 探索性数据分析

6 | MLOps

您可以掌握来自 AWS、GCP 和 Azure 的任何一家云服务提供商。了解其中之一后，您可以轻松切换。

我们将首先关注 AWS - Amazon Web Services

  • 使用 Flask 部署 ML 模型
  • Amazon Lex - 自然语言理解
  • AWS Polly - 语音分析
  • Amazon Transcribe - 语音转文本
  • Amazon Textract - 提取文本
  • Amazon Rekognition - 图像应用程序
  • Amazon SageMaker - 构建和部署模型
  • 在 AWS 上使用深度学习

7 | 自然语言处理

如果您对使用文本感兴趣，您应该做一些 NLP 工程师所做的工作，并了解语言模型的工作原理。

  • 情绪分析
  • 词性标记、解析、
  • 文本预处理
  • 词干和词形还原
  • 使用朴素贝叶斯的情感分类
  • TF-IDF，N-gram，
  • 机器翻译，BLEU 分数
  • 文本生成、摘要、ROUGE 分数
  • 语言建模，困惑
  • 构建文本分类器
  • 识别性别

8 | 计算机视觉

要进行图像和视频分析，我们可以掌握计算机视觉。要从事计算机视觉工作，我们必须理解图像。

  • PyTorch 张量
  • 了解预训练模型，如 AlexNet、ImageNet、ResNet。
  • 神经网络
  • 建立一个感知器
  • 构建单层神经网络
  • 构建深度神经网络
  • 用于顺序数据分析的递归神经网络

卷积神经网络

  • 了解 ConvNet 拓扑
  • 卷积层
  • 池化层
  • 图片内容分析
  • 使用 OpenCV-Python 对图像进行操作
  • 检测边缘
  • 直方图均衡化
  • 检测角点
  • 检测SIFT特征点

9 | 使用 Tableau 进行数据可视化

如何使用视觉感知

  • 它是什么，它是如何工作的，为什么选择 Tableau
  • 连接到数据
  • 建筑图表
  • 计算
  • 仪表板
  • 分享我们的工作
  • 高级图表、计算字段、计算聚合
  • 条件计算，参数化计算

10 | 结构化查询语言 (SQL)

  • SQL语法和安装基础
  • 创建表、修改器
  • 插入和检索数据，SELECT INSERT UPDATE DELETE
  • 使用函数、过滤和 RegEX 聚合数据
  • 子查询，根据条件检索数据，数据分组。
  • 练习题
  • 连接
  • 高级 SQL 概念，例如事务、视图、存储过程和函数。
  • 数据库设计原则、规范化和 ER 图。
  • 练习、练习、再练习：练习在真实世界的数据集上编写 SQL 查询，并在项目中应用您的知识。

11 | 数据工程

大数据

  • 什么是大数据？
  • 大数据如何在业务中应用？

派斯帕克

  • 弹性分布式数据集
  • 图式
  • 拉姆达表达式
  • 转换
  • 动作

数据建模

  • 重复数据
  • 数据描述性分析
  • 可视化
  • 机器学习库
  • 机器学习包
  • 流水线

串流

  • 打包 Spark 应用程序

12 | 数据系统设计

什么是系统设计？

  • IP 和 OSI 模型
  • 域名系统 (DNS)
  • 负载均衡
  • 聚类
  • 缓存
  • 可用性、可扩展性、存储

数据库和数据库管理系统

  • SQL数据库
  • NoSQL 数据库
  • SQL 与 NoSQL 数据库
  • 数据库复制
  • 索引
  • 规范化和反规范化
  • CAP定理

系统设计面试

  • 网址缩短器
  • Whatsapp、推特、Netflix、优步

13 | 五大项目与Git

我们遵循基于项目的学习，我们将并行处理所有项目。

14 | 面试准备

15 | Git 与 GitHub

Git 和 GitHub 课程

  • 了解 Git
  • 命令和如何提交你的第一个代码？
  • 如何使用 GitHub？
  • 如何做出您的第一个开源贡献？
  • 如何与团队合作？- 第1部分
  • 如何创建令人惊叹的 GitHub 个人资料？
  • 如何建立自己的病毒库？
  • 免费为您的投资组合构建个人登陆页面
  • 如何在 GitHub 上增加粉丝？
  • 如何与团队合作？第 2 部分 - 问题、里程碑和项目

16 | 个人资料和投资组合

资源

数据集

1️⃣ 很棒的公共数据集 这个以主题为中心的高质量公共数据源列表。

2️⃣NLP 数据集 按字母顺序排列的免费/公共领域数据集列表，其中包含用于 NLP 的文本数据。

3️⃣很棒的数据集工具 精选的很棒的数据集工具列表。

4️⃣很棒的时间序列数据库 时间序列数据库的精选列表。

5️⃣Awesome-Cyber​​security-Datasets 精选的令人惊叹的网络安全数据集列表。

6️⃣Awesome Robotics Datasets 机器人数据集集合。

研究起点

机器学习

  1. 统计学习简介

深度学习

强化学习

项目

这是项目想法的列表

Data Science ML Full Stack Live Batch ->在这里注册

想加入 Live Batch 社区组吗？

https://chat.whatsapp.com/BSUPbYhzzM1BcJplcTTIxb

社交

加入 Telegram for Data Science ML AI 资源：

https://t.me/+sREuRiFssMo4YWJl

在这些平台上与我联系：

领英： https: //www.linkedin.com/in/hemansnation/

YouTube： https: //www.youtube.com/@Himanshu-Ramchandani

推特：https: //twitter.com/hemansnation

GitHub: hemansnation (Himanshu Ramchandani) · GitHub

Instagram： https: //www.instagram.com/masterdexter.ai/

AI 工作 LinkedIn 组：

Login | InCareer

中型博客：

https://medium.com/@hemansnation

关于数据、产品和 AI 的注释 - 时事通讯：

Login | InCareer

任何查询？

在这里给我发电子邮件：connect@himanshuramchandani.co

丶张豪哥
关注
全栈数据之路-数据科学杂货铺
简书博客搬家测试账号
03-16 180
感谢关注天善智能，走好数据之路↑↑↑欢迎关注天善智能，我们是专注于商业智能BI，大数据，数据分析领域的垂直社区，学习，问答、求职一站式搞定！天善智能社区地址：https://www.hellobi.com/课程地址：https://edu.hellobi.com/course/223 课程标题全栈数据之路-数据科学杂货铺讲师介绍任柳江，网名云戒。有近10年经验的...
python推荐算法课程_Python数据科学：全栈技术详解4-推荐算法
weixin_39728213的博客
12-13 365
作者：Ben，多本数据科学畅销书作家，先后在亚信、德勤、百度等企业从事电信、金融行业数据挖掘工作。配套学习教程：数据科学实战：Python篇https://edu.hellobi.com/course/270前文传送门：推荐系统近年来非常欢迎并应用于各行业。它是一种信息过滤系统，用于了解用户对物品的偏好。4.1 推荐系统概述推荐系统可以将商品推荐给用户，在互联网领域有着广泛运用。推荐系统可以根...
FLAML - 微软快速轻量级自动机器学习库
krishnaik06的博客
08-16 171
微软快速轻量级 AutoML 库 Flamel 简介 这段视频介绍了微软推出的快速轻量级 AutoML 库 Flamel。Flamel 是一个 Python 库，可以自动高效且经济地找到准确的机器学习模型。视频中提到了 Flamel 的优势： 简化流程： 只需要进行数据预处理和特征工程，然后将数据交给 Flamel，它会自动选择最佳的机器学习算法。 高效省时： 自动化的过程节省了用户手动选择模...
数据科学团队必备 - 数据科学项目全流程管理
九三智能控
07-11 423
今天，你AI了没？关注：决策智能与机器学习，学点AI干货无论是管理人员还是创业公司中的不同团队，都可能会发现数据科学项目与软件开发之间的差异并不直观。如果没有明确的说明与...
推荐开源项目：Whitebox - 全栈机器学习监控平台
gitblog_00027的博客
06-02 441
推荐开源项目：Whitebox - 全栈机器学习监控平台 项目地址:https://gitcode.com/squaredev-io/whitebox 在不断发展的AI领域中，确保模型的稳定性和准确性至关重要。为此，我们向您推荐一款强大的开源工具——Whitebox，一个专为端到端机器学习（E2E ML）监控设计的平台。不仅具备边缘计算能力，还能无缝对接Kubernetes，让您的MLOps流程变...
大数据新视界 --大数据大厂之数据科学项目实战：从问题定义到结果呈现的完整流程
青云交的博客
09-16 3364
本文深入阐述数据科学项目实战的完整流程，从问题定义到结果呈现，强调大数据技术的关键作用。涵盖物流、电信、金融等多领域案例，展示数据收集、处理、分析、可视化及持续改进环节。提供丰富代码示例，如使用 Kafka 收集数据、Spark 清洗数据等。探讨不同分析算法优缺点，展望大数据与新兴技术融合前景。为读者提供专业指导，助力数据科学项目成功实施。
数据中台是下一代大数据_全栈数据科学：下一代数据科学家群体
weixin_26713521的博客
09-01 245
数据中台是下一代大数据 重点 (Top highlight)Data science has been an eye-catching field for many years now to young individuals having formal education with a bachelors, masters or Ph.D. in computer science, statis...
2021-08-13
博文视点（北京）官方博客
08-13 9411
编者荐语： 这是一部深度学习框架的发展史！ 以下文章来源于亲爱的数据 ，作者亲爱的数据 原创：谭婧 世间有一种软件，名叫“深度学习框架”。 在人工智能的江湖，常听人言：得框架者，得天下。 多年以前，一面画着大G的大旗在高处飘扬，美国谷歌公司的深度学习框架占据大半江山。万万没有想到，一场大风暴来了。 2018 年，脸书公司“同款”对标产品把一款前辈产品吸纳进来，联剑并肩，威力大增。一年后，火力全开，专拣敌人的罅隙进攻。连冲数剑，杀开一个缺口，有守有攻，看看就可闯出。放眼学术圈，更是独领风骚，顶级学术会议的
机器学习 Machine Learning Park -- 专栏介绍
Garyboyboy的博客
11-18 1177
机器学习 Mechine Learning Gary 哥哥 2021/11/15 介绍 本专栏主要分两大版块，主要用于分享与总结机器学习相关 基础知识 当下应用 说明： 每个核心知识点都包含知识讲解和代码实现。 本专栏主要目的用于个人学习，亦不可以篇概全，请谅解，有问题可提出。 主要代码实现使用python，将同步到对应github仓库：Machine-Learning-Park 专栏尽量做到每三天或者两天更新 先来介绍四类角色： 领域专家（Domain experts）：知晓机器学习的项
遗传算法图像分matlab代码-fullstack-data-science-old:全栈数据科学
05-27
我发现有帮助的一些Python最喜欢的库以及Python的特定领域（例如数据科学，机器学习等）的列表。 流行的Python API（带有代码示例） 流行的Python ML API Python视频/教程 Python库 数据科学工作流程 线性代数 ...
player-chem-ml-stack
03-15
4. 数据预处理：化学数据可能需要清洗、归一化、编码（如One-Hot编码）等预处理步骤，JavaScript库如`ml-preprocessing`可以帮助完成这些任务。 5. 可视化：化学数据可视化是关键，如使用D3.js创建分子结构图或热力...
leetcode分类-ML_private:ML_private
06-29
数据科学家（工程）：统计+ML建模、ab测试、优化； 与工程师一起工作； 编写生产代码 机器学习工程师：DL、CV 和/或 NLP、实时服务、推荐系统； 全栈 ML 服务管道 研究科学家/应用科学家/数据科学家（研究/核心）：...
Python 使用 Jarvis 算法或包装的凸包（Convex Hull using Jarvis’ Algorithm or Wrapping）
最新发布
csdn_aspnet的专栏
10-14 815
例如，当输入 (0, 3), (0, 0), (0, 1), (3, 0), (3, 3) 时，它产生 (0, 3) (0, 0) (3, 0) (3, 3) 的输出；当输入 (0, 3), (0, 1), (0, 0), (3, 0), (3, 3) 时，输出为 (0, 3) (0, 1) (0, 0) (3, 0) (3, 3)。下一个点被选为在逆时针方向上领先于所有其他点的点，即，如果对于任何其他点 r，我们有“orientation(p, q, r) = 逆时针”，则下一个点是 q。
python安装第三方库的问题与解决方法
WANGWUSAN66的博客
10-10 754
大部分第三方库都是在国外网站，如果直接使用pip install 包名，下载速度会很慢，这对一些大型包是很致命的，如果下载中断则需要重头再来。安装某些包时，进行到一半出现构建wheel错误，这可能由于某些神秘的原因造成的，非常让人恼火。有些包（如rasterstats）既不能通过pip安装，在2中的网站也找不到，该怎么办？在python第三方库综合网站上搜索这个包，手动下载whl文件，下载完成后使用。解决方案：使用国内镜像（如清华镜像下载），速度很容易达到1M以上；
RWKV-CHN模型部署教程
SJJS_1的博客
10-10 1150
RWKV-x060-World-7B-v2.1-20240507-ctx4096 一号空间，RWKV 语言模型旨在通过为自动化所有事情来消除使用大型语言模型的障碍。用户所需要的就是一个只有几兆字节的轻量级可执行程序。本文将详细介绍如何实现该模型的本地部署。
从零开始搭建自动化测试工具：详细指南(四)-完结
zhangkexin_z的博客
10-11 376
在项目根目录下，创建conftest.py文件，使用pytest的钩子函数来实现。每执行一次用例，钩子函数会获取执行结果，根据执行结果来封装自己的测试报告。# 执行默认的钩子返回的report中，包含了测试结果信息，根据report的数据，来封装自己的测试报告。在中，可以使用pytest的标记功能来标记特定的功能（Feature）、场景（Scenario）或者步骤（Step）。例如，在.feature@slow这里使用了@slow标记来标记一个功能。passpass可以在运行pytest时，使用。
PyCharm 项目解释器切换指南：如何在项目中更换 Python Interpreter
敲代码别忘了喝上一杯凉白开。
10-10 825
本文详细介绍了在 macOS 系统中，如何通过 PyCharm 更换现有项目的 Python 解释器（Interpreter）。首先，用户可以通过 PyCharm 的 Settings 菜单进入项目设置，选择项目对应的 Python Interpreter。接着，文章介绍了如何通过 Add Interpreter 功能，选择现有的 Conda 环境或创建新的环境。在创建新环境时，用户可以自定义环境名称并选择所需的 Python 版本。
Street Gaussians 学习笔记
jacke121的专栏
10-09 304
浙大和理想汽车提出Street Gaussians：用于动态城市场景建模。
Virtex-5 ML506开发板电路详解
Virtex-5 ML506是一款基于Xilinx FPGA（Field-Programmable Gate Array）技术的开发平台，广泛用于高性能数字信号处理、嵌入式系统和系统级芯片设计。这个电路图详细列出了开发板上所有关键组件的位置和连接，对于...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值