黑马程序员官方博客

任何学习过程都需要一个科学合理的学习路线，才能够有条不紊的完成我们的学习目标。Python+大数据所需学习的内容纷繁复杂，难度较大，所以今天特别为大家整理了一个全面的Python+大数据学习路线图，帮大家理清思路，攻破难关！文章目录前言第一阶段 大数据开发入门1.大数据数据开发基础MySQL8.0从入门到精通第二阶段 大数据核心基础2022版大数据Hadoop入门教程第三阶段 千亿级数仓技术数据离线数据仓库，企业级在线教育项目实战（Hive数仓项目完整流程）第四阶段 PB内存计算1.pytho

​国内很多大公司，都在使用Hudi，构建数据湖，并且与大数据仓库整合，搭建湖仓一体化平台​。

Apache Pulsar 是一个云原生企业级的发布订阅（pub-sub）消息系统，最初由Yahoo开发，并于2016年底开源，现在是 Apache软件基金会顶级开源项目。Pulsar在Yahoo的生产环境运行了三年多，助力Yahoo的主要应用，如Yahoo Mail、 Yahoo Finance、Yahoo Sports、Flickr、Gemini广告平台和Yahoo分布式键值存储系统Sherpa。Apache Pulsar的功能与特性:1) 多租户模式:2) 灵活的消息系统3) 云原生架构。

会继续处理 finally 中的代码；用 raise 方法可以抛出自定义异常。

Iterable代表一个可以迭代的集合, 它继承了Traversable特质, 同时也是其他集合的父特质. 最重要的是, 它定义了获取迭代器(iterator)的方法:, 这是一个抽象方法, 它的具体实现类需要实现这个方法, 从而实现迭代的返回集合中的元素Seq特质代表按照一定顺序排列的元素序列, 序列是一种特别的可迭代集合, 它的元素特点是有序(元素存取顺序一致), 可重复, 有索引表示栈数据结构, 元素特点是先进后出。

但凡了解过编程的人都知道程序 = 算法 + 数据结构这句话, 它是由著名的瑞士计算机科学家尼古拉斯·沃斯提出来的, 而他也是1984年图灵奖的获得者. 算法指的是计算的一系列有效, 通用的步骤. 算法和数据结构是程序设计中相辅相成的两个方面, 因此数据结构也是编程中很重要的一个方面. 很多编程语言都提供了数据结构的对应编程库,并称之为集合库(Collection Library). Scala中也有集合库, 它的优点如下:易于使用。

Iterable代表一个可以迭代的集合, 它继承了Traversable特质, 同时也是其他集合的父特质. 最重要的是, 它定义了获取迭代器(iterator)的方法:, 这是一个抽象方法, 它的具体实现类需要实现这个方法, 从而实现迭代的返回集合中的元素Seq特质代表按照一定顺序排列的元素序列, 序列是一种特别的可迭代集合, 它的元素特点是有序(元素存取顺序一致), 可重复, 有索引表示栈数据结构, 元素特点是先进后出。

另外，如果是不在标准库里的新库，但是比较大众和常用的库，比如requests、bs4、python-docx、xlwings....等等等等，建议直接看他们的官方文档学习。2023人工智能学习路线图：入门： Python基础→Python数据挖掘中级： 机器学习进阶： NLP自然语言高级： OpenCV基础→深度学习完整的人工智能学习路线在这里，包含从 入门到进阶3个阶段内容，6套课程下面带大家一起…比如常用的re、、datetime、math、random、os、shutil、要知道有哪些，大家可以。

【代码】python实现从零搭建图书管理系统。

如果想要做出数据可视化效果图, 可以借助pyecharts模块来完成。Echarts 是个由百度开源的数据可视化，凭借着良好的交互性，精巧的图表设计，得到了众多开发者的认可. 而 Python 是门富有表达力的语言，很适合用于数据处理. 当数据分析遇上数据可视化时pyecharts 诞生了。

实际开发中, 我们发现好多类中的内容是相似的(例如: 相似的属性和行为), 每次写很麻烦. 于是我们可以把这些相似的内容提取出来单独的放到一个类中(父类), 然后让那多个类(子类)和这个类(父类)产生一个关系, 从而实现子类可以访问父类的内容, 这个关系就叫: 继承.因为scala语言是支持面向对象编程的，我们也可以使用scala来实现继承，通过继承来减少重复代码。

另外，线程是进程中的一个实体，是被系统独立调度和分派的基本单位，线程自己不拥有系统资源，只拥有一点儿在运行中必不可少的资源，但它可与同属一个进程的其它线程共享进程所拥有的全部资源。CPU的时间片轮转，在不同的时间段切换执行不同的进程，但是切换进程是比较耗时的；就引来了轻量级进程，也就是所谓的线程，一个进程中包括多个线程（代码流，其实也就是进程中同时跑的多个方法体）当一个程序启动时，就有一个进程被操作系统（OS）创建，与此同时一个线程也立刻运行，该线程通常叫做程序的主线程。

一个类会有自己的属性，例如：人类，就有自己的姓名和年龄。我们接下来学习如何在类中定义和访问成员变量。类可以有自己的行为，scala中也可以通过定义成员方法来定义类的行为。Java中的访问控制，同样适用于scala，可以在成员前面添加private/protected关键字来控制成员的可见性。

​ Scala(斯嘎拉)这个名字来源于"Scalable Language(可伸缩的语言)", 它是一门基于JVM的多范式编程语言, 通俗的说:Scala是一种运行在JVM上的函数式的面向对象语言. 之所以这样命名, 是因为它的设计目标是: 随着用户的需求一起成长. Scala可被广泛应用于各种编程任务, 从编写小型的脚本到构建巨型系统, 它都能胜任. 正因如此, Scala得以提供一些出众的特性, 例如:它集成了面向对象编程和面向函数式编程的各种特性, 以及更高层的并发模型。

集成学习通过建立几个模型来解决单一预测问题。它的工作原理是生。

在上一节中，我们简单了解到可以使用类去封装属性，并基于类创建出一个个的对象来使用。成员变量在类中定义成员方法和定义函数基本一致，但仍有细微区别：可以看到，在方法定义的参数列表中，有一个：self关键字self关键字是成员方法定义的时候，必须填写的。它用来表示类对象自身的意思当我们使用类对象调用方法的是，self会自动被python传入在方法内部，想要访问类的成员变量，必须使用self。

重定向也称为输出重定向，把在终端执行命令的结果保存到目标文件。软链接硬链接命令说明ln -s创建软链接ln创建硬链接.gz.bz2.zip.gz和.bz2的压缩包需要使用tar命令来压缩和解压缩.zip的压缩包需要使用zip命令来压缩，使用unzip命令来解压缩节省磁盘空间命令说明chmod修改文件权限字母法数字法命令说明ssh远程登录。

负责公司市场部、运营部、财务部等专业业务以外的所有职能类工作，包括行政后勤管理、劳动关系、绩效考核与培训、企划宣传、采购需求管理、信息建设及数据分析、公司整体目标和绩效管理等工作。- 负责客户需求开发、服务产品开发、市场拓展与销售管理工作，执行销售策略、承担公司市场、销售方面具体目标责任。：基于工单信息统计等待分配工单数量、完成工单数量、处理工单数量、响应时长、服务时长等指标。ciss_s_exp_report_wo_payment：汇总报销单与工单费用单对照表。

1、put方式为单条插入，在put数据时会先将数据的更新操作信息和数据信息 写入WAL ， 在写入到WAL后， 数据就会被放到MemStore中 ，当MemStore满后数据就会被 flush到磁盘 (即形成HFile文件) ，在这种写操作过程会涉及到。用户画像平台将标签基本信息数据存储至MySQL数据库中，其中每个标签Tag的构建对应一个模型Model，模型数据同样存储至MySQL数据库中。电商系统中四张表的结构如下，数据存储在MySQL数据库中（ 为了方便模拟业务数据，存。

ciss_base_customer：客户信息表【客户id、客户省份名称、所属公司ID】：构建服务网点维度表，得到服务网点id、网点名称、网点所属的地理区域、服务网点状态等。org_employee：员工信息表【员工id、员工编码、员工名称、用户系统id】org_position：岗位信息表【岗位id、岗位编码、岗位名称、部门id】org_organization：部门信息表【部门id、部门编码、部门名称】：构建日期时间维度表，得到所有年、季度、月、周、日的维度信息。

1. Django默认用户认证系统Django自带用户认证系统它处理用户账号、组、权限以及基于cookie的用户会话。Django认证系统位置django.contrib.auth包含认证框架的核心和默认的模型。Django认证系统同时处理认证和授权认证：验证一个用户是否它声称的那个人，可用于账号登录。授权：授权决定一个通过了认证的用户被允许做什么。Django认证系统包含的内容用户：用户模型类、用户认证。权限：标识一个用户是否可以做一个特定的任务，MIS系统常用到。

MR程序运行在YARN上时，有一些轻量级的作业要频繁的申请资源再运行，性能比较差怎么办？功能：解决事实中渐变维度发生变化的问题，通过时间来标记维度的每一种状态，存储所有状态。：明细数据层：对ODS层的数据根据业务需求实现ETL以后的结果：ETL以后事务事实表。无事实事实表：特殊的事实表，里面没有事实，是多个维度的组合，用于求事实的差值。–outdir：Sqoop解析出来的MR的Java程序等输出文件输出的文件。：数据集市：按照不同部门的数据需求，将暂时没有实际主题需求的数据存储。

目标了解Docker的基本功能和设计为什么要用Docker？什么是Docker？路径step1：生产环境的问题step2：容器的概念step3：Docker的设计实施生产环境的问题运维层面：一台机器上的应用太多，不同的环境，安装过程也不一样，管理麻烦，怎么办？开发层面：不同程序的运行受到环境、资源等因素的干扰，不同的环境，开发的方式也不一样，怎么办？容器的概念硬件容器：将一个硬件虚拟为多个硬件，上层共用硬件应用容器：将一个操作系统虚拟为多个操作系统，不同操作系统之间互相隔离。

SQL全称： Structured Query Language，结构化查询语言，用于访问和处理数据库的标准的计算机语言。SQL语言1974年由Boyce和Chamberlin提出，并首先在IBM公司研制的关系数据库系统SystemR上实现。经过多年发展，SQL以成为数据库领域统一的数据操作标准语言，可以说几乎市面上所有的数据库系统都支持使用SQL语言来操作。简单来说，SQL语言就是操作数据库的专用工具。

提示：我们很难将存放到一条Redis记录中。所以我们要把购物车数据合理的分开存储。 Base64是一种基于64个可打印字符来表示二进制数据的表示方法。由于2^6=64，所以每6个比特位一个单元，对应某个可打印字符。3个字节有24个比特，对应于4个Base64单元，即3个字节可由4个可打印字符来表示。在Base64中的可打印字符包括字母、、数字，这样共有62个字符，此外两个可打印符号在不同的系统中而不同。Base64常用于在通常处理文本数据的场合，表示、传输、存储一些二进制数据，包括MI

实现全文检索的搜索引擎，首选的是。是用 Java 实现的，开源的搜索引擎。它可以快速地储存、搜索和分析海量数据。维基百科、Stack Overflow、Github等都采用它。Elasticsearch 的底层是开源库Lucene。但是，没法直接使用 Lucene，必须自己写代码去调用它的接口。分词说明搜索引擎在对数据构建索引时，需要进行分词处理。分词是指将一句话拆解成多个单字或词，这些字或词便是这句话的关键词。我是中国人我、是、中、国、人、中国等等都可以是这句话的关键字。

SPU = Standard Product Unit （标准产品单位）SPU是商品信息聚合的最小单位，是一组可服用、易检索的标准化信息的集合，该集合描述了一个产品的特性。通俗的讲，属性值、特性相同的商品就可以归类到一类SPU。例如:iPhone X就是一个SPU，与商家、颜色、款式、规格、套餐等都无关。SKU = Stock Keeping Unit （库存量单位）SKU即库存进出计量的单位，可以是以件、盒等为单位，是物理上不可分割的最小存货单元。

GoogLeNet的名字不是GoogleNet，而是GoogLeNet，这是为了致敬LeNet。GoogLeNet和AlexNet/VGGNet这类依靠加深网络结构的深度的思想不完全一样。GoogLeNet在加深度的同时做了结构上的创新，引入了一个叫做Inception的结构来代替之前的卷积加激活的经典组件。GoogLeNet在ImageNet分类比赛上的Top-5错误率降低到了6.7%。。

大规模数据集是成功应用深度神经网络的前提。例如，我们可以对图像进行不同方式的裁剪，使感兴趣的物体出现在不同位置，从而减轻模型对物体出现位置的依赖性。我们也可以调整亮度、色彩等因素来降低模型对色彩的敏感度。可以说，在当年AlexNet的成功中，图像增强技术功不可没。

"""用户名登录""""""实现登录逻辑:param request: 请求对象:return: 登录结果"""pass1.请求方式选项方案请求方法DELETE请求地址/logout/2.请求参数无3.响应结果：JSON字段说明code状态码errmsg错误信息回顾登录：将通过认证的用户的唯一标识信息，写入到当前session会话中退出登录：正好和登录相反（清理session会话信息）Django用户认证系统提供了logout()方法。

1.请求方式选项方案请求方法GET请求地址2.请求参数：路径参数参数名类型是否必传说明uuidstring是唯一编号image/jpeg1.图形验证码视图"""图形验证码"""""":param request: 请求对象:param uuid: 唯一标识图形验证码所属于的用户"""pass2.总路由...# 添加验证码 verifications 总路由]3.子路由# 图形验证码]4.添加自定义转换器"""自定义路由转换器去匹配手机号"""# 定义UUID的正则表达式。

网络越深，获取的信息就越多，特征也越丰富。但是在实践中，随着网络的加深，优化效果反而越差，测试数据和训练数据的准确率反而降低了。针对这一问题，何恺明等人提出了残差网络（ResNet）在2015年的ImageNet图像识别挑战赛夺魁，并深刻影响了后来的深度神经网络的设计。

2014年，牛津大学计算机视觉组（Visual Geometry Group）和Google DeepMind公司的研究员一起研发出了新的：VGGNet，并取得了ILSVRC2014比赛分类项目的第二名，主要贡献是使用很小的卷积核(3×3)构建卷积神经网络结构，能够取得较好的识别精度，常用来提取图像特征的VGG-16和。

思考：为什么要自定义用户模型类？观察注册界面会发现，美多商城注册数据中必选用户mobile信息。但是Django默认用户模型类中没有mobile字段，所以要自定义用户模型类。如何自定义用户模型类？继承自（可通过阅读Django默认用户模型类的源码得知）。新增mobile字段。"""自定义用户模型类"""mobile = models.CharField(max_length=11, unique=True, verbose_name='手机号')verbose_name = '用户'

SSD算法的全名是Single Shot MultiBox Detector，Single shot指明了SSD算法属于one-stage方法，MultiBox指明了SSD是多框预测。

1.首页广告正在上传…重新上传取消2.注册正在上传…重新上传取消3.登录正在上传…重新上传取消4.QQ登录正在上传…重新上传取消正在上传…重新上传取消5.个人信息正在上传…重新上传取消6.收货地址正在上传…重新上传取消7.我的订单正在上传…重新上传取消8.修改密码正在上传…重新上传取消9.商品列表正在上传…重新上传取消10.商品搜索正在上传…重新上传取消11.商品详情正在上传…重新上传取消12.购物车正在上传…重新上传取消13.结算订单正在上传…

Pascal VOC数据集作为基准数据，在目标检测中常被使用到，很多优秀的计算机视觉模型比如分类，定位，检测，分割，动作识别等模型都是基于PASCAL VOC挑战赛及其数据集上推出的，尤其是一些目标检测模型（比如RCNN系列，以及后面要介绍的YOLO，SSD等）。

Django在中间件中预置了六个方法，这六个方法会在不同的阶段自动执行，对输入或输出进行干预。启动Django程序，初始化中间件时，自动调用一次，用于确定是否启用当前中间件pass1.2 处理请求前的方法：(重要)在处理每个请求前，自动调用，返回None或HttpResponse对象pass1.3 处理视图前的方法：（重要）在处理每个视图前，自动调用，返回None或HttpResponse对象pass在处理每个模板响应前，自动调用，返回实现了render方法的响应对象pass。

使用类视图可以将视图对应的不同请求方式以类中的不同方法来区别定义。在Django中也可以使用类来定义一个视图，称为。定义类视图需要继承自Django提供的父类。使用面向对象多继承的特性。导入，定义方式如上所示。

TFRecord 是Google官方推荐的一种数据格式，是Google专门为TensorFlow设计的一种数据格式，利用这种方式存储数据可以使其与网络架构更适配。TFRecord是一种二进制文件，其能更好的利用内存，与csv,hdf5文件是类似的。TFRecord的文件的内容如下图所示：tf.train.bytes_list: 可以存储string 和byte两种数据类型。图像数据使用这种方式存储即可。