Appreciate(欣赏)

2、estimator.fit(x_train, y_train)计算。在sklearn中，估计器是一个重要的角色，是一类实现了算法的API。调用fit_transform()1、实例化一个estimator。-----调用完毕，模型生成。3、用于无监督学习的估计器。2、用于回归的估计器。

数据中包含冗余或相关变量（或称特征、属性、指标等），旨在从原有特征中找出主要特征定义：高维数据转换为低维数据的过程，在此过程中可能会舍弃原有数据、创造新的变量作用：是数据维数的压缩，尽可能降低原数据的维数（复杂度），损失少量信息应用：回归分析或者聚类分析中。

通过对原始的数据进行变换把数据映射到（默认为[0,1]之间）注意最大值最小值是变化的，另外，最大值与最小值非常容易受到异常值影响，所以这种方法稳定性较差，只适合传统精确小数据场景通过对原始数据进行变换把数据变换到均值为0，标准差为1的范围内在已有样本足够多的情况下比较稳定，适合现代嘈杂大数据场景。

特征工程是使用专业背景知识和技巧处理数据，使得特征能在机器学习算法上发挥更好的作用的过程意义：会直接影响机器学习的效果将任意数据（如文本或图像）转换为可用于机器学习的数字特征注：特征值是为了计算机更好的去理解数据字典特征提取（特征离散化）文本特征提取图像特征提取（深度学习再介绍）

【代码】pip 安装 scikit-learn。

【代码】python爬虫Selenium模块及测试案例详解。

【代码】python爬虫网页解析模块及测试案例详解。

urllib的request模块提供了最基本的构造HTTP请求的方法，使用它可以方便地实现请求的发送并得到响应，同时它还带有处理授权验证（authentication）、重定向（redirection）、浏览器Cookies以及其他内容。

执行会新创建一个文件，如果文件存在会报错。

在类的代码块中，我们可以定义变量和函数# 在类中我们所定义的变量，将会成为所有的实例的公共属性# 所有实例都可以访问这些变量name = 'swk' # 公共属性，所有实例都可以访问# 在类中也可以定义函数，类中的定义的函数，我们称为方法# 这些方法可以通过该类的所有实例来访问# 方法每次被调用时，解析器都会自动传递第一个实参# 第一个参数，就是调用方法的对象本身，# 如果是p1调的，则第一个参数就是p1对象# 如果是p2调的，则第一个参数就是p2对象。

def fn() :print('这是我的第一个函数！')print('今天天气真不错！')

字典的每个键值 key=>value 对用冒号 : 分割，每个对之间用逗号(,)分割，整个字典包括在花括号 {} 中。可以使用大括号 { } 创建集合，元素之间用逗号 , 分隔， 或者也可以使用 set() 函数创建集合。与字符串的索引一样，列表索引从 0 开始，第二个索引是 1，依此类推。集合中的元素不会重复，并且可以进行交集、并集、差集等常见的集合操作。Python 的元组与列表类似，不同之处在于元组的元素不能修改。元组创建很简单，只需要在括号中添加元素，并使用逗号隔开即可。

Python for 循环可以遍历任何可迭代对象，如一个列表或者一个字符串。

如果判断结果为False，则执行语句2，并返回执行结果。如果判断结果为True，则执行语句1，并返回执行结果。语法： 语句1 if 条件表达式 else 语句2。条件运算符在执行时，会先对条件表达式进行求值判断。

所谓 CEP，其实就是“复杂事件处理（Complex Event Processing）”的缩写；而 Flink CEP，就是 Flink 实现的一个用于复杂事件处理的库（library）。那到底什么是“复杂事件处理”呢？就是可以在事件流里，检测到特定的事件组合并进行处理，比如说“连续登录失败”，或者“订单支付超时”等等。具体的处理过程是，把事件流中的一个个简单事件，通过一定的规则匹配组合起来，这就是“复杂事件”；然后基于这些满足规则的一组组复杂事件进行转换处理，得到想要的结果进行。

数据库架构设计的三种模式：share nothing , share everythong , share disk

Table API和SQL是最上层的API，在Flink中这两种API被集成在一起，SQL执行的对象也是Flink中的表（Table），所以我们一般会认为它们是一体的。Flink是批流统一的处理框架，无论是批处理（DataSet API）还是流处理（DataStream API），在上层应用中都可以直接使用Table API或者SQL来实现；这两种API对于一张表执行相同的查询操作，得到的结果是完全一样的

这里的依赖是一个Java的“桥接器”（bridge），主要就是负责Table API和下层DataStream API的连接支持，按照不同的语言分为Java版和Scala版。

Dinky 是一个开箱即用、易扩展，以 Apache Flink 为基础，连接 OLAP 和数据湖等众多框架的一站式实时计算平台，致力于流批一体和湖仓一体的探索与实践。

既然是端到端的exactly-once，我们依然可以从三个组件的角度来进行分析：（1）Flink内部Flink内部可以通过检查点机制保证状态和处理结果的exactly-once语义。（2）输入端输入数据源端的Kafka可以对数据进行持久化保存，并可以重置偏移量（offset）。所以我们可以在Source任务（FlinkKafkaConsumer）中将当前读取的偏移量保存为算子状态，写入到检查点中；