1. 使用 Python 编程,将一个数据集 X={4,8,15,21,21,24,25,28,34},采用基
于 平 均 值 的 等 高 分 箱 方 法 对 其 进 行 平 滑 处 理 , 得 到 新 的 数 据 集
{9,9,9,22,22,22,29,29,29}。
2.把 JSON 格式数据放入 Kafka 发送出去,然后,再从 Kafka 中获取到 JSON 格
式数据,对其进行解析并写入到 MySQL 数据库。
{ "sno":"95001","name":"John","sex":"M","age":23}
3.在特定目录下的文件(比如“C:\mylog\log1.txt”),会不断发生更新,
每当文件被更新时,就需要把更新的数据采集到 HDFS 中去。
根据需求,首先定义以下 3 大要素:
Source:因为要监控文件内容,所以 Souce 的类型是 exec;
Sink:因为要把文件采集到 HDFS 中,所以,Sink 的类型是 hdfs;
Channel:Channel 的类型可以设置为 memory。
在 Flume 安装目录的 conf 子目录下,编写一个配置文件 exec_hdfs.conf,在
HDFS 的 WEB 管理页面中(http://localhost:9870)查看生成的文件及其内容。
4.使用 Python 语言完成下列操作过程:
(1)由["Python","C","Scala","Java","GO","Scala","SQL","PHP","Python"]
创建一个变量名为 language 的 Series;
(2)创建一个由随机整型组成的 Series,要求长度与 language 相同,变量名
为 score;
(3)根据 language 和 score 创建一个 DataFrame;
(4)输出该 DataFrame 的前 4 行数据;
(5)输出该 DataFrame 中 language 字段为 Python 的行;
(6)将 DataFrame 按照 score 字段的值进行升序排序。