spark
乐乐今天没bug
嵌入式软件架构师(实习版)
展开
-
MapReduce-在日志中输出函数-计数器
目录需求分析及实现结果分析 需求 需求还是那个需求啊!! 删除文件中缺失值大于三个的记录,并输出删除行数 分析及实现 数据 编写了一个1.csv用作测试数据,其中满足删除条件即缺失值大于三个的数据有4行,是所有偶数行,进行清洗之后,保留的数据有5行,是所有奇数行,文件具体数据内容如下: 1,l1,l2,l3,l4,l5,l6,l7,l8,l9 2,l1,NULL,NULL,NULL,NULL,...原创 2019-11-08 21:18:15 · 680 阅读 · 2 评论 -
spark-傲娇的filter()
spark version : 2.0.0 已知 val df = spark.read.json("hdfs路径") df.createTempView("person") 如果执行 spark.sql("select * from person") 有如下表结构: age name 20 aoge 19 mengmeng 问题 但是在使用df.filter()时出现...原创 2019-11-02 16:44:05 · 308 阅读 · 3 评论