2020年07月_茅坤宝骏氹

原创 Spark Streaming之统计socket单词数

一、统计socket单词数侦听TCP套接字的数据服务器接收到的文本数据中的单词数。二、maven配置<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache..

2020-07-10 21:43:08 399

原创 Spark入门（十八）之多表关联

一、多表关联输入是两个文件，一个代表工厂表，包含工厂名列和地址编号列；另一个代表地址表，包含地址名列和地址编号列。要求从输入数据中找出工厂名和地址名的对应关系，输出"工厂名——地址名"表二、maven设置<?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema.

2020-07-09 12:38:20 1804

原创 Spark入门（十七）之单表关联

一、单表关联计算文本里面的父与子之间的关系，得到孙子与祖父之间的关系，输出结果。二、maven设置<?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache..

2020-07-09 12:20:30 726

原创 Spark入门（十六）之分组求TOP N最小值

一、分组求TOP N最小值计算文本里面的每个key分组求TOP N最小值，输出结果。二、maven设置<?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apac..

2020-07-09 08:43:33 540

原创 Spark入门（十五）之分组求最小值

一、分组求最小值计算文本里面的每个key分组求最小值，输出结果。二、maven设置<?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM..

2020-07-09 08:29:44 811

原创 Spark入门（十四）之分组求最大值

一、分组求最大值计算文本里面的每个key分组求最大值，输出结果。二、maven设置<?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM..

2020-07-09 08:23:39 2137

原创 Spark入门（十三）之分组求平均值

一、分组求值计算文本里面的每个key分组求值，输出结果。二、maven设置<?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0..

2020-07-08 22:53:08 1476

原创 Spark入门（十二）之最值

一、Distinct计算文本里面的每个单词去重，输出结果。二、maven设置<?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4...

2020-07-08 21:21:01 370

原创 Spark入门（十一）之排序

一、Sort计算文本里面的每个单词出现的个数，单词个数逆序（相同个数单词正序）输出结果。二、maven设置<?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.ap..

2020-07-08 12:28:41 368

原创 Spark入门（十）之Distinct去重

一、Distinct计算文本里面的每个单词去重，输出结果。二、maven设置<?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4...

2020-07-08 12:04:50 1300

原创 Spark入门（九）之PI估值

一、Pi估值算法通过在圆上“投掷飞镖”来估计π。我们在单位平方（（0，0）到（1，1））中随机选取点，看看有多少点落在单位圆内。分数应该是π/4，所以我们用这个来得到我们的估计值。二、项目maven依赖<?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-.

2020-07-08 09:17:35 535

原创 Spark入门（八）之WordCount

一、WordCount计算文本里面的每个单词出现的个数，输出结果。二、maven设置<?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/PO..

2020-07-08 09:09:38 319

茅坤宝骏氹的博客