Spark Sql练习之疫情简单分析

疫情无情人有情!
众志成城,抗击疫情。
目前疫情防控形势严峻复杂,使用 Spark SQL 分析疫情数据

一,项目需求

		 	1、湖北籍人员信息
			2、武汉疫区人员信息
			3、需要对员工进行隔离观察14天的公司
			4、有感染风险的车厢
			5、需要隔离观察的人员信息

二, 项目信息

				1>  civic_info.csv
				2>   ticket_info.csv

1>civic_info.csv:公民信息表

在这里插入图片描述

对civic_info.csv进行一个简单的分析

           id_no:编号
			name:姓名
			sex    :性别
			age   :年龄
			province:省份
			city:城市
			district:区
			residence:住宅 
			home_domicile:居住地
			working_company:工作公司

2>ticket_info.csv:票务信息表

在这里插入图片描述

对ticket_info.csv表进行一个简单的分析

					ticket_no:票号
					train_no:列车号
					carriage_no:马车号
					seat_no:座位号
					passenger_name:乘客姓名
					passenger_id:乘客身份证
					departure:离开 地方
					destination:目的地
					departure_time:出发时间
					arrival_time:到达时间

三,架构、代码

项目结构

			资源文件放在input文件夹下, 项目Demo是:ProjectTest

在这里插入图片描述

代码实现

pro.xml

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
<modelVersion>4.0.0</modelVersion>

<groupId>com.aaa</groupId>
<artifactId>Scala</artifactId>
<version>1.0-SNAPSHOT</version>
<dependencies>
    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-core_2.11</artifactId>
        <version>2.1.1</version>
    </dependency>
    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-sql_2.11</artifactId>
        <version>2.1.1</version>
    </dependency>
</dependencies>
</project>

ProjectTest

<
  • 0
    点赞
  • 10
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值