hadloop大数据平台论文_基于Hadoop的高校大数据平台的设计与实现

文

章

编

号

=

1009 -2552

(

2017

)

12 -0105 -05

D

O

I

：

1

0

.

13274/

j

.

cnki

.

hdzj

.

2017. 12.

024

基

于

H

a

d

o

o

p

的

高

校

大

数

据

平

台

的

设

计

与

实

现

唐

燕

，

刘

仁

权

，

王

苹

(北京中医药大学信息中心，北

京

100096)

摘

要

：

随

着

信

息

化

的

推

进

，高

校

已

经

建

设

了

很

多

信

息

系

统

，积

累

了

大

量

数

据

。

如

何

从

海

量

数

据

中

，挖

掘

有

价

值

的

信

息

，支

撑

智

慧

校

园

的

建

设

，成

为

需

要

迫

切

解

决

的

问

题

。

文

中

就

高

校

大

数

据

平

台

的

关

键

技

术

和

架

构

进

行

阐

述

，结

合

高

校

实

际

情

况

，设

计

高

校

大

数

据

平

台

架

构

，通

过

搭

建

H

a

d

o

o

p

集

群

环

境

，以

业

务

系

统

和

平

台

之

间

的

数

据

交

互

验

证

平

台

设

计

的

可

行

性

和

优

势

。

通

过

研

究

，

文

中

为

高

校

建

设

大

数

据

平

台

提

出

一

种

设

计

方

案

，为

高

校

信

息

化

建

设

提

供

一

种

新

思

路

。

关

键

词

：

大数据

；

H

a

d

o

o

p

;

分布式计算

；

H

i

v

e

;

高校信息化

中

图

分

类

号

：

T

P

3

0

2

文

献

标

识

码

：

A

Design and implementation of college

and university big data

platform based on Hadoop

TANG

Y

a

n

，

LIU

Ren-quan

，

WANG

Ping

(

I

n

f

o

r

m

a

t

io

n

C

e

n

t

e

r

，

B

e

ijin

g

U

n

iv

e

r

s

it

y

o

f

C

h

in

e

s

e

M

e

d

ic

in

e

，

B

e

ijin

g

100096,

C

h

i

n

a

)

Abstract

：

W

i

t

h

the develo

p

m

e

n

t

ol information technology，colleges a

n

d

universities hav

e

built a lot ol

information s

y

s

t

e

m

s

，accumu

l

a

t

e

d

a lot

of

data.

H

o

w

to

mi

n

i

n

g

valuable insight from

massive

data a

n

d

support the construction of intelligent c

a

m

p

u

s

has b

e

c

o

m

e

a

n

urgent p

r

o

b

l

e

m

to b

e

solved.

In this p

a

p

e

r

，

the k

e

y

technology

a

n

d

architecture

of

university

data platform

are

e

x

p

o

u

n

d

e

d

，

a

n

d

the

architecture

of

university data platform is designed.

T

h

e

feasibility a

n

d

advantages of platform design are verified b

y

the

data interaction b

e

t

w

e

e

n

business system a

n

d

platform b

y

setting u

p

H

a

d

o

o

p

cluster environment.

T

h

r

o

u

g

h

the research

，

i

t

proposes

a

design

s

c

h

e

m

e

for

the

construction

of

large

data

platform

in

colleges

a

n

d

universities，a

n

d

provides a n

e

w

idea for the construction of university informationization.

Key words

：

big data;

H

a

d

o

o

p

;

distributed c

o

m

p

u

t

i

n

g

；

Hive;

university informationization

2

0

1

7

年第12淛

y

信

息

疼

术

0

引

百

随着云计算、

互

联

网

、

物联网技术的快速发展，

各个行业已经进人大数据时代。大数据包括各个系

统中数据库中的结构化数据，

也包括由社交媒体、

邮

件

、

视频、

音

频

、

文档信息和网页所产生的非结构化

数据。大数据技术的目标就是从这些数据中挖掘信

息

、

预测趋势、

提供决策支持。“

大

数据

”

被认为是

继物联网、

云计算之后

I

T

产业又一次颠覆性的技术

变革⑴。

随着信息化的推进，

高校已经建设了很多信息

系统，

经过多年运营，

已经积累了很多数据。但

是

，

这些系统分阶段建设，

由不同部门运营和维护。虽

然各业务系统之间也进行了对接和数据交互，

但缺

少一个统一支持海量数据处理的平台来支撑智慧校

园的建设。在高校建立数据中心和大数据平台，

利

用海量数据进行数据分析、

挖

掘

，

为学校管理部门提

供决策依据，

为

师

生

提供更

智能、

便捷的信息化服

务

，

这是高校信息化部门建设智慧校园过程中的必

由之路[2]。

收稿日期

：2017

-

0

2

-

1

7

基金项目：北京中医药大学

2

0

1

5

基本科研面上课题

(

2015

-

」

YB

-

JS

M

S

0

5

1);

北京中医药大学

2

0

1

6

年基本科研课题

(

2016

-

」

Y

B

-

」

S

M

S

-0

1

9

)

作者简介：唐燕

(

1977

-

)

，

女

，

硕

士

，

讲

师

，

研究方向为大数据技术、

数据挖掘。通讯作者

:

王苹。

一 1

0