大数据实训

一、自我介绍

你好！我是2019级兰州文理学院数据科学与大数据技术2班学生，我很高兴在暑假期间能够参加此次认知实习。在实习期间，通过老师在讲解我对大数据有了一些简单的认识，也了解到了一些有关Java和创建虚拟机的相关内容。

二、对大数据的简单认识

大数据定义:

大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低的四大特征。

大数据的特点

大数据的5V特点（IBM提出）：Volume（大量）、Velocity（高速）、Variety（多样）、Value（低价值密度）、Veracity（真实性）。

大数据最核心的价值就是在于对于海量数据进行存储和分析；大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。换而言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。

大数据可以实现的应用可以概括为两个方向，一个是精准化定制，第二个是预测。比如像通过搜索引擎搜索同样的内容，每个人的结果却是大不相同的。再比如精准营销、百度的推广、淘宝的喜欢推荐，或者你到了一个地方，自动给你推荐周边的消费设施等等。

大数据概念简介

一.大数据
1.4V：数据量大/数据种类多/处理速度快/价值密度低
2.大数据技术：数据采集/数据存储和管理/数据处理与分析/数据隐私和安全
3.大数据处理模式：批处理模式/流模式/图模式/查询分析模式
二.云计算
1.云计算：通过网络把分布式存储和分布式处理转成服务提供出去
2.3S：IAAS(基础设施即服务)/PAAS(平台即服务)/SAAS(软件即服务)
3.云计算技术：虚拟化/分布式存储/分布式处理/多租户
三.物联网
1.物联网：物与物相连的网络
2.物联网体系结构：应用层/处理层/网络层/感知层
3.物联网技术：识别和感知技术/网络和通信技术/数据挖掘和融合技术

大数据相关概念

三、创意场景

我想通过统计某一时间段内经过某一路口车辆和行人的数量来设置交通灯的时长，是的车辆和行人都能在最短的时间内通过，为人们提供方便。

目的

统计某一路口，在一个月中各个时间段内通过车辆和行人的数量，来绘制统计图。

需要获取的信息

获取该路口，在早晨、中午、下午、傍晚和夜晚等及各时间段内通过车辆和行人的数量的相关性息。

进行的操作

通过分析前期所获取的信息，来设置交通灯红灯和绿灯的时长。

想要达到的目的

减少该路口车辆和行人的滞留时间，方便人们的日常生活。

本次大数据认知实习的收获与感想

在这次大数据认知实习中，通过老师的讲解，我学习了有关大数据的相关知识。实习中，老师为我们讲授了java的安装及环境变量的配置、利用大数据生成日志文件、创建虚拟机的相关步骤。

通过这次实习，我知道了大数据的广大，知道了学习有关编程语言的重要性，明白了实践学习在我们学习生活的重要性。