数据采集—数据采集技术

数据采集技术

综述

数据采集是大数据产业的基石。

数据采集的重点不在于数据本身,而在于如何才能解决数据运营中的实际商业问题。通过对数据采集技术获取的高质量数据的分析和挖掘,得到的结果对决策行为具有较高的指导性作用

数据采集的定义

数据采集,又称数据获取,是利用一种程序或装置从系统外部采集数据,经过数据清洗,最终输入到存储系统中

数据采集的特点

  1. 自动化:以高自动化的方式采集并存入
  2. 全面化:涵盖了全量采集和增量采集,不对数据采样
  3. 多样化:采集方式不单一
  4. 丰富化:采集的数据丰富,不只有基本的数据

数据的类型

  1. 结构化数据:具有固定格式或有限长度的数据,元数据、数据库
  2. 半结构化数据:非关系模型的,且有基本固定结构模式的数据,log、xml、json
  3. 非结构化数据:数据结构不规则或不完整,没有已经确定的数据模型,办公文档、图片、图像、音视频

数据采集的范围

  1. 数据库数据
  2. 业务系统的日志
  3. 互联网应用数据
  4. 容器的日志
  5. 操作系统的日志
  6. 网络设备的日志

数据采集的要求

  1. 全面:要求数据量足够且有分析价值,数据面广能够支撑分析需求
  2. 多维:采集的数据能够灵活、快速的自定义数据多种属性和不同类型,从而满足不同的分析需求
  3. 高效:采集数据要有针对性的采集,避免采集无用数据,浪费资源
  4. 及时:对于实时监控性质的系统,要能够实时采集数据并上报

采集流程

网页爬取流程

  1. 采集:通过python编写代码,爬取网页
  2. 清洗:通过python编写代码,对原网页数据进行拆分,抽取想要的信息
  3. 存储:通过python编写代码,将数据存入数据库或文件

log数据采集

  1. 采集:通过采集工具filebeat等配置,完成采集
  2. 清洗:通过logstash等来接收原始的日志数据并拆分验证
  3. 存储:通过logstash将采集结果存入数据库或文件
  • 7
    点赞
  • 71
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

loftiest

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值