大数据基础知识【大数据导论】

这里是阿川的博客，祝您变得更强

✨ 个人主页：在线OJ的阿川
💖文章专栏：大数据入门到进阶
🌏代码仓库：

---

写在开头

现在您看到的是我的结论或想法，但在这背后凝结了大量的思考、经验和讨论

---

---

1. 大数据素养

技术性内容

• 采集
• 处理
• 储存
• 分析
• 技术
• 工具
  

非技术性内容

• 大数据安全
• 大数据伦理
• 大数据思维
  

---

2. 大数据基本知识

• 其中大数据交易
  买卖数据的活动，是以货币为媒介 获取数据商品的过程
  
  数据商品三大特征

  • 处理后的数据才能交易
    
  • 数据交易主体涉及众多
    
  • 交易过程涉及多个产业链
    

  大数据交易形式

  • 大数据交易公司
    
  • 提供个人数据场所的公司
    
  • 数据交易所
    
  • API模式
    向用户提供接口，允许用户对平台数据进行访问
    

  大数据交易技术支撑
  
  大数据交易发展现状
  
  大数据数据来源

  • 政府公开数据
  • 企业内部数据
  • 数据供应方数据
  • 网页爬虫数据
    

  大数据数据产品类型

  • API
  • 数据包
  • 云服务
  • 解决方案
  • 数据产品
  • 数据定制服务
    

  大数据交易平台类型

  • 综合数据服务平台
    为用户提供定制化的服务，涉及数据的处理和加工

  • 第三方数据交易平台
    对交易过程进行监管，并提供数据出售、数据购买、数据供应方查询、数据需求发布等一系列服务
    

    从运行角度划分：

    • 政府主导的大数据交易平台
    • 企业以市场需求为导向建立的大数据交易平台
    • 产业联盟性质的大数据交易平台
      

  大数据交易平台的运营模式

  • 数据中介和数据处理加工功能的交易平台
    
  • 只具备中介功能的交易平台
    

• 其中大数据思维
  
  大数据思维主要指

  • 全样而非抽样
    
    因为有了分布式储存和处理技术，从而可以对全部的数据进行分析，而不是只能对小样本处理
  • 效率而非精确
    
    处理数据时往往要"秒级"响应，所以效率往往是被关注的重点，分析的精确度达到一定的程度即可。
  • 相关而非因果
    
    解释事物背后发展的机理
    预测未来可能发生的事件
  • 以数据为中心
    
    以海量的数据进行计算，从而推测结果
  • 我为人人，人人为我
    

  其中涉及

  • 数据采集
  • 数据处理
  • 信息发布
    

• 其中大数据安全
  重点关注数据的

  • 保密性
  • 完整性
  • 可用性
    

  大数据安全的隐患

  • 大数据成为网络攻击的显著目标
    

  • 大数据加大隐私泄露风险
    

  • 大数据技术被应用到攻击手段中
    

  • 大数据成为高级可持续攻击的一个载体
    

  大数据安全的变化

  • 从静态安全到动态安全
    

  大数据安全范围

  • 隐私和个人信息安全
    
    其中包含个人的
    

• 其中大数据伦理

  • 个人信息被无形滥用
    
  • 生活隐私被窥探利用
    
  • 数据安全漏洞
    
  • 数据垄断
    

• 其中数据共享
  不数据共享会导致：

  • 数据孤岛
    政府和企业里各个部门各自储存数据，部门之间的数据无法共通，导致数据像各个孤岛一样缺乏关联性
    

  数据共享意义

  • 对于政府\企业的意义
    

• 其中数据开放
  数据开放三大理论
  

---

3. 夹带私货

若你能看到看到这篇文章且能看到这，则说明你我有缘，留个关注吧，后面还会接着计算机408、底层原理、开源项目、以及数据、后端研发相关、实习、笔试/面试、秋招/春招、各种竞赛相关、简历相关、考研、学术相关……，祝你我变得更强

好的，到此为止啦，祝您变得更强

想说的话

学习来源厦门大学林子雨老师的 《大数据导论》（反反复复学习了5遍哈并且做了相应的练习 然后才进行的这篇博客的书写）
实不相瞒，写的这篇博客要写五个小时以上（加上自己学习和纸质笔记，共七小时吧），很累，希望大佬支持一下

道阻且长 行则将至
个人主页：在线OJ的阿川大佬的支持和鼓励，将是我成长路上最大的动力