大数据导论与编程语言

大数据导论

 1. 大数据概念

• 定义:
  • 大数据概念：指的是无法用常规软件处理的数据集合，需要新的模式进行处理。
  • 大数据解决的问题：存储、计算、迁移海量数据。
• 应用场景:
  • 赋能生活
  • 大数据人工智能时代
  • 数字化时代

2. 数据单位

• 数据单位图示
  

3. 大数据特点

• 特点:
  • 大：数据体积庞大
  • 多：数据多样性和来源多样
  • 值：低价值密度
  • 快：数据增长、处理、获取速度快
  • 信：结果准确可信赖

4. 大数据分析步骤

• 步骤:
  1. 明确分析目的和思路
  2. 数据收集：来源、工具、统计年鉴等
  3. 数据处理：清洗、转化、提取、计算
  4. 数据分析：应用方法提取有价值信息
  5. 数据可视化：图表和表格展示
  6. 撰写报告：总结与决策参考

5. 大数据学习路线

• 学习路线:
  1. Python基础
  2. MySQL数据库
  3. Linux操作系统
  4. 技术栈如Hadoop, Hive, Zookeeper
  5. 项目实践

---

计算机组成:

• • 硬件和软件

  • 硬件:
    • 冯诺依曼体系结构包括输入设备、输出设备、运算器、控制器、内外存储器
  • 软件:
    • 分为系统软件和应用软件
    • 系统软件承上启下，连接硬件和应用软件

---

编程语言

• 编程语言:
  • 人与计算机交互的语言
• 历史:
  • 低级语言 -> 高级语言 -> 面向对象时代 (如Java和Python)
• 注意:
  • SQL是一种特殊的编程语言