- 博客(10)
- 收藏
- 关注
RSS订阅原创 IT Project Management 项目管理- 01 Planning
IT Project Management 项目管理- 01 Planning1. Project Charter2. Project Management Circle3. Project Gating4. Select the Appropriate Project Delivery Model5. Project Planning: Requirement Definition and Scope Management6. Scope Baseline7. Scheduling**7.1 Proje
2020-12-29 16:42:45
1221
原创 大数据： Week 4 处理大型数据流
数据流的用例什么是流（Streaming)•到目前为止，我们真的只是在谈论处理历史的，现有的大数据•在HDFS上•在数据库中•但是新数据如何进入您的集群？ 尤其是如果它是“大数据”？•流使您可以将这些数据实时发布到您的群集中•您甚至可以实时处理传入的数据特点：•数据流：分布式，连续，无界，快速，时变，嘈杂。 。 。用例•数据流管理：各种现代应用程序•网络监控和流量工程•传感器网络•电信呼叫详细记录•网络安全•金融应用程序•制造过程•Web日志和点击流•其他海
2020-06-11 02:22:54
231
原创 大数据：Week 4 分布式数据处理和处理图数据
Map/Reduce framework1.什么是MapReduce•MapReduce是用于高效分布式计算的编程模型•其工作方式类似于Unix管道–cat input | grep | sort | uniq-c | cat > output–Input | Map |Shuffle & Sort | Reduce | Output•效率高–传输数据，减少寻道–管道整理•非常适合许多应用–日志处理– Web索引建立•商品硬件
2020-06-10 05:11:59
374
原创 大数据分析： Week 3 对大数据量的资源管理和分析查询
对大数据量的资源管理和分析查询概念数据模型1.OLTP 概念数据模型在线事务处理特点是大量的短在线事务(插入、更新、删除)其重点在于非常快速的查询处理、在多访问环境中保持数据完整性和以每秒事务数衡量的有效性举例： ATM POS2.OLAP概念数据模型在线分析处理目标是支持业务分析师的临时查询业务分析师熟悉电子表格扩展电子表格分析模型以处理仓库数据多维数据视图是OLAP的基础3.OLTP vs OLAP线交易处理（OLTP）：–用于在运营或交易系统（例如销售点系统）上执
2020-06-09 23:17:37
401
原创 Big Data Analysis： Week 1
Week 1 大数据分析介绍大数据的四个维度：4V① Volume（数据量）：生成和存储的大量数据（通常按TB或PB的顺序）②Variety（数据形式）：所使用的数据类型和数据源的范围，包括非结构化数据③Velocity（数据速度）：收集，共享和分析数据的速率-通常是实时流式数据（例如，来自社交媒体）④ Veracity（数据的可靠性）：数据质量的不确定性（准确性，出处，相关性和一致性）Scale-up VS Scale-outScale-up 纵向扩展：仅在一定程度上增加计算机（即磁盘，内存
2020-06-09 06:23:58
283
原创 【数据库设计】 Practice2 Oracle主键、外键
主键与外键1. 主键（Primary Key）(1) 候选键 (Candidate Key)Candidate Key：A candidate key is a column (attribute) or columns that could uniquely identify a row (tuple) in the table (relation)候选键（Candidate Key）：...
2020-04-20 06:20:58
249
原创 【数据库设计】 Practice1 Oracle的基本查询命令
Practice 1 Oracle的基本查询命令1.利用SQL commands查看所有表select table_name from user_tables2.查看一个表的具体描述descript HR_COUNTRIES3.查看某个表的所有数据select * from HR_COUNTRIES4.查看某表中具体某列的值select country_name fro...
2020-04-19 04:32:52
168
原创 大数据学习笔记 第三章 分布式文件系统 HDFS
分布式文件系统HDFS 简介HDFS实现目标：①兼容廉价的硬件设备②实现流数据的读写③支持大数据集④支持简单的文件模型⑤强大的跨平台兼容性HDFS自身的局限性① 不适合低延迟数据访问②无法高效存储大量小文件③不支持多用户写入及任意修改文件HDFS相关概念1.块整个HDFS中最核心的概念为了分摊磁盘读写开销HDFS的一个块要比普通文件大缺点：如果块过大，会导致MapR...
2020-03-21 03:10:16
297
原创 大数据学习笔记 第二章 大数据处理架构Hadoop
Hadoop简介Hadoop 是Apache 软件基金会旗下的开源平台可支持多种编程语言——跨平台Hadoop两大核心——HDFS+MapReduce集群分布式处理大型公司都在用。Hadoop具有可靠性Hadoop具有高效性Hadoop具有很好的可扩展性Hadoop具有高容错性Hadoop具有成本低...
2020-03-19 07:11:05
336
原创 大数据学习笔记 第一章 大数据简介与概论
大数据笔记 第一章 Hadoop 简介Hadoop 简介Apache 开源软件计算框架： 分布式、可靠、可伸缩搜索引擎、海量数据存储。Hadoop 发展史2002 Apache 抓取网页，数十亿存储瓶颈GFS论文（谷歌），以分布式存储大量数据NDFS HDFS 的前身2004 MapReduce 映射化解2005 Nutch 应用MR2006 MapReduce和N...
2020-03-16 00:29:11
801
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人