- 博客(7)
- 收藏
- 关注
RSS订阅原创 3-1 分布式文件系统
1 单机式文件系统 文件系统 定义：一种存储和组织计算机数据的方法，利用抽象的文件和目录代替了电脑硬盘或者光盘使用数据块的概念 原理：文件系统将硬盘空间以块为单位进行划分，每个文件都占据若干块，然后通过一个文件控制块（File Control Block）记录每个文件占据的硬盘数据块 2 分布式文件系统 3 常见的分布式文件系统 4 GFS 谷歌分布式文件系统 ...
2020-11-02 10:26:34
238
原创 2-2 Scala项目构建工具sbt和IntelliJ IDEA环境配置
1 Scala 安装 1.1 Windows （1）安装java 进入网址https://www.oracle.com/java/technologies/javase-jdk15-downloads.html，下载文件jdk-15.0.1_windows-x64_bin.exe 运行下载好的文件，选择安装路径，以E:\Program Files\Java\jdk-15.0.1\ 为例 （2）配置环境变量（Windows特有） 计算机 -- 右键 -- 属性 -- 高级系统设置...
2020-10-28 10:15:31
343
原创 2-1 Scala 快速入门
1 Scala 简介 1.1 Hello World object HelloWorld{ def main(args:Array[String]):Unit={ println("Hello World") } } 1.2 语言特性 面向对象语言 函数式编程 静态类型 扩展性和并发性 1.3 运行环境 Window Linux Unix Mac OS Scala基于Java之上，大量使用Java的类库和变量，使用Scala之前必须先安装Java（.
2020-10-27 15:42:35
120
原创 1-3 常见的分布式系统
1 分布式存储系统 1.1 中间控制节点架构 定义：单独元数据服务器为中间控制，具体数据存储服务器为分布式的架构 代表：Hadoop Distributed File System(HDFS) 元数据：描述数据的数据（包含具体数据的路径，以及相关信息） 架构图： 特点：1.用户进行数据读写时，先访问存储元数据服务器节点，得到真正数据的存储信息后，去真正存储数据的节点进行读写 2.存储元数据节点通常为单一的服务器节点，但是因为访问元数据服务器节点的频率和访问量都相对...
2020-10-27 11:17:10
664
原创 1-1 大数据介绍
1-1 大数据介绍 1 大数据概览 1.1 定义 Volume – 数据规模，KB-MB-GB-TB-PB等，需要可扩展的大存储 Variety – 数据多样性，（非、半）结构性数据 Velocity – 数据流转速度，数据被处理的频率及重要性，能对数据进行快速生成、收集和处理，且必须具有时效性 Value – 数据价值，通过分析学和大数据挖掘发现数据潜在价值 &nb
2020-10-26 11:16:31
391
原创 吴恩达机器学习Logistic回归代价函数求导
视频课程中采用梯度下降法来最小化代价函数J(θ)时未详细介绍导数项求导过程，在此简要推导： 逻辑回归代价函数 假设函数 求导过程 由复合求导公式先将视为整体，求导得： 提取公因式，展开偏导数项求导得： 因为 ， 最后得到求导结果 ...
2019-04-05 17:33:42
790
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人