- 博客(3)
- 收藏
- 关注
原创 大数据技术原理与应用笔记(3)——分布式文件系统HDFS
分布式文件系统HDFS大数据技术以及具有代表性的Hadoop平台,所要解决的最核心的两大问题是:大数据的分布式存储大数据的分布式处理而HDFS(Hadoop Distributed File System)就是为了解决海量数据的分布式存储问题。3.1 分布式文件系统(1)计算机集群结构分布式文件系统把文件分布存储到多个计算机节点上,成千上万的计算机节点构成计算机集群。与之前使...
2019-05-11 23:01:59 1887
原创 大数据技术原理与应用笔记(2)——大数据处理架构Hadoop
2.1 Hadoop简介Hadoop是Apache软件基金会旗下的一个开源分布式计算平台,为用户提供了系统底层细节透明的分布式基础架构。Hadoop是基于Java语言开发的,具有很好的跨平台特性,并且可以部署在廉价的计算机集群中。Hadoop的核心是分布式文件系统HDFS(Hadoop Distributed File System)和MapReduce。Hadoop被公认为行业大数据标...
2019-05-11 22:57:59 584
原创 Logistic回归
Logistic回归Logistic回归常用于二分类问题。当然,也可以用于多分类,多分类可以使用softmax方法进行处理。二分类在二分分类问题中,对于某个输入,输出的结果是离散的值。示例:Cat与Non-Cat,构建一个猫图分类器,即输入一张图片,希望该分类器准确判断出该图片是否为猫图,并输出它的预测结果(猫图1,非猫图0)。彩色图像以三个独立的矩阵存储在计算机中,分别对应于图像红色、...
2019-05-03 16:59:36 718
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人