- 博客(12)
- 收藏
- 关注
RSS订阅原创 Hadoop基础(五) :非关系型数据库HBase理论基础
1.什么是HBase？HBase是一个高可靠、高性能、面向列、可伸缩的分布式数据库（因为是建立在HDFS之上），利用HBase技术可在廉价PC上搭建起大规模非结构化存储集群。HBase 是Google Bigtable 的开源实现，与Google Bigtable 利用GFS作为其文件存储系统类似，HBase 利用Hadoop HDFS 作为其文件存储系统；Google 运行MapReduc...
2020-03-14 14:44:23
1251
原创 Hadoop基础(三) :Hive数据库
1.什么是Hive？ Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。其本质上是将SQL转换为MapReduce程序。主要用来做离线数据分析，比直接用MapReduce开发效率更高。2.Hive架构**UI:**客户端。COMPILER： Hive编译器，复制将类SQL语句编译成MapReduce程序...
2020-03-13 16:41:56
732
原创 Hadoop基础(三) : Hadoop核心基础
1.什么是HadoopHadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。它的目的是从单一的服务器扩展到成千上万的机器，将集群部署在多台机器，每个机器提供本地计算和存储。Hadoop框架最核心的设计是HDFS和MapReduce。2.Hadoop的特点分布式：Hadoop是一个能...
2020-03-07 11:38:50
698
原创 Hadoop基础(二) :Hadoop集群配置
1.安装JDK环境运行java -version查看节点中是否安装有jdk若已经装有jdk，则需要在添加环境变量是填入对应的版本信息及安装路径。若从未安装过jdk，则可到https://www.oracle.com/java/technologies/javase/javase8-archive-downloads.html下载对应版本的jdk，并上传到Linux文件系统中， 执行命...
2020-03-05 11:56:10
336
原创 Hadoop基础(一) ：VMware虚拟机网络配置
1. 查看虚拟机网络配置详情打开虚拟机，在命令行终端输入ifconfig –a看相关的一些配置如下注意标记中的eht0与HWaddr，它意味着该机器使用的网卡设备名称为eth0与为网卡MAC地址，而这个设备名称将会用于配置文件的参数当中。2．配置虚拟网络编辑器点击编辑，打开虚拟网络设置，选定VMware8，可以在标记的地方看见，模拟网络的模式已经是NAT模式了，如果不是需要设定为NAT模...
2020-02-27 11:11:28
1904
原创 机器学习 聚类算法（clustering）
聚类算法前言与回归与分类不同，聚类是无监督学习算法，无监督指的是只需要数据，不需要标记结果，自己给自己分类。在现实生活中，很少直接用聚类算法，因为聚类效果的好坏不容易衡量（因为没有标记，就没有标准答案），有时候会用做监督学习中稀疏特征的预处理，把混乱的数据先分分看，看看大类如何。算法思想 聚类算法，顾名思义是将数据聚集起来的算法，所谓“物以类聚，人以群分”的道理。聚类算法的主要思想...
2019-08-23 22:24:27
2515
原创 机器学习 支持向量机（SVM)
支持向量机算法思想 支持向量机（SVM）旨在在一堆样本数据中从低纬空间映射到高维空间中，使得原空间中线性不可分的问题，变成一个线性可分问题。如下图所示 而这时就需要找到一个决策边界来划分数据样本所属不同的类。找到这样一个超平面，使得所有的方块位于这个超平面的一侧，而所有的圆圈位于它的另一侧，但是这个超平面却可能有无穷多个。如下图 进一步探究便得到支持向量机中最核心的问题，就是支持向...
2019-08-11 18:17:08
308
原创 机器学习 朴素贝叶斯（NaiveBayes）
朴素贝叶斯（Naive Bayes）算法思想 朴素贝叶斯（Naive Bayes）是基于贝叶斯定理与特征条件假设的分类方法。给定一个未知的样本XXX，分类法将预测XXX属于具有最高后验概率的类，即，未知的样本分配给yjy_jyj，当且仅当P(yj∣X)>P(yj∣X),1≤i≤k,i≠jP(y_j|X)>P(y_j|X),1≤i≤k,i \neq jP(yj...
2019-08-03 03:18:14
209
原创 机器学习 逻辑回归（Logistic Regression）
逻辑回归（Logistic Regression） 首先说明一个问题，逻辑回归虽然以回归命名，但逻辑回归却是一个分类算法，用于估计某种事物的可能性（概率），再通过激活函数（也有称为假设函数）映射到各个分类。 逻辑回归（Logistic Regression）与线性回归（Linear Regression）都是一种广义线性模型（generalized linear model）。逻辑回归假...
2019-07-31 11:09:47
542
原创 机器学习 线性回归（LinearRegression）
线性模型算法思想线性回归模型旨在寻找一条直线或者一个平面，使得所有数据样本都尽可能接近这条直线或者平面，以此当新的数据样品出现时，可以用得到的模型结果进行预测。而线性分类模型旨在找到一条直线或者一个平面，是的这个直线或者平面能够分割开不同类别的数据样本。数学建模线性回归假设特征和结果满足线性关系。其实线性关系的表达能力非常强大，每个特征对结果的影响强弱可以由前面的参数体现，而且每个特征...
2019-07-27 16:08:25
298
原创 机器学习 决策树（DecisionTree）
决策树算法算法介绍决策树是一种梳妆结构，它的每一个叶节点对应着一个分类，非叶节点对应着在某个属性上的划分，根据样本在该属性上的不同取值将其划分成若干个子集。对于非纯的叶节点，多数类的标号给出到达这个节点的样本所属的类。构造决策树的核心问题是在每一步如何选择适当的属性对样本做拆分。对一个分类问题，从已知类标记的训练样本中学习并构造出决策书是一个自上而下，分而治之的过程。而实现决策树最经典的算法就...
2019-07-23 15:59:00
914
原创 JAVA 三目运算符
JAVA 三目运算符三目运算符格式案例三目运算符三目运算符，又称条件运算符，是计算机语言（c,c++,java等）的重要组成部分。它是唯一有3个操作数的运算符，所以有时又称为三元运算符。一般来说，三目运算符的结合性是右结合的。其实三目运算符可以看作是简写的if判断语句。格式比较表达式?表达式1:表达式2;根据比较表达式的计算返回一个true或者false。 如果是true，就把表达式...
2019-07-16 12:20:05
1113
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人