![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 74
半疯半癫半痴傻
我是一枚程序媛,欢迎讨论各种问题
展开
-
如何搭建k8s
前期准备准备3台服务器这里我选择通过VMware Workstaion来搭建3个虚拟机,每个配置2CPU和2G内存,如下图:上图可以看出我已经设置了配置主机名与静态IP地址角色 主机名 IP地址 master hdp01 192.168.183.113 slave hdp02 192.168.183.111 slave hdp03 192.168.183.112 (2)关闭防火墙systemctl stop ...原创 2021-01-17 19:59:24 · 1316 阅读 · 0 评论 -
Hadoop架构: 流水线(PipeLine)
该系列总览:Hadoop3.1.1架构体系——设计原理阐述与Client源码图文详解 : 总览流水线(PipeLine),简单地理解就是客户端向DataNode传输数据(Packet)和接收DataNode回复(ACK)[Acknowledge]的数据通路。整条流水线由若干个DataNode串联而成,数据由客户端流向PipeLine,在流水线上,假如DataNode A 比 DataNode B 更接近流水线那么称A在B的上游(Upstream),称B在A的下游(Downstre...转载 2020-11-01 16:59:44 · 664 阅读 · 0 评论 -
机器学习-day01
1.分类算法(classification)DecisionTreeClassifier2.聚类算法(clustering)3.特征类算法(featureing)4.原创 2019-06-13 16:45:11 · 132 阅读 · 0 评论 -
使用Ambari搭建HDP(流程python脚本化)
版本Ambari:2.2.2.0HDP:2.4.2.0服务器:使用阿里云的ECS:(3tai)配置:参考官网吧!!!(因为穷,刚开始因为配置低了,踩了很多坑,浪费了很多时间啊啊啊,还是要多赚钱,买服务器哇)步骤:参靠官网和其他的博客(有点懒,不想写了)遇到的问题1:1.需要安装http服务器:安装成功要要能在浏览器中显示出一个主叶,楼楼刚开始...原创 2019-06-12 21:42:08 · 701 阅读 · 0 评论 -
HBase的学习
HBase的学习HBase写入过程从源码角度1.客户端首先校验putvalidatePut(put);static void validatePut(Put put, int maxKeyValueSize) throws IllegalArgumentException { if (put.isEmpty()) { throw new IllegalArgum...原创 2019-05-16 19:49:02 · 179 阅读 · 0 评论 -
Docker学习Day01
1.怎么查看Linux内核uname -a2.namespace和cgroupgain概念理解(网上百度的)CgroupCgroup是control group,又称为控制组,它主要是做资源控制。原理是将一组进程放在放在一个控制组里,通过给这个控制组分配指定的可用资源,达到控制这一组进程可用资源的目的。Namespace Namespace又称为命名空间,它主要做访问隔离...原创 2019-01-10 10:39:26 · 82 阅读 · 0 评论 -
本地调试sparkapp
2.本地调试SparkApp-需要怎么做举个栗子:object Application { private val LOG = LoggerFactory.getLogger(Application.getClass) def main(args: Array[String]): Unit = { System.setProperty("hadoop.home.di...原创 2018-07-25 19:47:05 · 402 阅读 · 0 评论 -
hive
hive原创 2018-03-29 23:31:29 · 116 阅读 · 0 评论 -
hbase
hbase原创 2018-03-29 23:30:18 · 167 阅读 · 0 评论