大数据
马明智
❤️❤️❤️强者惜字如金,弱者废话连篇❤️❤️❤️
展开
-
HBase启动后HMaster自动消失解决方案?*
** HBase启动后HMaster自动消失解决方案?**对于很多刚学大数据的同学来说,在安装配置相关软件的时候会出现各种各样的错误.今天我要说的就是在启动HBase过程中遇到的HMaster进程自动关闭问题。对于这个问题,我们首先要检查以下几个方面:(1)防火墙是否关闭(2)ssh免密登录是否设置(3)用jps命令查看hdfs和yarn进程是否启动这些...原创 2019-07-30 17:17:24 · 5521 阅读 · 2 评论 -
多台电脑之间的联网部署实现!
联网的前提条件对于两台机器的联网无论是物理机还是虚拟机,都要满足条件:连接在同一交换机上,并且是同一网段上的ip,拥有相同的子网掩码一 网络相关概念的理解1.交换机 :本质就是将两台及以上机器连接组成局域网。2.网关:又称协议转换器,本质上是一个机器连接另外一个机器的接口。3.子网掩码:子网掩码本质由网络地址和主机地址组成。将其转换成二进制就是很多连续的1和连续的0组成。连续的1表示网...原创 2019-08-03 11:05:25 · 1286 阅读 · 0 评论 -
大数据之Hbase学习指南系列(一)
一 Hbase的概念Hbase是一种分布式数据库,主要来存储半结构化和非结构化的松散数据。集群包括master服务器和region服务器,master服务器主要用来调节region服务器的负载均衡,同时在region服务器发生故障后对region进行迁移。二 Hbase 的安装hbase是hadoop生态系统的一个组件,但是在Hadoop平台搭建完成后,还需手动下载安装hbase下面的...原创 2019-07-31 22:28:06 · 502 阅读 · 3 评论 -
hdfs学习指南详解
今天来点不一样的,前几天写的博客都没有目录,不知道大家看的效果怎么样,反正自己在手机上看的效果不是很好。先不谈排版的原因,本人天生没有美观设计优化的本领。那么今天为了方便大家也为了自己回顾可以看的更加明朗,今天来加点目录(也可以叫它思维导图)!目录##什么是hdfs?hdsf相关概念?(块,名称节点,数据节点)hdfs的shell命令?hdfs的Java API?大家准备好,接下来就...原创 2019-08-05 01:40:47 · 221 阅读 · 0 评论 -
大数据之Hbase学习指南系列(二)
DDL在eclipse上对hbase进行操作,我们首先要知道怎么连接hbdse。接下来我们来谈一谈连接HBase的步骤(1)配置Configuration conf=HBaseConfiguration.create();这里需要注意区别Configuration conf=new Configuration()使用前者创建配置时,会去classpath下寻找core.xml 和 defa...原创 2019-08-02 14:07:18 · 172 阅读 · 0 评论 -
mapreduce详解
mapreduce学习总结哈哈哈,马上就要大数据竞赛了,这是第二遍看mapreduce了,历经了5天,终于比较详细的mapreduce看完了,还是比较开心的。脑子里有了大体的框架。首先不谈知识点,我来说下看mapreduce的感受,了解原理真的很重要,第一遍没有做太多的练习。只是看了知识点,尤其在mapreduce的流程和原理。对于原理因为涉及到源码,所以现在还有点欠缺。对java基础要求比较...原创 2019-08-23 21:48:51 · 336 阅读 · 0 评论 -
大数据hadoop平台搭建之hdfs
目录下载解压hadoop安装包修改配置文件格式化namenode启动hdfs查看是否启动成功下载解压hadoop安装包登录hadoop官网下载:Hadoop官网(http://hadoop.apache.org)将下载下来的安装包上传到linux虚拟机(服务器),用tar -zxvf 命令解压安装修改配置文件修改配置文件 core-site.xml,hdfs-sit...原创 2019-08-15 23:22:07 · 272 阅读 · 2 评论 -
Spark 环境搭建
spark官网 spark官网spark安装须知 spark是scala程序编写,scala是基于jvm运行的。spark的安装必须依赖scala和jdkspark版本问题 进入官网下载时,要注意与hadoop和scala的版本兼容性,这些在官网上都能查到,这里就不做细说**spark基础知识**spark是基于内存的一种并行式计算框架,本身不自带存储系统,但支持与hado...原创 2019-09-28 00:55:42 · 286 阅读 · 0 评论 -
xshell连接虚拟机慢 ,输入命令卡顿解决方案?
原因:连接时进行了默认检测DNS是否一致,导致速度缓慢解决:vi /etc/ssh/sshd_config 将注释UseDNS=yes 去掉注释符,并将yes替换成为no。最后重启sshd服务systemctl restart sshd效果:快如闪电,前后速度之比就类于雷鸣和闪电 类于mapreduce和spark。hhhhhhh,赶紧去操作一番吧!...原创 2019-10-02 10:28:51 · 5726 阅读 · 3 评论