Leonardo_1997-CSDN博客

原创学习大数据需要的基础

学习大数据需要的基础Java SE：大数据技术框架中90%都是用Java语言写的。MySQL：SQLLinux：大数据技术框架都是部署在Linux系统上从拉钩招聘网中看需求语言：Java、Python、Scala系统：Linux框架：Hadoop、Storm、Spark、Flink、HBase、Hive、Impala、ElasticSearch、Kafka、Flume、Scri...

2019-08-01 16:34:45 121

原创 mac如何查看虚拟机网关地址

vmware workstation(mac版）查看vmnet8的网关地址想为虚拟机配置固定ip，需要设置网关，但是mac版的vmware workstation没有Virtual Network Editor，所以不能直接查看到。因此执行如下命令进行查找find / -name vmnet8终于查找到了他的位置/Library/Preferences/VMware Fusion/vm...

2019-07-03 11:57:52 4906

近年来大数据越来越火爆，非常多的人转行做大数据或者开始学习大数据。现在我们看来大数据尤为重要，马云也说过现在是DT时代，也就是数据时代。“未来最大的能源不是石油，而是数据”。目前人工智能也是空前火热，而人工智能也是基于大数据的，所以现在看来，大数据的前景会非常好。在这里简单地介绍一下我们学习大数据的几点原因。1.国家对大数据的支持从国家层面到地方政府，出台了一系列促进大数据发展的纲要政策，大数...

2019-06-16 22:05:22 384

原创 vmneto/vmnet1/vmnet8的区别

vmnet0，实际上就是一个虚拟的网桥，这个网桥有很若干个端口，一个端口用于连接你的Host，一个端口用于连接你的虚拟机，他们的位置是对等的，谁也不是谁的网关。所以在Bridged模式下，你可以让虚拟机成为一台和你的Host相同地位的机器。vmnet1，这是一个Host-Only网络模式vmnet1，这是一个Host-Only网络模式，这是用于建立一个与世隔绝的网络环境所用到的，其中vmnet...

2019-06-12 13:41:59 139

原创 HDFS DataNode堆内存使用率过高，HDFS存储量不够导致宕机

今天来公司发现hadoop集群出现了HDFS DataNode堆内存使用率超过阈值的告警，然后查看集群各个节点的状态发现有一个数据节点宕机了，经过一上午的处理我来聊聊解决的几个方法：目录：1、将HDFS备份数降低2、删除无用HDFS数据和Hbase表格3、设置kafka的日志时间4、删除本机无用文件5、清理Trash回收站6、Balancer重新平衡1、将备份数降低1）将默认的备...

2019-04-03 11:11:37 5651

原创启动集群journalnode时节点启动失败出现The authenticity of host 映射名(xxx.xxx.xxx.xxx)' can't be established.的问题

启动集群journalnode时节点启动失败出现The authenticity of host 映射名(xxx.xxx.xxx.xxx)’ can’t be established.的问题环境：笔者用的是hadoop-cdh-2.6.0三台虚拟机分别是hadoop001:10.0.0.187hadoop002:10.0.0.185hadoop003:10.0.0.186今天配置完高可...

2019-04-02 14:30:36 1534

原创 SecondaryNamenode在集群中的的作用

1.概述　　最近有朋友问我Secondary NameNode的作用，是不是NameNode的备份？是不是为了防止NameNode的单点问题？确实，刚接触Hadoop，从字面上看，很容易会把Secondary NameNode当作备份节点；其实，这是一个误区，我们不能从字面来理解，阅读官方文档，我们可以知道，其实并不是这么回事，下面就来赘述下Secondary NameNode的作用。2.Se...

2019-04-01 10:58:16 469

原创 3.Kdfka介绍和布局规划

3 Kafka3.1 概述3.1.1 组件的功能Kafka是一个分布式的、分区的、多副本的消息发布-订阅系统，它提供了类似于JMS的特性，但在设计上完全不同，它具有消息持久化、高吞吐、分布式、多客户端支持、实时等特性，适用于离线和在线的消息消费，如常规的消息收集、网站活性跟踪、聚合统计系统运营数据（监控数据）、日志收集等大量数据的互联网服务的数据收集场景。3.1.2 基本概念3.1.2...

2019-03-27 14:12:14 242

原创 linux挂载的作用

今天在安装集群的时候同事提了一嘴挂载光盘，关于挂载的作用一直不是很清楚，今天在阅读教材时看见了mount这个命令，发现它的用处很隐晦但非常强大。奈何教材说的不明朗，因此在网上整合了一些优秀的解释，看完之后豁然开朗。1.提一句Windows下，mount挂载，就是给磁盘分区提供一个盘符（C,D,E,…）。比如插入U盘后系统自动分配给了它I:盘符其实就是挂载，退优盘的时候进行安全弹出，其实就是卸载u...

2019-01-21 10:23:50 5262 4

原创快速部署集群时复制虚拟机后修改eth1至eth0

在vmware虚拟机中，当我们克隆或者复制linux系统虚拟机后，再启动系统时会发现系统下不再有eth0，而变成了eth1当我们使用/etc/init.d/network restart重启网络时，会提示找不到设备eth0，如下图所示：这时我们再使用ifconfig -a命令去查看所有网卡时，会发现其实eth0已经变成了eth1。那么为什么原来的eth0会变成eth1？很多Linux ...

2019-01-11 16:05:13 131

原创 kafka连接flink操作流程

Flink流计算编程1、简介1.1、Kafka Consumer提供了2种API：high level与low level（SimpleConsumer）。（1）high level consumer的API较为简单，不需要关心offset、partition、broker等信息，kafka会自动读取zookeeper中该consumer group的last offset。（2）low ...

2019-01-10 16:57:30 4081

原创 Linux不能上网ping:unknown host问题怎么解决？

Linux不能上网ping:unknown host问题怎么解决？安装完虚拟机无法ping通www.baidu.com1、检查网络配置2、上图为我自己配的ip，先检查网关是否ping的通发现网关ping的通3、检查系统默认设置的网关vi /etc/sysconfig/network在这个文件中加上网关4、第三步完成后发现ping一个公网可以正常连接5、这样的情况下...

2019-01-10 16:32:48 2068

qq_35583154的博客