weixin_45739322的博客

文章目录一 .Zookeeper1 请简述ZooKeeper的选举机制假设有五台服务器组成的zookeeper集群，它们的id从1-5，同时它们都是最新启动的，也就是没有历史数据，在存放数据量这一点上，都是一样的。假设这些服务器依序启动，来看看会发生什么。ZooKeeper的监听原理是什么？ZooKeeper的部署方式有哪几种？集群中的角色有哪些？集群最少需要几台机器？ZooKeeper的常用命令二 Hive1 Hive表关联查询，如何解决数据倾斜的问题？2 请谈一下Hive的特点，Hive和RDBMS有什

文章目录入门1.简要描述如何安装配置apache的一个开源Hadoop，只描述即可，无需列出具体步骤，列出具体步骤更好。2.Hadoop中需要哪些配置文件，其作用是什么？3.请列出正常工作的Hadoop集群中Hadoop都分别需要启动哪些进程，它们的作用分别是什么?HDFS1.HDFS的存储机制（读写流程）。2.SecondaryNameNode 工作机制。3.NameNode与SecondaryNameNode 的区别与联系？4.服役新数据节点和退役旧节点步骤（大数据开发，大数据运维）5.Namenode

一.什么是HBase?他是一个开源的,分布式的,版本化的,非关系型数据库.二.为什么要用HBase?Mysql首先磁盘级数据库,存储和读取能力比较弱,上百万数据的查询就会造成延时Hive:hive只能做分析,不能做实时查询(即实时性业务处理)Hbase:PB级数据,1024G=T 1024T=p毫秒级结果,针对于分布式文件系统进行数据的存储和即时查询.HBase特点:1.海量存储:pB级别的数据可以再廉价的PC存储的情况下载几百毫秒内返回数据2.列式存储:Hbase是使用列族来存储数据的,

问题描述：原因：hbase死掉了解决方法：关闭 hbase 重启zookeeper这时候会发现stop-hbase.sh 关不了stop-hbase.sh关不了的解决方法：Hbase启动后运行stop-hbase.sh命令关闭不了然后　　start-hbase.sh　

运行jps命令后查看我的进程所有运行中现在我们要是运行hbase的stop-hbase.sh命令这时候继续运行jps命令查看，发现HMaster进程还存在，这是因为HMaster和hdfs可能还有工作没做完，这时候有两个关闭的方法，一个是直接杀死他的进程kill-9（个人不推荐，可能会造成数据丢失损坏，下次启动时还会启动不起来）博主吃了机会这样的亏，各种查日志才恢复。第二种是先看自己的hdfs和Hbase还有没有什么没有工作完，等他们工作完毕够，先关闭hdfs然后再关闭hbase这样就ok了

Hadoop的重新格式化Hadoop进行多次的格式化（hdfs namenode-format），会导致找不到datanode结点。原因每次格式化后，名称结点 的clusterID（集群ID）会被新建，而数据结点的clusterID还是原来的，造成名称结点和数据节点的clusterID不一致解决方法在重新格式化之前一定要先删除data数据和log日志。然后再进行格式化。停止所有Hadoop进程（stop-all.sh）删除 配置文件 core-site.xml 和hdfs-site.xml中指

JAVA API 操作 HDFS出现连接错误：java.net.ConnectException: Call From xxx to localhost:8020 failed on connection exception: java.net.ConnectException: Connection refused错误。解决办法：1、先检查了 core-site.xml，确定了配置的是端口无误。2、检查虚拟机ip能不能ping通。3、检查虚拟机防护墙是否开着。以上步骤都没问题，还是不行，既然i

创建一个.sh 文件，输入以下代码：#!/bin/shecho "start zkServer..."for i in master server01 server02doecho "start zk"+$i+"启动中..."ssh $i "source /etc/profile;/home/chenqiang/modules/zookeeper-3.4.7/bin/zkServer.sh start"done就可以群起zookeeper我这里没有开其他的虚拟机 会报其他NO rout

解决方法：打开计算机管理往下拉找到VMware开头的字节然后点击启动服务，把所有没有启动的全部启动了，这样就可以打开啦

问题描述：执行 kafka-server-stop.sh 命令后， kafka 进程不会被杀死[chen @hadoop103 kafka-2.11]$ bin/kafka-server-stop.sh [chen @hadoop103 kafka-2.11]$ jps12146 Kafka12783 Jps官方提供的脚本：PIDS=$(ps ax | grep -i 'kafka\.Kafka' | grep java | grep -v grep | awk '{print $1}'

文章目录Linux Shell操作Linux系统级别命令Linux账号与组操作Linux下文件权限介绍Linux文件文件夹操作Linux网络与安全级别操作Linux Shell操作linux 命令的组成：命令 参数 文件|路径#ls -al /homeLinux系统级别命令3.1查看当前Linux系统信息uname -a 显示系统及版本的所有信息uname -r 显示内核版本uname -m 显示计算机是多少位系统3.2查看系统小版本cat /etc/redhat-rele

文章目录三.虚拟机与主机之间通信3.1 bridged （桥接方式 ， 默认使用vmnet0虚拟网卡）3.2 net (网络地址转换模式 ， 默认使用vmnet8虚拟网卡)3.3 （仅主机模式 ， 默认使用vmnet1虚拟网卡）4.使用host-only方式（主要使用这种）liunx目录结构三.虚拟机与主机之间通信vmware虚拟机下的三种上网方式bridged，nat,host-only3.1 bridged （桥接方式 ， 默认使用vmnet0虚拟网卡）选择这种模式，虚拟机等同于网络内的一台

文章目录一.Linux简介1.1Linux主要特性基本思想完全免费完全兼容POSIX1.0标准多用户、多任务良好的界面支持多种平台1.2 常用Linux版本二.Linux安装和目录结构一.Linux简介Linux是一套免费使用和自由传播的类Unix操作系统，是一个基于POSIX和UNIX的多用户、多任务、支持多线程和多CPU的操作系统。它能运行主要的UNIX工具软件、应用程序和网络协议。它支持32位和64位硬件。Linux继承了Unix以网络为核心的设计思想，是一个性能稳定的多用户网络操作系统。Lin

文章目录一. Spring概述1.2 Spring的模块介绍1.31 使用Spring创建对象，为属性赋值二. IOC容器和Bean的配置2.1 IOC和DI2.1.1 IOC(Inversion of Control)：反转控制2.1.2 DI(Dependency Injection)：依赖注入2.1.3 IOC容器在Spring中的实现 （也就是创建IOC本身的对象）2.1.4 ApplicationContext的主要实现类2.1.5 ConfigurableApplicationContext2

文章目录四MyBatis 映射文件4.1 Mybatis映射文件简介4.2 Mybatis使用insert|update|delete|select完成CRUD4.2.1 select4.2.2 insert4.2.3 update4.2.4 delete4.3主键生成方式、获取主键值4.3.1 主键生成方式4.3.2 获取主键值4.4 参数传递4.4.1 参数传递的方式4.4.2 参数传递源码分析4.4.3 参数处理4.4.4 参数的获取方式4.5 select查询的几种情况4.6 resultTyp

一.settings在 MyBatis 中 settings 是最复杂的配置，它能深刻影响 MyBatis 底层的运行，但是在大部分情况下使用默认值便可以运行，所以在大部分情况下不需要大量配置它，只需要修改一些常用的规则即可，比如自动映射、驼峰命名映射、级联规则、是否启动缓存、执行器（Executor）类型等配置项作用配置选项默认值cacheEnabled该配置影响所有映射器中配置缓存的全局开关true/falsetruelazyLoadingEnabled延迟加载

文章目录方法锁，对象锁，类锁方法锁：对象锁：类锁：读写锁synchronized 线程同步锁Lock锁悲观锁和乐观锁死锁什么是活锁什么是饿死方法锁，对象锁，类锁方法锁：每个类的对象对应一个锁，当对象中的某个方法被synchronized修饰后，调用该方法的时候必须获得该对象的“锁”该方法一旦执行就会占有该锁，别的线程使用该对象调用这个方法的时候就会被阻塞直到这个方法执行完后释放锁，被阻塞的...

文章目录Java反射1. 用途2. 反射相关的类Class类Field类Method类Constructor类3， 实例Java反射Java反射机制是运行状态中，对于任意一个类都能够知道这个类的所有属性和方法（包括私有的）；对于任意一个对象，都能调用他的任意方法和属性；这种动态获取信息及动态调用对象方法的功能称为Java的反射机制。1. 用途在运行时判断任意一个对象所属的类。在运行时构造...

文章目录本章重点两类传输协议：TCP，UDPTCPUDPTCP与UDP比较基于Socket的java网络编程什么是Socket？Socket通讯的过程Socket工作的过程创建socket注意Datagram通讯什么是Datagram2，Datagram使用总结本章重点基于TCP协议的网络编程 （熟练运用）TCP协议基础能够使用ServletSocket创建TCP服务器端能够...

文章目录本章重点Java网络通信计算机网络基础知识计算机网络：网络编程的目的：计算机的联网可以实现：网络编程中有两个主要的问题：网络通讯的要素：IP地址IP的组成IP地址的定义IP地址的分类端 口常用默认端口网络通信协议网络通信协议网络通信结构TCP协议IP协议TCP/IP协议InetAddress例子URL 2-1实例URLConnectionURLDecode和URLEncode总结本章重点...