Forest_sld的博客

启动HBase的时候，发现HRegionServer起来了，HMaster没了解决方案：输入命令：zkCli.sh然后查看/ls /最重要的：rmr /hbase然后重启虚拟机结果：

flume+tomcat日志收集目录flume+tomcat日志收集安装环境flume配置任务脚本配置执行flume任务执行后发现报错，原因一、org/apache/hadoop/io/SequenceFile$CompressionType安装环境新建一个虚拟机，克隆即可，安装jdk+tomcat[root@tm2 ]# tar -zxf apache-tomcat-8.5.

目录HIVE的数据倾斜什么是数据倾斜主要表现三级目录HIVE的数据倾斜什么是数据倾斜由于数据分布不均匀，造成大量的数据集中到一个分区里，造成数据热点主要表现三级目录

RDD概念学习spark已经第四天了，对RDD还是云里雾里。RDD是spark最重要的一部分，RDD的英文全名是Resilient Distributed Dataset就是 弹性 分布式 数据集弹性：优先考虑内存，内存不够自动去落盘RDD是一个不可变的分布式对象集合，每个RDD都被分成多个分区，这些分区运行在集群的不同节点上。这里我们就从spark的源码入手，一个RDD包含一下内容：A list of partitionsA function for computing each

目录问题Mysql中文错误异常问题Mysql中文错误mysql不允许插入中文的解决方法#进入mysql查看当前字符集信息show variables like 'char%';#如果出现以下信息，是不允许中文插入的原因character-set-database latin1character-set-server latin1#ctl+c退出mysql返回lunix#查找mysql配置文件路径find -name '*.cnf'#编辑配置文件vi /etc/my.cnf

目录准备免密登录主机映射远程拷贝脚本测试远程命令脚本准备免密登录https://blog.csdn.net/Forest_sld/article/details/112545574#_38主机映射vi /etc/hosts远程拷贝脚本vi allsend.sh#!/bin/bashif [ $# -lt 2 ];then echo "please input 2 args : source and dest path" exit 0fi#SERS=“远程拷贝的主机名，可以是

vi /etc/sysconfig/network-scripts/ifcfg-ens33vi /etc/hostssystemctl restart network

yum -y install wget.x86_64rpm -qa|grep mariabdwget http://repo.mysql.com/mysql-community-release-el7-5.noarch.rpm设置镜像开始安装启动mysql ，查状态修改密码授权先use mysqlupdate user set password=password('kb10') where user='root';grant all on *.* to root@'%' identi.

先在resource里添加dataresource.properties日志文件driver=org.apache.hive.jdbc.HiveDriverurl=jdbc:hive2://192.168.44.128:10000/defaultusername=root

Spark连接外部数据源spark -> hivespark集成hiveIDEA连接hivespark -> hivespark集成hive将hive110/conf目录下的hive-site.xml复制到spark/conf目录下；cp /opt/software/hadoop/hive110/conf/hive-site.xml /opt/software/hadoop/spark220/conf/将hive110/lib目录下的mysql-connector-java-

目录一、HDFS副本机制二、Yarn容错机制Map/Reduce TaskAppMasterNodeManager三、zookeeper的高可用集一、HDFS副本机制文件上传HDFS默认是三个副本，当前节点一份，同一机架不同节点一份，不同机架任意节点一份，如果某一节点上传失败，那整个块都会上传失败，需重新启动该副本的上传文件下载下载失败可能因为副本丢失或者节点坏掉，会优先调用同一机架的另一个节点的数据备份，这样会减少数据开销二、Yarn容错机制Map/Reduce TaskAppMaster

HADOOP -YARN一、 yarn的基本架构ResourceManagerNodeManagerApplicationMasterContainer二、job提交的全过程一、 yarn的基本架构ResourceManagerResourceManager:资源调度（全局管理），接受并且处理client请求监控NodeManager并向其发送指令，启动或监控appmaster的指令NodeManagerNodeManager：单节点的资源管理，监控Container生命周期和使用的资源，处理来自

MapReduce 目录一、什么是MapReduce?二、MapReduce的流程三、MapReduce优缺点优点缺点一、什么是MapReduce?二、MapReduce的流程三、MapReduce优缺点优点缺点

HDFS什么是HDFS ？HDFS组件以及作用HDFS优缺点优点缺点HDFS的读写流程读操作写操作HDFS的shell命令什么是HDFS ？HDFS （Hadoop Distributed File System）是 Hadoop 下的分布式文件系统。HDFS是一个高度容错性的系统。具有高容错、高吞吐量等特性。并且能部署在廉价的机器上。HDFS组件以及作用组件作用Client1、文件上传HDFS的时候对文件进行切分，文件下载HDFS时对文件进行合并 。 2、与NN通信，上

Sqoop什么是Sqoop?Sqoop数据传输RDBMS ->HDFSincremental appendincremental lastmodifiedMYSQL->HBASESqoop job常用命令什么是Sqoop?什么是Sqoop？sqoop其实是一个桥梁，主要在关系型数据库和Hadoop之间进行数据传输，进行数据的导入和导出关系图导出和导入Sqoop数据传输RDBMS ->HDFSmysql到hdfs通过sqoop进行数据传输 分两种，一是只支持新

**环境变量**export JAVA_HOME=/opt/software/jdk180export HADOOP_HOME=/opt/software/hadoop/hadoop260export HIVE_HOME=/opt/software/hadoop/hive110export PATH=$HIVE_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$JAVA_HOME/bin:$PATHexport CLASS_PATH=.:$JAVA_H..

一、先下载镜像文件，并记住文件位置(一会儿要用的！！)这里我用的 CentOS-7-x86_64-DVD-1908二、在自己的学习盘里新建文件夹,专门用来存在文件三、打开vmware，创建新的虚拟机四、下一步下一步，选择linux,还有自己镜像文件的版本五、然后放入学习盘中，刚刚新建的文件中注意默认系统盘哦！！！六、指定磁盘大小，这里我设置的40G(学的大数据，一般20就够啦)七、然后设置一下内存和处理器的大小，然后把镜像导进去八、设置虚拟机的installation destinat

#JAVA知识点什么是方法的重载？ //(加粗很重要哦~)//在同一个类中，方法名称相同，参数不同（数量不同，类型不同，不同类型顺序不同）。什么是方法的重写?1、子类继承父类2、方法名称相同，返回类型相同。3、访问权限 >=父类什么是多态？多态的必要条件是什么？一种类型多种表现形态。必要条件：1、继承（多个类继承同一个方法）2、重写（子类重写父类方法）对比抽象类和接口的相同点和差异点相同点:1、两者都不可以实例话2、都可以有属性3、都可以有抽象方法不同点:1、抽

求1~200中的以3的整数倍，或包含3的数值之和 int sum = 0; for (int i = 1,a,b; i <=200 ; i++) { boolean has3 =false; if(i>10){ a=i%10; b=(i/10)%10; if(a==3||b==3){ has3 =

一切的一切只需记住一个公式即可(Di+X) =Y i增加 Y增加；（X-Di）= Y i增加 Y减少；然后把D的值和Y的值代入，求X即可直角三角形for (int i = 1; i <=5 ; i++) { for (int j = 1; j <=i ; j++) { System.out.print("*"); } System.out.println();