- 博客(19)
- 收藏
- 关注
RSS订阅原创 Hive安装
注意：安装Hive前需要拍快照，等安装完成后，删除原快照，重新拍摄快照安装Hive前确保已经安装好JDK、MySQL、Hadoop集群环境，确保MySQL与Hadoop必须已经成功启动一、安装Hivehive压缩包和mysql的加载驱动包链接：https://pan.baidu.com/s/1RwpHXHJlMEf7KcxgtR8T9g提取码：5cd1将两个包使用Xftp拖至soft目录下1、解压hive的安装包：tar -zxvf apache-hive-1.2.1-bin.tar.gz
2022-05-31 21:12:00
590
原创 Hadoop（三）HA
一、HA的failover原理HDFS的HA，指的是在一个集群中存在两个NameNode，分别运行在独立的物理节点上。在任何时间点，只有一个NameNodes是处于Active状态，另一种是在Standby状态。 Active NameNode负责所有的客户端的操作，而Standby NameNode用来同步Active NameNode的状态信息，以提供快速的故障恢复能力。为了保证Active NN与Standby NN节点状态同步，即元数据保持一致。除了DataNode需要向两个NN发送block位
2022-05-30 21:29:16
1061
原创 Hadoop（三）读写流程
Remote Procedure CallRPC——远程过程调用协议，它是一种通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的协议。RPC协议假定某些传输协议的存在，如TCP或UDP，为通信程序之间携带信息数据。在OSI网络通信模型中，RPC跨越了传输层和应用层。RPC使得开发包括网络分布式多程序在内的应用程序更加容易。RPC采用客户机(client)/服务器(server)模式。请求程序就是一个客户机，而服务提供程序就是一个服务器。首先，客户机调用进程发送一个有进程参数的调用信息到服务进
2022-05-30 21:05:24
1113
原创 Hadoop（二）
hadoop中常见的shell命令1、如何将linux本地的数据上传到HDFS中呢？hadoop fs -put 本地的文件 HDFS中的目录hdfs dfs -put 本地的文件 HDFS中的目录2、如何创建HDFS中的文件夹呢？需求：想创建/shujia/bigdata17hadoop fs -mkdir /shujia/bigdata17hdfs dfs -mkdir /shujia/bigdata173、查看当前HDFS目录下的文件和文件夹hadoop fs -ls /shuj
2022-05-30 19:54:52
1063
原创 Hadoop（三）进程理解
HDFS相关（NN,DN,SSN）NN（NameNode）功能：1、接收客户端的读写服务因为namenode知道数据文件和DataNode的对应关系2、保存文件的时候会保存文件的元数据信息a. 文件的归属b. 文件的权限c. 文件的大小、时间d. block信息，但是block的位置信息不会持久化，需要每次开启集群的时候DN向NN汇报3、收集block的位置信息3.1 系统启动 a. NN关机的时候是不会存储任何的Block与DataNode的映射信息的 b. DN启
2022-05-29 22:09:05
119
原创 Hadoop（一）
一、HDFS1、HDFS的本质是一个文件系统，特点是分布式，需要在多台机器启动多个NN，DN进程组成一个分布式系统。2、HDFS不支持对一个文件的并发写入，也不支持对文件的随机修改，不支持存储小文件（存储小文件会降低NN的服务能力）3、HDFS的块大小1、块大小可以通过`hdfs-site.xml`中的`dfs.blocksize`进行配置2、如果不配置，那么在hadoop1.x时，`dfs.blocksize=64M`,在hadoop2.x时，`dfs.blocksize=128M`块大小不
2022-05-29 19:53:33
1242
原创 虚拟机配置
1. Finalshell下载Mac：http://www.hostbuf.com/downloads/finalshell_install.pkgWindows：http://www.hostbuf.com/downloads/finalshell_install.exe2.finalshell连接虚拟机点击新建，输入主机名及地址值，连接虚拟机与finalshell3.下载jdk在/usr/local/soft 目录下，上传Linux版本的jdk压缩包，输入以下命令进行解压 ta
2022-05-19 22:45:21
1274
原创 Maven
1、构建过程清理：删除上一次构建的结果，为下一次构建做好准备编译：Java 源程序编译成 *.class 字节码文件测试：运行提前准备好的测试程序报告：针对刚才测试的结果生成一个全面的信息打包J：ava工程：jar包；Web工程：war包安装：把一个 Maven 工程经过打包操作生成的 jar 包或 war 包存入 Maven 仓库部署：部署 jar 包：把一个 jar 包部署到 Nexus 私服服务器上；部署 war 包：借助相关 Maven 插件（例如 cargo），将 war 包部署到
2022-05-17 20:21:14
65
原创 Java学习day16
StringBuffer相关练习题一、将数组拼接位一个字符串/* 将数组拼接为一个字符串 */public class StringBufferTest1 { public static void main(String[] args) { int[] arr = {11,22,33,44,55,66,77}; StringBuffer sb = new StringBuffer(); for(int i=0;i<arr
2022-04-01 20:57:01
414
原创 Java基础学习day16
StringBuffer一、StringBuffer:public final class StringBuffer字符串缓冲区可供多个线程使用。线程安全(没有出现同步操作，数据是安全的，但效率低），可变的字符序列。字符串缓冲区类似于String ，但可以进行修改。( 一）、StringBuffer 的构造方法1、StringBuffer（）public StringBuffer() 构造一个字符串缓冲区，其中没有字符，初始容量为16个字符。2、StringBuffer (int capa
2022-04-01 20:53:55
67
原创 Java基础学习day15
String相关练习题1、遍历获取字符串中每一个字符/* 遍历获取字符串中的每一个字符 */public class StringAnswer { public static void main(String[] args) { String s = "shujiakejiyyds"; char[] ch = s.toCharArray();// for(int i = 0;i<ch.length;i++){//
2022-04-01 20:44:23
493
原创 Java基础学习day15
字符串一、字符串1、定义 ：简单理解：用一根签将若干个字符串起来的串叫做字符串。由多个字符组成的一串数据叫做字符串，也可以看作是一个字符数组。 String：（去看API） String类代表字符串。 Java程序中的所有字符串文字（例如"abc" ）都被实现为此类的实例。 字符串不变,它们的值在创建后不能被更改。 字符串缓冲区支持可变字符串。 因为String对象是不可变的，它们可以被共享。注意：字符串一旦被创建，它的值就不能被改变，指的是在常量
2022-03-30 17:00:24
244
原创 Java基础学习day14
内部类及匿名内部类一、定义 把类定义在其他类的内部，将其称之为内部类。二、 内部类的访问特点： 1、内部类可以直接访问外部类的成员，包括私有。 2、外部类要访问内部类的成员，必须创建对象。代码展示class OuterDemo{ public int num1 = 10; private int num2 = 20; public void fun(){ System.out.println("这是外部类的fun方法");
2022-03-29 19:25:15
2283
原创 Java基础学习day17
包装类1、定义： 对应着每一个数据类型的类，称之为包装类。可以创建对象，调用类中的方法来实现需求。2、基本数据类型所对应的包装类类型 byte Byte short Short int Integer long Long float
2022-03-28 21:53:44
57
原创 Java基础学习day4
权限修饰符一、同一类中： public、protected、默认的、private都能被访问同一包子类、其他类：public、protected、默认的不同包子类: public 、protected不同包其他类： public二、 类及其组成可以用的修饰符 静态修饰符：static 抽象修饰符：abstract 权限修饰符：public、protected、默认的、private 常量修饰符：final 类： ...
2022-03-25 20:31:40
57
原创 Java基础学习day14
返回值类型一、分类1.基本数据类型2.引用数据类型 类：当类作为方法的返回值的时候，实际上需要返回一个该类的对象。 抽象类：当抽象类作为方法的返回值的时候，实际上需要返回一个该抽象类的一个具体子类的对象。 接口：二、具体代码展示1、类class School1{ public void show(){ System.out.println("这是学校"); }}class SchoolDemo1{ public Scho
2022-03-24 21:38:51
306
原创 Java基础学习Day14
形式参数1.基本数据类型2.引用数据类型 1.类：当类作为方法形式参数的时候，实际上需要的是该类的对象 2. 抽象类：当抽象类作为方法形式参数的时候，实际上需要的是该抽象类具体子类的对象。 3. 接口：当接口作为方法形式参数的时候，实际上需要的是该接口具体实现的类。具体代码表示1.类 class Student{ public void show(){ System.out.println("我是学生"); }}class Student2{
2022-03-24 20:04:44
556
原创 Java中类与对象编程题
一、什么是类类：是一组相关属性和行为的集合。类可以看做是创建java对象的模板。类的实质是一种引用数据类型，它的本质是数据类型，不存在与内存中，不能直接被操作引用，只有被创建对象时，才可以被操作。二、编程题1.请定义一个交通工具(Vehicle)的类其中有: 属性： 速度(speed)、 体积(size)等，方法：移动(move())、设置速度(setSpeed(int speed))、加速 speedUp()、减速 speedDown()等。最后在测试类 Vehicle 中的 main()中实例化一
2022-03-23 15:30:37
2457
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人