- 博客(38)
- 收藏
- 关注
RSS订阅原创 HDFS的数据压缩算法？及每种算法的应用场景？
HDFS的数据压缩算法？及每种算法的应用场景？1）gzip压缩2）Bzip2压缩3）Lzo压缩4）Snappy压缩1）gzip压缩优点：压缩率比较高，而且压缩/解压速度也比较快；hadoop本身支持，在应用中处理gzip格式的文件就和直接处理文本一样；大部分linux系统都自带gzip命令，使用方便。缺点：不支持split。应用场景：当每个文件压缩之后在130M以内的（1个块大小内），都可以考虑用gzip压缩格式。例如说一天或者一个小时的日志压缩成一个gzip文件，运行mapreduce程序的时候通
2020-12-23 09:37:11
501
原创 hbase shell启动报ERROR: Can‘t get master address from ZooKeeper； znode data == null（已解决）
hbase shell启动报ERROR: Can’t get master address from ZooKeeper; znode data == null我的启动报这个错是因为之前给zookeeper和hadoop配置了高可用。导致和zookeeper连接时超时解决方法之一：直接杀死server01中的namenode...
2020-12-21 10:17:48
231
2
原创 操作kafka的基础命令
启动集群依次在master、server01、server02节点上启动kafka[www@master kafka]$ bin/kafka-server-start.sh config/server.properties &[www@server01 kafka]$ bin/kafka-server-start.sh config/server.properties &[www@server02 kafka]$ bin/kafka-server-start.sh config/se
2020-12-21 09:42:56
128
原创 Flume-HBase-Kafka
Flume-HBase-Kafka一、各自介绍1.Flume简介和特征2.HBase简介和特征3.Kafka简介和特征二、通过Flume读取日志文件写入到Kafka中在写入HBase各自作用一、各自介绍1.Flume简介和特征一、简介Flume是一个分布式、可靠、和高可用的海量日志聚合的系统，支持在系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。当前Flume有两个版本Flume 0.9X版本的统称Flume-og，Flume1
2020-12-20 20:02:19
164
原创 kafka-server-stop.sh不起作用,kafka关不了
kafka-server-stop.sh不起作用,kafka关不了修改kafka-server-stop.sh文件cd ~/modules/kafka_2.11/binvi kafka-server-stop.sh此时可以把PIDS=$(ps ax | grep -i ‘kafka.Kafka’ | grep java | grep -v grep | awk ‘{print $1}’)这行代码修改为PIDS=$(jps -lm | grep -i ‘kafka.Kafka’ | awk ‘{p
2020-12-17 09:48:30
1526
2
原创 zookeeper集群脚本
zookeeper集群脚本1、一键启动zookeeper集群2、一键查看zookeeper集群状态3、一键停止zookeeper集群1、一键启动zookeeper集群echo "start zkServer..."for i in master server01 server02doecho "start zk"+$i+"启动中..."ssh $i "source /etc/profile;/home/zzz/modules/zookeeper-3.4.7/bin/zkServer.sh sta
2020-12-03 19:13:29
190
4
原创 linux安装与介绍
Linux介绍一、简介与安装二、目录介绍三、基本介绍四、 Linux Shell操作1.系统级别命令2.Linux下文件权限介绍一、简介与安装linux简介与安装二、目录介绍Linux目录结构目录 作用/Linux系统的根目录，一般只存放目录/bin和/usr/bin命令（二进制）文件目录，包含可供root用户和普通用户所使用的Linux命令和二进制文件，包含shell解析器等/boot系统引导和内核目录，存放引导装载文件/dev设备目录，存放各个硬件设备
2020-11-06 09:45:20
133
原创 linux权限
linux权限一、权限介绍二、修改权限3、在linux中，经常会遇到权限问题。很难。一、权限介绍由于linux里全是文件，在文件显示前都有-rw-------类似的。1- 2rw- 3rw- 4r–表示文件。rw- r read(读取)w write(写入)x execute(执行)2: 表示当前用户对文件的权限。3：表示当前组的用户对文件的权限。4：表示其他组的用户对文件的权限。二、修改权限r4
2020-11-05 09:02:52
147
1
原创 Spring框架《二》ICO和DI续集
ICO和DI续集一、集合属性1.数组与List2.Map3.集合类型bean二、FactoryBean(工厂)三、bean的高级配置1. 配置信息的继承(一般不用，每个对应的bean都是唯一的)2.bean之间的依赖四、bean的作用域五、bean的生命周期六、引用外部属性文件1.直接配置2.使用外部的属性文件七、自动装配八、通过注解配置bean1.使用注解标识组件2扫描组件3.组件装配一、集合属性1.数组与List配置java.util.List类型的属性，需要指定标签，在标签里包含一些元素。这些标
2020-11-02 10:49:57
198
原创 Spring框架《一》----简介
Spring框架《一》1.Spring概述1.1简介1.2Spring模板二、IOC容器和Bean1.IOC和DI简介2.三种通过类型获取bean3.给bean的属性赋值3.1依赖注入的方式1. 通过bean的setXxx()方法赋值2. 通过bean的构造器赋值3.p名称空间4.可以使用的值1.Spring概述1.1简介(1)Spring框架是由于软件开发的复杂性而创建的。Spring使用的是基本的JavaBean来完成以前只可能由EJB完成的事情。然而，Spring的用途不仅仅限于服务器
2020-10-28 11:00:53
129
原创 Mybatis《二》映射文件
映射文件一、映射文件简介二、使用insert|update|delete|select完成CRUD三、参数传递1 传递方式2参数处理一、映射文件简介1.MyBatis 的真正强大在于它的映射语句，也是它的魔力所在。由于它的异常强大，映射器的 XML 文件就显得相对简单。如果拿它跟具有相同功能的 JDBC 代码进行对比，你会立即发现省掉了将近 95% 的代码。MyBatis 就是针对 SQL 构建的，并且比普通的方法做的更好。2.SQL 映射文件有很少的几个顶级元素（按照它们应该被定义的顺序）：ca
2020-10-21 10:46:24
80
原创 MyBatis《一》-快速入门-idea
MyBatis-快速入门-idea一、了解MyBatis二、简单配置一下&使用三、settings 设置一、了解MyBatis1 简史MyBatis 本是apache的一个开源项目iBatis, 2010年这个项目由apache software foundation 迁移到了google code，并且改名为MyBatis，是一个基于Java的持久层框架。2 简介支持定制化 SQL、存储过程以及高级映射的优秀的持久层框架。是一个半自动ORM（Object RelationMappi
2020-10-19 20:26:12
122
1
原创 Java网络编程《一》
1 本章简介网络编程的基础知识 （掌握）网络基础IP地址和端口号Java的基本网络支持 （掌握）使用InetAddress使用URL2 java网络编程1简介传统的网络编程是一项非常细节化的工作，程序员必须处理和网络有关的大量细节，如各种协议，甚至要理解网络相关的硬件知识。而Java则将底层的网络通信细节予以屏蔽，使得使用的编程模型是一个文件模型，...
2019-11-28 20:32:17
315
1
原创 Java中的锁
1 锁有多少种其实如果按照名称来说，锁大概有以下名词：自旋锁 ，自旋锁的其他种类，阻塞锁，可重入锁 ，读写锁 ，互斥锁 ，悲观锁 ，乐观锁 ，公平锁 ，偏向锁， 对象锁，线程锁，锁粗化， 锁消除，轻量级锁，重量级锁， 信号量，独享锁，共享锁，分段锁我们所说的锁的分类其实应该按照锁的特性和设计来划分2 锁的简介1：公平锁/非公平锁公平锁是指多个线程按照申请锁的顺序来获取锁。非公平锁是指多...
2019-11-25 20:22:52
104
原创 Java中多线程基础
1 多线程原理多个线程”同时”运行只是我们感官上的一种表现。事实上线程是并发运行的，OS的线程调度机制将时间划分为很多时间片段（时间 片），尽可能均匀分配给正在运行的程序，获取CPU时间片的线程或进程得以被执行，其他则等待。而CPU则在这些进程或线程上来回切换运行。微观上所有进 程和线程是走走停停的，宏观上都在运行，这种都运行的现象叫并发，但是不是绝对意义上的“同时发生。2 线程优先级线程的...
2019-11-24 20:30:45
114
原创 进程与线程
1 概念进程就是一块包含了某些资源的内存区域。操作系统利用进程把它的工作划分为一些功能单元。进程中所包含的一个或多个执 行单元称为线程。一个线程是进程的一个顺序执行流。同类的多个线程共享一块内存空间和一组系统资源，线程本身有一个供程序执行时的堆栈。2 进程与线程的区别1一个进程至少有一个线程。2线程的划分尺度小于进程，使得多线程程序的并发性高。3进程在执行过程中拥有独立的内存单元，而多...
2019-11-21 23:38:38
122
1
原创 日期转换和电子钟表
//日期转换SimpleDateFormat format = new SimpleDateFormat("北京时间：yyyyy-MM-dd-hh-mm-ss"); String date = format.format(new Date(calendar.getTimeInMillis())); System.out.println(date); //电子钟表public st...
2019-11-19 20:58:31
183
原创 JAVA中io流====》file用法和一些方法
1 io流基本介绍IO流用来处理设备之间的数据传输；Java对数据的操作是通过流的方式；Java用于操作流的对象都在IO包中；流按操作数据分为两种：字节流与字符流；流按流向分为：输入流，输出流；处理二进制字节流：outputstream,inputstream 是接口，FileOutPutStream,FileInputStream实现上述接口BufferedInputStrea...
2019-11-18 11:31:09
146
原创 JAVA中泛型
1 什么是泛型？Java泛型设计原则：只要在编译时期没有出现警告，那么运行时期就不会出现ClassCastException异常。泛型：把类型明确的工作推迟到创建对象或调用方法的时候才去明确的特殊的类型。相关术语：· ArrayList中的E称为类型参数变量· ArrayList中的Integer称为实际类型参数· 整个称为ArrayList泛型类型· 整个ArrayList称为参数...
2019-11-18 09:52:15
131
原创 JAVA单例模式5种常用模式
1 简介单例模式（Singleton Pattern）是 Java 中最简单的设计模式之一。这种类型的设计模式属于创建型模式，它提供了一种创建对象的最佳方式。定义：确保一个类只有一个实例，而且自行实例化并向整个系统提供这个实例。类型：创建类模式总体来说设计模式分为三大类：创建型模式，共五种：工厂方法模式、抽象工厂模式、单例模式、建造者模式、原型模式。结构型模式，共七种：适配器模式、装饰...
2019-11-18 09:01:53
139
原创 内部类（自我理解）
1 内部类分类内部类分为：静态内部类；成员内部类；局部内部类；匿名内部类1 书写代码要求一：静态内部类1：必须以static标椎2：只可以访问类中静态的成员变量或静态方法3：访问内部类格式应为 外部类.类名 名= new 外部类.类名；(不能直接实例内部类)二：成员内部类1：定义在一个类内部，无需static修饰2：生成列方法：外部类.方法名 名= new 外部类.方法名3...
2019-11-17 20:36:21
86
原创 HashMap和HashTable区别 collection和collections区别(总结)
1 HashMap和HashTable区别线程是否安全效率null是否可以为key和value方法容量HashMap不安全高可以(key只允许一个)被分解为containsvalue和containskey默认16增长时增长为原容量2倍HashTable安全低不允许contains默认11增长时增长为原容量2倍+1TreeMap基于...
2019-11-17 20:05:05
373
1
原创 JAVA异常及其处理 和 异常与错误区别
1 JAVA异常1 了解异常Exception是java程序运行中可预料的异常情况，捕捉或者程序进行处理这种异常，如果程序正常执行，将不会出现异常。Exception: 运行时异常，非运行时异常（检查异常）异常又分为1：运行时异常：程序运行时出现的异常，由虚拟机捕捉，并抛出到控制台的异常。2：非运行时异常： java编译器要求方法必须处理或抛出可能发生的非运行时异常。常见的异常：数组...
2019-11-13 16:25:53
208
原创 JAVA==》集合set、List理解及区别
1 集合set1 set的实现类区别HashSet内部存储是一个散列表。 HashSet内部实现是一个HashMap; 通过 hashcode和equals来判断是否存入;LinkedHashSet 有链表顺序，不能重复的;TreeSet时刻排序的。默认按照字典或数字排序;2 代码演示Student stu = new Student("站位",18,"女...
2019-11-05 20:25:18
233
原创 JAVA中的异常
1 异常和错误的概念Error 错误 Error表示系统级的错误和程序无法通过修改程序处理的异常，列如：内存泄露。Exception 异常 Exception表示需要捕捉或者需要程序进行处理的异常，如果程序正常执行，将不会出现异常。异常常见的俩数组下标越界,会引发IndexOutOfBoundsException;访问null的对象时会引发NullPointerExcept...
2019-10-29 20:54:11
101
2
原创 String,StringBuffer,StringBuilder区别
1 概念上区别String 表示一组不可变的字符序列。对于字符串的操作，将会创建新的字符串对象。 不适用于频繁操作字符串。StringBuffer 线程安全的可变字符序列。对于字符的操作，将在其对象方法中完成，不会创建新的字符串对象。适用于多线程操作StringBuilder 非线程安全的可变字符序列。对于字符的操作，将在其对象方法中完成，不会创建新的字符串对象。适用于单线程操作。2 ...
2019-10-27 20:45:11
74
原创 抽象类和接口关系
1 基础可知的问：抽象类能实现接口吗？ 可以。问：接口能继承抽象类吗？ 不可以。问：抽象类能继承抽象类吗？ 可以。问：接口能继承接口吗？ 可以。接口可以继承接口： 子接口可以实现父接口里的方法。实现了子接口的类可以直接调用。属性： 接口中的属性默认被static final 修饰的常量。抽象类中可以有变量。接口常量只能被public default 修饰。...
2019-10-24 20:33:08
108
原创 抽象类和简单了解接口，final关键字
1 抽象类1 概念什么是抽象类？abstract 修饰的类叫做抽象类。什么是抽象方法？使用abstract修饰的方法叫做抽象方法，抽象方法不能有具体的实现，子类必须重写。2 特征abstract 修饰的类是抽象类：1： 抽象类不能实例化。2: 抽象类中有抽象方法，子类必须重写。3: 抽象类中可以有非抽象方法，不要求子类强制实现。4：如果一个类中，有抽象方法，那么这个类一...
2019-10-22 20:26:22
110
原创 java中访问修饰符，多态
1 java中的访问修饰符1 表格修饰符本类本包其他类（子类）子类（本项目）其他包访问权限public√√√√公用的（对任何人都可以用）protect√√√×受保护的（子类及本类和本类中方法都可以）default√√××默认的(不用写，仅本包中可用)private√×××私有的(本类及本类中方法可用)2...
2019-10-21 20:29:57
176
原创 回顾java中简单的几种运算符
1 算数运算符+ - * / %System.out.println("a+b="+(a+b));System.out.println("a-b="+(a-b)); System.out.println("a*b="+(a*b)); // 除法运算 / 在整数中只保留商值。如5/3=1 System.out.println("a/b="+(a/b)); ...
2019-10-18 21:01:57
153
原创 继承
1 什么是继承：子类可以继承父类共有的属性和方法。继承关键字是：extends2 继承的优点：方便快捷实现类的重用，减少代码的冗余。子类拥有父类非 private 的属性、方法。子类可以拥有自己的属性和方法，即子类可以对父类进行扩展。子类可以用自己的方式实现父类的方法。Java 的继承是单继承，但是可以多重继承，单继承就是一个子类只能继承一个父类，多重继承就是，例如 A ...
2019-10-17 20:18:01
97
原创 封装和方法重载
1 封装1 概念封装是把过程和数据包围起来，对数据的访问只能通过已定义的接口。封装实际上使用方法将类的数据隐藏起来，控制用户对类的修改和访问数据的程度。隐藏类的内部细节，提供外部访问的接口。叫做封装。封装使用get ，set方法。2 优势1将变化隔离2便于使用3提高重要性4提高安全性5适当的封装可以让程式码更容易理解和维护3 this关键字this: 表示当前对象。...
2019-10-16 20:24:42
238
原创 面向对象二
1 对象中的对象**（自我理解）**不是一个真正概念。可以理解为：在对象中拥有属性，其属性类型是其他类。public class Student {public String name;public String sex;public int age;public String stuNo;//学费}...
2019-10-15 20:59:21
116
原创 全局变量，局部变量 ，静态变量，成员变量，值传递
1局部变量，全局变量局部变量，作用域从定义位置开始，到代码块结束。全局变量，定义在类中，方法外的变量叫做全局变量。全局变量所有方法均能够访问。------（自我理解）-----局部变量：范围为你最近的一组花括号。------（自我理解）-----全局变量：这个类中都能用。2 静态变量，成员变量成员： 在类中定义的变量，实例化对象时访问的变量。叫做成员变量。类变量（静态变量）：定...
2019-10-14 19:48:05
263
原创 八种数据类型和string，标识符，转义字符表
1 变量8种基本数据类型。1个引用数据类型。整数类型：byte 1字节short 2字节int 4字节long 8字节浮点类型：float 4字节double 8字节字符类型：char 2字节布尔类型：boolean 1bit 说一字节也是可以的。引用数据类型string1 数据类型转换自动类...
2019-10-13 20:46:04
1046
原创 面向对象学习第一天
1 什么是面向对象？与面向过程的区别面向对象： 将现实生活中的事物，封装成对象，通过对象的实例化和调用，完成需求。面向对象，关注点是对象的属性和方法，而忽略事物执行的顺序或过程。面向过程： 将现实生活中的事物，按照发生的顺序使用代码顺序执行。面向过程，关注事物执行的顺序。2 面向对象的特征有哪些方面抽象：抽象就是忽略一个主题中与当前目标无关的那些方面，以便更充分地注意与当前目标...
2019-10-12 22:53:38
103
原创 菜鸟学习第一个月，回忆第一天
JAVA简介1 java是什么？ java是一门开发语言，也是一项开发工具鼻祖：詹姆斯·高斯林2 java三个体系Java分为三个体系（版本）J2SE(Java2 Standard Edition)， java标准版J2EE(Java 2 Platform,Enterprise Edition)，（企业版）J2ME(Java 2 Micro ...
2019-10-11 17:41:48
96
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人