- 博客(21)
- 问答 (2)
- 收藏
- 关注
RSS订阅原创 Servlet中的一些面试题 以及参考答案
1. Servlet的作用以及如何实现一个Servlet答：Servlet程序是运行在Java web服务器上的java程序，servlet技术是Java EE规范的一部分，起到了生成动态网页的作用。实现步骤如下：编写servlet类，实现接口servlet。在实际开发中通常继承HttpServlet，重写方法serviceservlet程序配置 在web.xml添加配置信息或者借助注解2...
2020-03-31 12:14:19
1319
原创 什么是JDBC事务？如何使用JDBC如何控制事务
oracle数据库中最小的执行单元，这个执行单元中是由多个sql语句组成，事务中的sql语句执行结果。要么全部成功，要么全部失败，它保证业务操作（功能）的完整性和正确性（一致性），其特性包含了原子性（atomic）：一个事务中的多条sql语句，要么全部执行成功，要么全部执行失败。一致性（consitency）：数据的合理性，事务执行前后（无论执行是否成功），数据都是合理的。隔离性（iso...
2020-03-29 15:39:31
1131
原创 jdbc的作用以及它的几个步骤
JDBC是一种特殊的数据库客户端应用（确切的说是连接数据库技术），其作用和其他数据库客户端应用类似（除了客户端所有功能外，还具有自己的特点），是连接数据库，使用数据库服务器提供的服务管理数据库，其实现步骤如下：1）设置驱动信息，加载驱动（把驱动类加载至JVM内存中，即类加载过程），获取类对象String driverPath = "oracle.jdbc.OracleDriver";Clas...
2020-03-29 15:18:49
1416
原创 MapReduce编程框架的核心实现思想
Yran：1.任务（Job）的监控 AM applicationMaster2.管理集群中的资源（CPU 内存 网络 IO）Yarn汇总集群中所有物理机器的资源（CPU 内存 网络） 根据不同Job作业的需要按需分配给每一个job作业，及这个job作业所对应的map reduceyarn = Resourcemanager（主）+Nodemanager（从）ResourceManager...
2020-03-29 14:46:11
303
原创 java中的设计模式（单例模式，工厂设计模式）
单例模式 一个类只允许产生一个对象//1.饿汉式class ClassA{ private static final ClassA ca = new ClassA(); private ClassA(){} private static ClassA getInstance(){ return ca; }}//2.懒汉式class ClassB{ private sta...
2020-03-29 11:44:50
111
原创 Java 中反射的机制与原理（以及相关示例代码）
类的对象：基于某个类new出来的对象，也成为实例对象类对象：类加载的产物，里面存储了类的对象的所有信息（包名/类名/父类/接口/属性）获取类对象1.类名.classClass c1 = ArrayList.class;2.通过getClass()方法ArrayList list = new ArrayList();Class c2 = list.getClass();3.Cla...
2020-03-28 16:46:14
82
原创 java.sql.SQLException: Access denied for user 'root'@'localhost' (using password: YES)
可能会出现的错误和解决方案：1.检查mysql服务是否已启动2.检查配置中密码是否正确。配置中是否有空格3.用户的权限问题检查下用户权限
2020-03-28 15:23:03
532
原创 内部类
概念：在意各类内部定义的类1.内部类会生成独立的.class文件。文件名：Outer$Inner.class2.内部类可以访问外部类的私有属性，从而不破坏外部类的封装性。成员内部类（类比成员变量）1.定义位置：类以内，方法以外2.如何创建对象Outer o = new Outer(); //创建外部类对象Outer.Inner inner = o.new Inner(); //创建成...
2020-03-24 12:42:52
82
原创 HBase数据结构
先观察表中数据：HBase中存储数据时HBASE行键是域名倒置的命名方式，时间戳则为当前时间，有不用的时间戳，在冒号之前就是列簇的名字，但是并不是每行数据的时间戳是相同的。这里体现出HBase在存储数据的时候可以做到不存储某个属性的数据（在关系型数据中创建表之后，即使该属性没有数据也需要显示为null），这就是HBase表存储稀疏的特点。HBase数据结构设计到四个名词：RowKey，Co...
2020-03-23 23:11:32
716
原创 Kafka Streams的容错机制
Kafka Streams构建于Kafka本地集成的容错功能上。kafka分区具有高可用性和复制，因此当流数据持久保存到Kafka时，即使应用程序失败并需要重新处理时也可用。Kafka Streams中的任务利用Kafka消费者客户端提供的容错功能来处理故障。如果任务运行的计算机故障了，Kafka Streams会自动在其余一个正在运行的应用程序实例中重新启动该任务。Kafka Streams还...
2020-03-23 22:09:42
753
原创 Kafka Streams中的Windowing（窗口计算）与简单代码示例
Windowing在流式计算中将流数据按照时间划分为一个个窗口区间，对窗口区间内的数据引用计算规则，并获得窗口计算结果。Trumbling（翻滚窗口）特点：大小固定，窗口和窗口简的数据无重合相关代码：stream .flatMapValues(line -> Arrays.asList(line.split(","))) .map((k, v) -> new KeyVa...
2020-03-23 21:34:37
1474
原创 HDFS架构中重要概念
HDFS Hadoop Distributed File System 分布式文件存储1.主从式架构2.存储数据时，没有物理上线注意：HDFS集群 不适合存储大量的小文件HDFS集群 存储的文件 使用一次写入多次操作场景NameNode集群中主节点（内存）1.维护了全聚德树状目录结构2.记录了文件的基本信息3.存储了块数据与DataNode对应关系DataNode硬盘1.块形...
2020-03-22 10:41:38
93
原创 Kafka Streams 原理与代码实践
Kafka Streams适用于构建应用程序和微服务的客户端库，其中输入和输出数据存储在kafka集群中。它结合了在哭护短编写和部署标准Java和Scala应用程序的简便性一级kafka服务器端集群技术的优势。概述：1）kafka Streams类库用于构建实时计算处理应用2）输入和输出来源于kafka3）编程语言支持Java和Scala4）集结kafka服务器端集群技术优势（可靠，容错等...
2020-03-21 21:11:18
696
原创 大数据处理方式
离线计算（批处理）代表处理MapReduce，Spark，Flink批处理计算指的是按照某种规则（时间，大小，记录数量等）将数据流划分批次数据，对批次数据进行计算，得到批次计算结果。特点：1）高延迟`：计算会有比较高的时间延迟，通常适用于日志数据的处理。2）大量：通常情况下批处理计算是计算海量数据的唯一方式。3）有界：数据有起始有结束，范围区间数据集合。4）持久：批处理计算的数据通...
2020-03-21 19:50:32
655
原创 Shuffle过程与机制
概述：Map方法之后，Reduce方法之前的数据处理过程被称为Shuffle。Shuffle过程：1.Partition 分区 2.Sort 分组 MapSort GroupSort3.Combiner Map合并过程图解：Shuffle是MR处理流程中的一个过程，步骤分散在map和reduce节点上。整体上分为三个操作：1.分区partition为map Task阶段。2...
2020-03-21 18:53:40
322
原创 Linux中配置SSH免密登录
SSH免密登录：远程安全的访问协议，对网络通信进行加密，从而确保通信安全进行操作前，要在各个需要操作的虚拟机上都在salves文件中进行配置映射#1.生成公私钥对ssh-keygen -t rsa#2.发送公钥到test02ssh-copy-id root@test02...
2020-03-19 11:00:50
143
原创 Linux修改和同步时间
#网络同步 安装ntpdate（如果没有ntpdate工具的话）yum install ntpdate -y#1.查看时间date#2.同步网络时间ntpdate 0.asia.pool.ntp.org#也可手动同步时间date -s “2020-3-18 12:00:00”#3.上述修改只修改了linux的系统时间，并没有写入CMOS，所以需要再同步到CMOSclock -w...
2020-03-18 11:32:40
126
原创 配置主机映射
去该目录下找hosts文件C:\Windows\System32\drivers\etc文件中配置192.168.68.51 HadoopNpde(ip 需配置虚拟机的主机名)
2020-03-17 18:01:38
774
原创 java.lang.SecurityException: sealing violation: package
2020-03-10 12:29:55,740 (conf-file-poller-0) [WARN - org.apache.flume.channel.jdbc.impl.JdbcChannelProviderImpl.initializeDataSource(JdbcChannelProviderImpl.java:428)] Overriding values for - driver: ...
2020-03-17 09:59:28
1953
原创 org.apache.flume.FlumeException: NettyAvroRpcClient { host: localhost, port: xxxxx }: RPC connection
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Ma...
2020-03-16 21:39:58
3823
7
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人