FineReport（帆软）实现分页查询 页面默认展示大小不合适，需要调整 点击模板，选择页面设置进行自定义调整。A3为数据开始展示的那一行，30表示每30条数据为一页。条件属性内容：&A3 % 30 = 0。
FineReport 连接mysql报错 当前驱动加载路径... 原因为帆软自带的jar包与当前使用的mysql（8.0）版本不一致，需要去官网下载对应连接的jar包。下载后在帆软对应路径替换掉jar包即可。
SparkStreaming与Flink的区别 （面试层面~） 对于 Spark Streaming 任务，我们可以设置 checkpoint，然后假如发生故障并重启，我们可以从上次 checkpoint 之处恢复，但是这个行为只能使得数据不丢失，可能会重复处理，不能做到恰好一次处理语义。事件驱动的应用程序是一种状态应用程序，它会从一个或者多个流中注入事件，通过触发计算更新状态，或外部动作对注入的事件作出反应。Spark Streaming 是微批处理，运行的时候需要指定批处理的时间，每次运行 job 时处理一个批次的数据。
SparkStreaming 消费Kafka数据的两种方式（Receiver，Direct）~ 而在Direct方式中，Kafka中的partition与RDD中的partition是一一对应的并行读取Kafka数据，这种映射关系也更利于理解和优化。在Receiver的方式中，使用的是Kafka的高阶API接口从Zookeeper中获取offset值，这也是传统的从Kafka中读取数据的方式，但由于。的最新的offset，从而定义每个batch的offset的范围。这种新的不基于Receiver的直接方式，是在Spark 1.3中引入的，从而能够确保更加健壮的机制。使用 kafka 的简单 api，
Spring装配Bean的三种方式（XML、JavaConfig、Autowired） Spring会拦截所有对@Bean注解的方法的调用，确保直接返回这个方法创建的bean，而不是让其执行实际调用。常用于构造器、setter方法，当Spring创建它们所在对象的bean时，会传入一个相应参数类型的bean，即自动满足所创建bean 的（对另一个bean的）依赖。——告诉Spring这个方法返回一个对象，该对象要注册为Spring应用上下文中的bean，bean的默认ID和这个方法名一致，也可以用name属性自定义啦。自动装配机制会考虑到容器中所有的bean，不管它是在。
Hbase的rowkey设计原则与实现方式~ 其设计时，要考虑把重要的信息放左边，不重要的信息放到右边，可以提高查询数据的速度。这样，最重要的提高索引速度的就是设计合适的rowkey。缺点：对于单个信息字段，或者无论怎么调整都会遇到region热点的rowkey是解决不了的。有效避免了热点问题；加盐：在rowkey前面加一个冗余信息，这样可以把数据分散到不同的region中。字段交换，提升权重：如果rowkey中含有几个信息字段，可以调整信息字段的顺序。不能得到有效利用，缓存不能存放太多的信息，造成检索效率的降低。的是大多以升序的形式排列，唯一的是。
redis过期key的清理/删除策略 因为删除操作会占用cpu的时间，如果刚好碰上了cpu很忙的时候，比如正在做交集或排序等计算的时候，就会给cpu造成额外的压力。惰性删除是指，某个键值过期后，此键值不会马上被删除，而是等到下次被使用的时候，才会被检查到过期，此时才能得到删除。从上面分析来看，立即删除会短时间内占用大量cpu，惰性删除会在一段时间内浪费内存，所以定时删除是一个折中的办法。定时删除是：每隔一段时间执行一次删除操作，并通过限制删除操作执行的时长和频率，来减少删除操作对cpu的影响。所以惰性删除的缺点很明显:浪费内存。
Hbase过滤器详解与代码实现~ 基础API中的查询操作在面对大量数据的时候是非常苍白的，这里Hbase提供了高级的查询方法：Filter。Filter可以根据簇、列、版本等更多的条件来对数据进行过滤，基于Hbase本身提供的三维有序（），这些Filter可以高效的完成查询过滤的任务。），代表具体的比较逻辑，如果可以提高字节级的比较、字符串级的比较等。有了这两个参数，我们就可以清晰的定义筛选的条件，过滤数据。要完成一个过滤的操作，至少需要两个参数。）的过滤器，这样也可以降低网络传输的压力。另外一个就是具体的比较器（
冷启动问题分析与解决办法 在缺乏有价值数据的时候，如何有效地满足业务需求的问题，就是“冷启动问题”。为了沟通方便，下面统一从推荐系统的角度来讲“冷启动问题”，其他业务场景同理。冷启动问题是机器学习系统中十分常见、无法回避的问题，因为任何机器学习系统都要经历从无到有的过程。试想，你作为一个新用户，在没有用户数据的情况下，淘宝如何给你个性化推荐商品，抖音如何给你个性化推荐视频呢？用户冷启动：新用户注册后，没有历史行为数据。物品冷启动：新物品上架后，没有用户对该物品的交互数据。
Kettle实现：MongoDB与MySQL数据互传 上面的复选框选择是否输入json格式，这时不选。选择 ”bigdata－mongodb ouput"组件。在kettle中，mongodb input组件。点击get fileds，获取字段对应关系。二、mysql数据迁移到mongodb。输入数据数据和集合(没有集合自动创建)一，mongodb传数据到mysql。编辑mongodb output组件。选择“表输入”组件，编辑表输入。
Eclipse 报错 Missing artifact jdk.tools:jdk.tools:jar:1.6（已解决） 在eclipse中创建java项目后，pom文件中照常添加依赖，结果报错。pom文件中添加如下依赖，然后右键项目刷新Refresh后，没有再报错。
HDFS小文件问题分析与解决方案（面试层面~） 1）会有什么影响（1）存储层面：1个文件块，占用namenode多大内存150字节1亿个小文件150字节1个文件块 * 150字节（2）计算层面：每个小文件都会起到一个MapTask，占用了大量计算资源2）怎么解决（1）采用har归档方式，将小文件归档（2）采用CombineTextInputFormat（3）有小文件场景开启JVM重用；如果没有小文件，不要开启JVM重用，因为会一
JAVA JVM 运行机制和基本原理 JVM的基础概念JVM的中文名称叫Java虚拟机，它是由软件技术模拟出计算机运行的一个虚拟的计算机。JVM也充当着一个翻译官的角色，我们编写出的Java程序，是不能够被操作系统所直接识别的，这时候JVM的作用就体现出来了，它负责把我们的程序翻译给系统“听”，告诉它我们的程序需要做什么操作。我们都知道Java的程序需要经过编译后，产生.Class文件，JVM才能识别并运行它，JVM针对每个操作系统开发其对应的解释器，所以只要其操作系统有对应版本的JVM，那么这份Java编译后的代码就能够运行起来，这就是
建造者设计模式（角色分析） 使用简单的对象一步一步构建成一个复杂的对象。概念：定义：讲一个复杂对象的构建与它的表示分离，使得同样的构建过程可以创建不同的表示。主要作用：在用户不知道 对象的建造过程和细节 的情况下就可以直接创建复杂的对象如何使用：用户只需要给出指定复杂对象的类型和内容，建造者模式负责按顺序创建负责对象（把内部的建造过程和细节隐藏起来）解决的问题：①方便用户创建负责的对象（不需要知道实现过程)②代码复用性\封装性（将对象那个构建过程和细节进行封装和复用）注意事项：与工厂模式的区别是：建造者模式更加关注零件
建表规范的简单了解 基本建表规范：自增主键一般都需要设置(id int unsigned NOT NULL AUTO_INCREMENT`);不定长字符串长度使用varchar类型，需要考虑实际业务最长长度的基础上扩容20%到40%为宜，且长度取2的指数长为宜(64,128,256等);定长长度使用char类型，长度直接取实际长度即可，类似于手机号字段;所有字段除了软删除字段(delete_time)，都需要设置为not null,并且设置默认值(字符串默认值为’’，整型默认值为0);基本所有的字段，表
派生表 简单了解和定义 派生表的定义派生表是在外部查询的FROM子句中定义的，只要外部查询一结束，派生表也就不存在了。派生表的作用派生表可以简化查询，避免使用临时表。相比手动生成临时表性能更优越。派生表与其他表一样出现在查询的FROM子句中。例如：SELECT * FROM ( SELECT * FROM Customers WHERE 城市='广州' ) Cus其中Cus就是派生表派生表的特征● 所有列必须要有名称，出现无列名的要重命名● 列名称必须是要唯一，相同名称肯定是不允许的● 不允许使用ORDER
关注
