![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
笔记
唐豌豆
这个作者很懒,什么都没留下…
展开
-
spark Streaming作为consumer使用kafka的正确姿势
spark Streaming -> kafkacreateDirectStream()方法传参有三种ssc,是一个StreamingContext对象LocationStrategies位置策略:控制特定的主题分区是在哪个执行器上消费的,在executor针对主题分区如何对消费者进行调度,位置策略有如下三种1、PreferBrokers首选Kafka服务器,只有在kafka服务器和executor位于同一主机,可以使用改策略2、PreferConsistent:首选一致性原创 2020-12-14 23:09:15 · 721 阅读 · 0 评论 -
Hive调优的总结
文章目录hive的优势Hive的优化1、数据倾斜情况下的Hive优化2、从map reduce的Task数量考虑2.1 map阶段优化2.1.1 调整分块大小2.2 reduce阶段优化2.3 小文件合并优化(合并map的输出文件,reduce的结果文件)3 、SQL优化3.1 列裁剪3.2 分区裁剪3.2利用Hive对Union all优化的特性3.3解决Hive对Union all优化的短板3.3 优化in/exists语句3.4 排序选择4、其他4.1 模式选择5、JVM重用6、推测执行hive的优原创 2020-12-08 20:08:19 · 298 阅读 · 0 评论 -
Spring boot框架的核心思想
Spring:全家桶 Spring、springMvc、Spring boot、Spring cloud历史:出现在2002左右,解决企业开发的难度。减轻项目模块之间的管理,类和类之间的管理,帮助开发人员创建对象,管理对象之间的关系核心技术:Ioc、aop。能实现模块之间,类之间的解耦合(淡化类关系)。管理依赖:classA中使用了classB的属性或者方法,叫做classA依赖classB此次学习使用模块:Spring Frameworkspring框架优点轻量:核心功能jar总共在3M原创 2020-12-08 10:04:46 · 3888 阅读 · 0 评论 -
简单实现免交互-免密登录脚本(公钥推送)-------Shell编程expect(Linux)
Linux一步步的免密登录让人心生烦恼,于是写出此脚本:脚本功能:实现一台主机免密登录其他所有主机的公钥推送缺点:不能实现所有虚拟机的交互免密登录的公钥推送,有待完善原创 2020-08-16 02:49:04 · 637 阅读 · 0 评论 -
简述线程入门基础(上)
1、对于java程序来说,启动一个java程序之后至少有两个线程垃圾回收线程执行main方法的主线程线程内存共享原则同进程中的线程堆内存和方法区内存共享栈内存不共享(可能会有多个分支栈) 多线程并发对于多核cpu:可以同时处理对于单核cpu:实际上是一件件的处理,只是处理速度快,给我们造成了多线程的错觉实现线程的方式第一种:编写一个类,直接继承java.lang.Thread,重写run方法创建一个赋值线程对象:MyThread myThread = new MyThre原创 2020-08-15 22:20:43 · 341 阅读 · 1 评论 -
匿名内部类加深理解
内部类内部类定义:在类的内部又定义了一个新的类,被成为内部类分类静态内部类:类似于静态变量实例内部类:类似于实例变量3.匿名内部类 局部内部类():类似于局部变量缺点:① 类没有名字,不可重用;② 代码可读性差,能不用就不用原创 2020-08-10 00:53:20 · 155 阅读 · 1 评论 -
虚拟机网络服务启动失败Failed to start LSB 解决方法
场景:克隆了一个虚拟机后不能重启它的网络服务编辑IP配置文件:vi /etc/sysconfig/network-scripts/ifcfg-ens33重新修改了ip后,发现还是报错如下错误信息:Failed to start LSB 网络服务启动失败解决办法:systemctl stop NetworkManagersystemctl disable NetworkManagersystemctl restart network查看网络服务:systemctl status netwo原创 2020-08-04 20:15:59 · 5563 阅读 · 5 评论 -
16种IO流初入门
四大底层抽象类:输出流不flush可能造成丢失数据!原创 2020-08-03 17:03:47 · 223 阅读 · 0 评论 -
简述java垃圾回收器GC原理
垃圾回收器GC机制基本规则主要针对: 堆内存的垃圾数据回收规则:堆内存中的对象,在没有任何引用指向该对象的情况下,被GC判定为垃圾数据,此时会被GC回收;原创 2020-07-30 15:37:44 · 580 阅读 · 1 评论 -
利用JSP&JDBC创建数据查询页面---思路框架
日常踩坑,我总结了一下思路,希望对正在学习这部分的同志们有帮助,当然思路不止于此,如果有错误,恳求斧正!原创 2020-07-22 18:51:49 · 173 阅读 · 1 评论 -
只需5步骤使用JDBC玩转Mysql数据库(基本操作)
- 使用步骤装载驱动com.mysql.jdbc.driver获取连接connection执行操作(executeUpdate()/executeQuery())- 以反射的方式装载驱动:com.mysql.jdbc.driver-Class.forName("com.mysql.jdbc.driver");- 获取连接对象connectionConnection con = DriverManage.getConnection(URL,USERNAME,PASSWORD);S原创 2020-07-11 18:25:24 · 147 阅读 · 0 评论 -
Mysql数据库-----不玩情景模拟,直击Mysql事务
Mysql事务,去掉注水的成分,全是干货的总结!原创 2020-07-07 19:17:35 · 832 阅读 · 2 评论 -
算法入门----快速排序(Quicksort)
快速排序(Quicksort):是对冒泡排序的一种改进。基本思想是:通过一趟排序将要排序的数据分割成独立的两部分,其中一部分的所有数据都比另外一部分的所有数据都要小,然后再按此方法对这两部分数据分别进行快速排序,整个排序过程可以递归进行,以此达到整个数据变成有序序列。今天豌豆来实现一下快速排序:package sort;import java.util.Random;public class Quicksort { public static void main(String[] .原创 2020-07-05 18:16:45 · 284 阅读 · 0 评论 -
LinkedList源码分析之addAll----Day3
Hello,今天我们来进行我们的第三次LinkedList源码分析,不清楚Linkedlist结构的小伙伴可以去看鄙人这篇文章(看完还不懂你打我(●’◡’●)):《小白入门数据结构(链表)–LinkedList特点分析–超详细方法源码解读-Day1》此次分析的是addAll(int index, Collection<? extends E> c):将指定集合(Collection c)中的所有元素插入到此列表中,从指定的位置(index)开始。不说废话,直接上码分析: pub原创 2020-07-05 15:06:39 · 528 阅读 · 0 评论 -
数据结构之LinkedList源码分析之插入(add(int Index,E e))核心方法--Day2
hello 世界,偷懒的我来整理LinkList的add方法源码了,(●’◡’●),不清楚Linklist结构的小伙伴可以去看鄙人这篇文章(看完还不懂你打我(●’◡’●)):《小白入门数据结构(链表)–LinkedList特点分析–超详细方法源码解读-Day1》首先我们按照返回值来一项项整理Linklist的几种添加(add)的方法:(1)今天分析无返回值的(void):add(int Index,E e) //作用:将给定的值插入到给定的位置index上源码分析:public void a原创 2020-06-26 17:29:36 · 506 阅读 · 0 评论