- 博客(36)
- 收藏
- 关注
RSS订阅原创 记录一次alter更改表结构 waiting for table metadatalock
记录一次alter表结构 无响应-解决方案欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Markdown编辑器你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果
2022-03-27 16:23:56
1287
原创 sentinel-滑动窗口
一、统计StatisticSlotStatisticSlot entry@Override public void entry(Context context, ResourceWrapper resourceWrapper, DefaultNode node, int count, boolean prioritized, Object... args) throws Throwable {try { ... // 这里我们看到 对于thread量是有统计的
2021-06-08 15:17:19
236
原创 sentinel-源码是何如实现服务治理的
sentinel服务治理, 一般是使用@SentinelResource注解配置,那么可以大胆猜想一下实现应该是AOP接下来看源码来验证猜想一、 pom引入sentinel依赖jar<dependency> <groupId>com.alibaba.cloud</groupId> <artifactId>spring-cloud-starter-alibaba-sentinel</artifactId></dep.
2021-06-02 15:17:54
192
原创 记录一次hive drop table卡死的现象
mysql元数据库 set 字符 = latin1问题解决后发现, 就是分区值出现了不该出现的非正规值首先在TBLS里找到这张表 select TBL_ID from TBLS where TBL_NAME = ${tableName};select * from PARTITIONS where TBL_ID = ${TBL_ID}part_name 带有括号空格这种字符的都删掉 只保留字母拿着part_id 去 PARTITION_KEY_VALS表里改成一样的分区值
2021-05-21 10:50:55
324
1
原创 yarn参数调优-充分利用服务器资源
HDP推荐: https://docs.cloudera.com/HDPDocuments/HDP2/HDP-2.1.1/bk_installing_manually_book/content/rpm-chap1-11.html我的例子: 64H 64G 2DISKSCORES为机器CPU核数DISKS为机器上挂载的磁盘个数Total available RAM为机器总内存MIN_CONTAINER_SIZE是指container最小的容量大小，这需要根据具体情况去设置，可以参考下面的表格
2021-05-12 14:28:36
267
原创 yarn历史记录,yarn添加队列
一. 历史记录配置yarn-site.xml<property> <name>yarn.nodemanager.vmem-check-enabled</name> <value>false</value></property><property> <name>yarn.log-aggregation-enable</name> <value>true</value
2021-05-11 11:01:33
1421
1
转载 sqoop参数详解-转载
原文 http://blog.51yip.com/hadoop/2054.htmlImport和export参数解释Common arguments:–connect ：连接RDBMS的jdbc连接字符串，例如：–connect jdbc:mysql:// MYSQL_SERVER:PORT/DBNAME。–connection-manager ：–hadoop-home ：–username ：连接RDBMS所使用的用户名。–password ：连接RDBMS所使用的密码，明文。
2021-04-28 16:30:49
261
原创 nacos-注册源码剖析
一. 根据pom依赖 找到注册主类找到自动装配类使用nacos注册, 我们都会在pom里添加nacos-discovery依赖<!-- 服务注册与发现 --><dependency> <groupId>com.alibaba.cloud</groupId> <artifactId>spring-cloud-starter-alibaba-nacos-discovery</artifactId></de
2021-04-20 22:03:49
149
原创 pom之微服务依赖包版本管理-dependencyManagement
parent管理cloud版本common管理第三方依赖包order无需再引入先建一个springboot项目 然后删除掉src目录 这个时候只留下了.idea, .iml 和pom.xml编辑pom文件<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XML.
2021-03-31 19:16:31
1250
原创 cloud-alibaba-nacos集群搭建,集成prometheus和grafana
三台机器为例:172.31.124.224172.31.124.225172.31.124.226版本: nginx-1.6.2.tar.gz + nacos-server-1.4.1.tar.gz + prometheus-2.26.0-rc.0.linux-amd64 + grafana-5.2.4-1.x86_64.rpm一. nginx搭建nginx搭建, 亲测有效https://www.runoob.com/linux/nginx-install-setup.htmlPS: ng.
2021-03-30 14:55:34
552
原创 一篇就够了(不包含查询)-elasticsearch架构,建模,倒排
一. Elasticsearch架构原理在Elasticsearch内, 主要分为两类节点, 一类是Master, 一类是DataNode.(搭建过HDFS的同学 是不是很熟悉)Master节点在Elasticsearch启动时，会选举出来一个Master节点。当某个节点启动后，然后使用Zen Discovery机制找到集群中的其他节点，并建立连接。discovery.seed_hosts: [“192.168.21.130”, “192.168.21.131”, “192.168.21.132”
2021-03-15 17:44:47
790
1
原创 (5)dubbo-服务引入
public synchronized void init() { ... // 加载配置参数 优先级排序set map checkAndUpdateSubConfigs(); // check是否为mock ConfigValidationUtils.checkMock(interfaceClass, this); ... // 创建代理 *核心* ref = createProxy(map); serviceMetadata.setTarget(ref); serviceMeta
2021-03-03 15:39:53
129
1
原创 (4)dubbo-服务导出
服务导出的入口方法为ServiceBean.export()，此方法会调用ServiceConfig.export()方法，进行真正的服务导出。服务概念的演化：DemoService接口表示一个服务，此时的服务表示服务定义DemoServiceImpl表示DemoService服务的具体实现，此时的服务表示服务的具体实现DemoService+group+version表示一个服务，此时的服务增加了分组和版本概念http://192.168.1.112:80/com.luban.DemoServ
2021-02-25 17:13:05
271
原创 api权限控制-annotation+postProcessor
github地址: https://github.com/liuweidong-open/permission-starter/tree/master设计思路:增删改查对应1248 账号权限为 [权限资, 权限值累加, …]每次请求时, 放在request header里, key为permission (base64)创建starter项目 引入即可以创建此后置处理器bean生命周期时, 有@Permission的则aop (value & create == create 那么则有c
2021-02-16 11:33:47
476
原创 (3)dubbo-SPI 约定大于配置
一. Java SPI二. Dubbo SPI默认@Extension key=valueget(“true”)wrapper
2021-02-03 17:56:49
237
2
原创 (1)dubbo-RPC springBoot整合dubbo
刚工作时, 接触过迭代开发, 用的分布式框架就是dubbo+zk当时只是会用 并没有什么源码阅读和思考这个框架带来的好处趁着这次读dubbo源码 好好思考一下这个框架带来的好处dubbo2.7.6 + zk3.5.8接口独立存在与jar包provider 负责接口的实现逻辑, 也就是与数据交互的一层consumer 负责service, 也就是业务系统的需求实现与dao层的互相调用RPC（Remote Procedure Call Protocol）——远程过程调用协议，它是一种通过.
2021-01-29 14:34:12
207
2
原创 索引原理-索引数据结构
推荐一个学习树结构的网站 --> 树结构学习网站本文目录:二叉树红黑树Hash表B树B+树巨簇索引非巨簇索引联合索引一. 二叉树插入顺序: 4 2 1 10 6 7首先, 左侧叶子节点 < 主节点 < 右侧叶子节点我们乱序插入一些数据, 我们会发现0010这个节点被“孤立”了, 随着数据量的增加树的H(高度)会随之增加, 当我们加到了N的数据量后, 我们再查询这个N. 那么这个树搜索会从根直至到N这个位置, 对于自增的表列而言, 并没有明显提供查询性.
2021-01-25 22:18:20
2278
5
原创 IO模型-bio 多路复用epoll
主要研究 NIO与EPOLL探讨深度 Java代码 -> HotSpot源码 -> linux函数一. BIO1 public static void main(String[] args) throws IOException {2 ServerSocket serverSocket = new ServerSocket(9000);3 4 while (true) {5 Socket socket = serverSocket.accept(); 6 by.
2021-01-17 00:23:20
209
1
原创 nifi集群
版本声明(重要!!!)nifi-1.11.4apache-zookeeper-3.5.8-bin三个配置文件一. vim conf/zookeeper.properties(内嵌, 非内嵌启动可以不配置)clientPort=2181initLimit=10autopurge.purgeInterval=24syncLimit=5tickTime=2000dataDir=./state/zookeeperautopurge.snapRetainCount=30server.1=.
2021-01-14 10:25:43
415
原创 sqoop1
sqoop1.4.7 tar地址: https://mirror.bit.edu.cn/apache/sqoop/1.4.7/sqoop-1.4.7.bin__hadoop-2.6.0.tar.gztar -zxvf sqoop-1.4.7.bin__hadoop-2.6.0mv sqoop-env-template.sh sqoop-env.shvim conf/sqoop-env.sh添加:export HADOOP_COMMON_HOME=/home/bigdata/modu..
2021-01-12 17:21:50
106
原创 sqoop2-mysql导入到hdfs
sqoop2下载地址 https://mirrors.bfsu.edu.cn/apache/sqoop/1.99.7/sqoop-1.99.7-bin-hadoop200.tar.gzmysql驱动jar包链接:https://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.41.zip
2021-01-08 22:52:48
352
1
原创 CMS与G1-接上一篇
垃圾回收-浅谈JVM垃圾算法首先要知道 Stop the world的含义：不管选择哪种GC算法，stop-the-world都是不可避免的。Stop-the-world意味着从应用中停下来并进入到GC执行过程中去。一旦Stop-the-world发生，除了GC所需的线程外，其他线程都将停止工作，中断了的线程直到GC任务结束才继续它们的任务。GC调优通常就是为了改善stop-the-world的时间CMSCMS收集器是一种以获取最短回收停顿时间为目标的收集器，CMS收集器是基于“”标记–清除”(M
2020-12-28 18:40:38
149
1
原创 新篇章-hadoop基础生态圈集群搭建(纯命令版 无图)
三台机器模拟:tar.gz准备jdk1.8.0_144 + scala-2.11.12 + zookeeper-3.4.10 + hadoop-2.7.2 + spark-2.4.0-bin-hadoop2.7 + apache-hive-1.2.1 + apache-tez-0.9.1 + hbase-2.1.10 + apache-phoenix-5.0.0-HBase-2.0-bin1. jdk1.8及以上2. scala 2.11.123. 免密配置cd ~/.ssh/ssh-key
2020-12-25 15:42:23
344
原创 mapper层-浅谈mybatis-starter
org.mybatis.spring.boot:mybatis-spring-boot-starterversion 2.1.4主要技术点 1: SpringBoot starter 2: jdbc原生态使用 3: AOP一. Mybatis自动装配mybatis的spring.factories# Auto Configureorg.springframework.boot.autoconfigure.EnableAutoConfiguration=\org.mybatis.spri.
2020-12-17 18:01:16
758
1
原创 自动装配-浅谈SpringBoot
注解我们启动SpringBoot项目，通过main方法启动，一个是@SpringBootApplication注解作用，一个是run方法具体执行流程。1.1 @SpringBootApplication
2020-12-09 17:35:14
179
原创 controller层-浅谈SpringMVC
我们都知道-Tomcat, 是一个web发布容器, 将本地ip暴露出来, 且监听指定端口, 那么一个http请求打进来以后,是怎样进到服务里并且处理的呢?1 ContextLoaderListener类继承了ContextLoader 实现了 ServletContextListener重点这个监听接口 ServletContextListenerpublic interface ServletContextListener extends EventListener { // 当Servl.
2020-12-03 18:49:59
486
原创 垃圾回收-浅谈JVM垃圾算法
1. 垃圾判断1.1 引用计数法每个堆中的对象都有一个引用计数,当一个对象被创建时候,某一个变量引用指向了这个对象的实例.那么这个对象记数就是1. 当其他变量引用也指向了该对象那么就+1. 如果其他变量改变或者超出存活, 那么这个记数就-1. (有一个很明显的缺点, 当对象出现循环引用时, 那么这个对象引用记数永远不会变为0)1.2 可达分析法这个垃圾判断, 会从根集(GC ROOT)出发. 然后寻找调用节点. 找到节点之后, 继续往下找, 依此类推. 那么整条调用链一定是不能被回收的, 相反的,
2020-11-19 18:31:52
219
1
原创 今天不爽-浅谈Spring Transaction
1. 数据库的四个隔离级别脏读 读取了未提交的数据不可重复读 发生在修改 同样的条件 读取的值是不一样的幻读 发生在新增删除 同样的条件 读取出来的数量是不一样的1.1. read_uncommit 读未提交 可能发生脏读 不可重复读 幻读1.2 read_commit 读提交 避免脏读 但还是会发生不可重复读 幻读1.3 repeatable_read 对同一字段多次去读是一致的 但还是会发生幻读 （默认的隔离级别）default1.4 serializable 最高的隔离级别2. 事务四
2020-11-13 16:42:01
277
原创 循环依赖-浅谈Spring Circle Reference
Spring是如何解决循环依赖的：createBeanInstance --> addSingletonFactory–>getSingletonSpring三级缓存singletonObjects:单例池 存放经过了完整的生命周期的beanearlySingletonObjects:提前暴露出来的bean缓存 存放完成实例化 或者 完成aop的代理对象的beansingletonFactories:缓存的是一个ObjectFactory，value存放的是一个函数，走wrap.
2020-11-12 18:18:58
542
原创 动态代理-浅谈SpringAOP
1. jdk动态代理// 接口public interface OrderService { String say();}// 实现类 结果为: "order service impl"public class OrderServiceImpl implements OrderService { @Override public String say() { return "order service impl"; }}// JDK动态代理
2020-11-11 17:18:59
464
4
原创 基础知识-浅谈JVM(看字节码文件理解++i与i++区别, 用Memory看String str = “11” 是如何产生两个OOP的)
1. 一个类是如何使用的.1.1 java文件javac编译后 会编译成字节码指令集的文件，javap -c Test.class可以看到相关指令。1.2 类加载时 会解析成InstanceKlass 元数据会放到方法区内1.3 JDK8之后 取消掉了老年代 元空间提代了老年代1.4 方法区相当于接口 老年代 元空间是实现...
2020-11-05 00:28:23
392
1
原创 @Resource,@Autowired,@Value源码分析-浅谈Spring属性填充
在spring属性填充这里,会经常有面试官问你,常用注入方式有哪些,这些注解注入是by_type还是by_name还是什么?其实这句话就不够严谨!如下:使用@Bean 会有一个autowire属性 默认NO属性填充时,@Autowire之前 会执行以下代码,mbd.getResolvedAutowireMode()方法 查询该RootBeanDefinition中autowire的属性,autowireByName和autowireByType两个方法都是注入点注入数据,但是很重要一点, 执行a.
2020-10-23 00:27:14
326
2
原创 框架扩展必修课-浅谈Spring
前言: Spring版本为5IDEA创建一个springboot项目,因为现在主要的bean声明,我们都使用了annotation,所以我们使用AnnotationConfigApplicationContext为例.Spring scope1.1 signle1.2 pro1.3 request1.4 session1. AnnotationConfigApplicationContext关系图AnnotationConfigApplicationContext 继承了Applic
2020-10-21 20:05:28
308
1
原创 为什么线程会不安全-浅谈JMM
内存模型（Java Memory Model，简称 JMM ）是定义了线程和主内存之间的抽象关系，即 JMM 定义了 JVM 在计算机内存(RAM)中的工作方式，如果我们要想深入了解Java并发编程，就要先理解好Java内存模型。线程不安全多出现在多CPU架构的服务上，先上一张图JVM在运行的时候，会开辟一片内存作为运行时内存使用，java中变量属性和RAM主内存不是直接关系。但是在使用时候会建立1.举个例子Class App { App app = new App(); new Thr
2020-10-19 19:03:41
381
3
原创 业务推动实践-浅谈ThreadPoolExecutor
临睡觉的时候,最近在学习spring,学的比较长,想着抽个空隙,边学边记,顺便把最近碰到的问题解决思路也记下来. 事实证明-睡觉前不能乱想.既然睡不着,就记录一下把.最近碰到了一个业务需求,定时从外网ES推送一批千万级企业数据到内网ES.1.既然是一种大数据量的处理,那必然离不开线程池了. new ThreadPoolExecutor(int corePoolSize,// 核心线程数量 int maximumPoolSize,// 最
2020-10-19 03:06:12
207
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人