fanyongyao的博客

cglib 解决方案。

log4j 集成 springboot 动态调整日志级别

linux磁盘挂载

flink Too many fields referenced from an atomic type这个问题 来源于 你的pojo，基本类没有 无参构造器代码这个问题 来源于 你的pojo，基本类没有 无参构造器代码POJO 类public class WC{ public String name; public Integer age; public WC(){} public WC(String name,Integer age){

linux压缩和解压缩命令tar解包：tar zxvf filename.tar打包：tar czvf filename.tar dirnamegz命令解压1：gunzip filename.gz解压2：gzip -d filename.gz压缩：gzip filename.tar.gz 和 .tgz解压：tar zxvf filename.tar.gz压缩：tar zcvf...

当多个服务需要抢夺资源时，避免对资源的超额使用等情况，应使用分布式锁常用的分布式锁 Mysql Redis Zookeeper分布式锁的原理，多个服务抢占资源，只有一个能抢到，其它的需要等待Mysql实现分布式锁mysql实现分布式锁的原理：mysql可以用表的主键当做竞争条件，或则用唯一索引列当做竞争条件，多个服务谁先写入该条数据谁则获取了处理权利。处理完后将锁释放，也就是将该条数据...

Paxos 和 ZAB 和zookeeper的选举机制Paxos：是分布式一致性的一种思想，主要是少数服从多数的思想。Paxos算法流程中的每条消息描述如下：1.Prepare: Proposer生成全局唯一且递增的Proposal ID (可使用时间戳加Server ID)，向所有Acceptors发送Prepare请求，这里无需携带提案内容，只携带Proposal ID即可。2.Pr...

1、客户端请求建立连接。2、client发送增删改请求。3、写入editlog日志，刷入内存，对应datanode的写流程。4、SecondNamenode定时向namenode发送询问是否需要checkpoint（默认一分钟）。5、namenode检查是否需要checkpoint，条件：1H未checkpoint，操作发生了100w次。返回给SecondNamenode需要checkpo...

1、client请求namenode，请求相应文件。2、那么node检查权限，检查时候有该文件，通过机架感知和负载情况，返回比较合适的三个datanode给client，如果文件有多个块，一个块一组datanode。3、client开启一个流，首先请求第一个块，首先请求第一个节点，如果第一个节点不可访问，则请求第二个节点。4、datanode返回相应数据，client将相应块写入文件。5、...

1、客户端对应上传的文件进行切分，首先按照文件进行切分，如果文件大的话会按照，大小进行切分。大小默认为128M也就是块大小。一块块的进行长传。2、namenode相应。3、首先与namenode加你连接，通过rpc，请求上传块。4、namenode收到请求，检查权限，检查文件是否存在，写入Editlog日志，同步内存，通过机架感知，返回相应的可以存储的节点和块号。5、client接到相应，...

1、map方法写完数据，调用分区函数，确定自己所在分区。然后写入环形缓冲区，环形缓冲区分两半，一般记录key和value的值，另一半记录分区数，key和value在缓冲区的地址，缓冲区默认100M。2、环形缓冲区达到80%的时候进行溢写，溢写时分区存储，并进行了排序（快速排序）。然后写入磁盘。3、排完顺序后，可以用combiner进行一次map端的数据的合并，视情况而使用。4、每次缓冲区溢写...

hdfs的优缺点优点：1、高可靠。有大量备份，内部的机架感知机制。2、可以搭建在廉价机器上。组成集群。3、可扩展。可以增加大量的datanode节点。4、能处理大量数据。缺点：1、实时性差。2、不可随机修改，可以追加。3、小文件过多会造成寻址缓慢，对应读取块信息时间会延长。mr的优缺点优点1、高可靠，任务失败会自动找其他机器再次执行。2、可扩展，3、可搭建在廉价机器中。...

关于mysql主从的搭建不在多说，大家都知道主从复制时，丛机通relay_log的方式同步主机的数据。但是既然是两台机器，必然会出现网络，线程。。等原因，造成从机不能及时的同步主机信息。这种问题是不可避免的。部分公司应用主从的时候，往往将主机用来读，从机用来读，这样就很大可能出现读不到最新数据。解决方案，将已经写入主机的数据，放一份缓存放入redis，去从机读之前先去redis读就好...

Hbase：主要用来存储数据，支持增删改，底层是hdfs。hive：主要是运算，调用MR。hbase特点：支持高并发，列存储，稀疏，海量存储，易扩容。hbase名词解析：hmaster：hregionServer：region：store：Memstore：列族：安装：命令行：原理：API：优化：...

zookeeper：注册中心，用来管理服务，服务注册到zookeeper，进行负载均衡，进行统一管理。zookeeper集群，所有节点配置信息一致。目录结构：树型结构，类似于linux安装：启动：操作：集群配置：leader选取：zookeeper实现分布式锁：监听器的原理：集群同步数据的原理：...

hdfsday2配置详解（端口号都是多少）（所有配置都是第一默认配置的覆盖）日志查看namenode的格式化（删除data和logs）配置历史服务器 （mapreduse的运行历史）日志聚集功能配置（将日志信息长传到hdfs方便查看）yarn.sitehdfs数据存储目录 data下的（blockid如何生成，poolid如何生成，大文件多个快存储副顺序）day03crontab...

伪分布式：具有分布式的配置，但是其节点只有一个。准备：linux服务器一台。（也可是虚拟机）jdk的tar包一个（本服务采用1.8）。可以在官网下载。hadoop的tar包一个（本服务采用2.7.3）。可以在官网下载。配置主机名vim /etc/sysconfig/networkhadoop101修改/etc/hosts文件ip hadoop101在/opt 下创建module...

Util.checkBlockOpStatus(DataTransferProtoUtil.java:140)at org.apache.hadoop.hdfs.DFSOutputStreamDataStreamer.createBlockOutputStream(DFSOutputStream.java:1363)atorg.apache.hadoop.hdfs.DFSOutputStream...

查看相应RPM安装包rpm -qu|grep java卸载相应安装包rpm -e --nodeps + 文件名

shell 是什么shell其实是一个命令解释器，它的作用是解释用户输入的命令和程序，命令和程序可以理解成我们图中的应用程序，我们linux系统中的那些命令其实也都是一个个的小程序，只不过完成的是系统的应用功能。我们在系统的终端中输入一条命令，可以立马看到一条或者几条系统回复我们的信息，其实就是shell在帮我们回复，所以shell可以称之为命令解释器。其实在linux提供的命令行窗口执行命令...