- 博客(217)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 转行公务员--省考面试87+真实答题思路分享【考公经验】
1.我的总观点是“餐馆升级有必要，但升级的同时不能丢掉老字号原有的味道与人们对于老字号的记忆”，我没有放在第一句话说，因为感觉说完这句话再说我的第一点就不太丝滑，所以放在后面说。涉及到总观点的内容，考场上我提高音量去说，比如“我认为餐馆升级非常有必要”“重要的是把握好一下几点”的部分我说的很大声，告诉考官我要开始输出我的总观点了。二是提升服务，重味道而轻服务，是大部分老字号餐馆的通病，消费者对于某个餐馆的认同，不仅仅来源于环境和味道，更重要的是服务，因此，店面升级，服务更要升级。
2024-05-30 07:55:47
191
原创 转行公务员--省考面试87+，我是如何做到的
背词，别背大段的句子。在笔试备考期间会有意识的积累面试素材，看到社会热点也会在脑袋中转化为考题思考，除此之外又参加了几次单独招考的事业编面试，有辅导员、有老师、也有管理岗位事业编，考的内容五花八门（试讲、英语口语、结构化等等），但因为坚定了成为公务员的目标，考上的都放弃了，只是为了积累面试经验。不必每一题都写，就写些典型的题，尤其是组织计划题，写逐字稿非常有用。面试最重要的是将题回答清楚，只要能有逻辑，清晰的表达自己的观点，金句可以不说，说了也没什么用，千万别为了说金句而生拉硬套，影响自己的答题。
2024-05-27 16:00:54
528
原创 Springboot整合SpringAdmin、actuator实现可视化监控
需要对应Springboot版本，此处是2.5.3。先启动服务端再启动客户端即可。
2024-05-24 11:12:08
270
原创 Java使用POI库对将excel转化为图片和图片合并
excel转为图片这个操作是要根据excel一行一行画出来的package com.gxuwz.zjh.util;import java.awt.BasicStroke;import java.awt.Color;import java.awt.Font;import java.awt.FontMetrics;import java.awt.Graphics2D;import java.awt.RenderingHints;import java.awt.image.BufferedIm
2024-04-28 20:41:12
827
2
原创 搭建ftp服务器并注册账号
将Internet Information Service下的FTP服务器和WEB管理工具全都勾选，点击确定。如果需要新增一个特定账户的话， 那么就新建一个用户，然后将其在iis中配置为该ftp的账户即可。接下来开始设置ftp服务器，输入站点名称并选择站点根目录（随便选择一个本地目录即可）。双击出现下拉栏，在“网站”标上右键点击。点击Internet信息服务（iis）管理器，并打开管理器窗口。然后如果随意访问就选所有人，需要指定账号访问的话就选择指定用户。然后点击控制面板中的管理工具。
2024-04-24 14:37:49
341
原创 win7远程连接winserver2008上传文件
快捷键：Win+R，输入命令：mstsc，即可打开远程桌面连接工具。工作中总要上机房虚拟机看jvm和jar包，不方便，可以远程连接。需要在被连接的设备我的电脑-属性-远程设置-允许远程连接到本电脑。输入被连接的设备的ip，输入用户名，密码，即可连接。也可以直接搜索：远程连接。
2024-04-23 17:19:43
172
1
原创 虚拟机非正常关闭导致无法打开问题
可能会看到多个.lck后缀的文件夹，只需要删除.vmx.lck后缀的，其余的不用动，或者害怕误删除可以在.lck后随便加上后缀，比如.vmx.lck.no。这种情况进入这个弹窗下方给出的虚拟机配置位置，进入目录，找到后缀为.lck的文件夹，点进去可以看到一个后缀为.lck的文件。在机房服务器搭建了一个winServer2008服务器的虚拟机。今天虚拟机卡死于是关闭电源准备重启，结果VMware显示。然后点开vm页面，点自己的虚拟机，可以正常打开了。“该虚拟机似乎正在使用中，请按T获取所有权…
2023-10-25 18:44:33
1427
原创 IBM X3650 M4服务器配置 并上线JavaWeb项目
服务器配套有原装引导盘，如果没有的话去官网下载一个ServerGuide刻成盘或者下一个阵列驱动在装的时候插入。于是准备了iso镜像刻成光盘，插入以DVD启动，在装的过程中可以加载驱动，选择阵列驱动。插上系统盘启动，进入发现是检测不到磁盘的，那么用ios镜像装系统就没有办法解决了。在命令行进入jar包所在磁盘，运行命令，如果是虚拟机记得配好ip关闭防火墙开放接口。选择win2k8r2，加载驱动，发现可以检索到硬盘了，安装系统。一个放系统，这里我是winserver2008r2。
2023-10-25 16:39:06
284
原创 唯物辩证法-马克思主义辩证法
唯物辩证法辩证唯物法无处不在，联系和发展是辩证法的总特征，矛盾是辩证法的实质与核心联系：万物皆有联系发展：质量互变规律，螺旋式上升唯物辩证法三大规律发展具有两个特点：前进性和曲折性矛盾：唯物辩证法的实质与核心矛盾具有两个特性：同一性、斗争性。同一性和斗争性统一在一个事物中。矛盾还具有普遍性和特殊性矛盾还分为主要矛盾和次要矛盾矛盾的主要方面和次要方面辩证否定：二分法-把事物一分为二辩证看待革命批判精神创新意识辩证唯物法无处不在，联系和发展是辩证法的总特征，矛盾是辩证法的实质与核心联系：这个世界上的一切事物
2022-04-16 12:05:58
1591
8
原创 Java转义字符
在创建字符串的时候 有的时候需要在字符串中有一些类似"、’、\这样的字符，但是这样的字符在字符串中如果不使用转义字符是没有办法正产生成字符串的例如：如果我要用字符串写一个简单的json的话，不使用转义字符可能会出现这种情况：或者有时候会出现\s这种反斜杠自动认为跟着一个字母表示特殊转义的情况这样就需要转义字符了下面是转义字符的完整列表 方便以后自己看的方便\t - tab. \t标签。\b - backspace (a step backward in the text or
2022-03-17 22:24:50
1030
原创 ZooKeeper原理
一、ZooKeeper集群中服务器之间是怎样通信的？Leader服务器会和每一个Follower/Observer服务器建立TCP连接，同时为每个F/O都创建一个叫做LearnerHandler的实体。LearnerHandler主要负责Leader和F/O之间的网络通讯，包括数据同步，请求转发和Proposal提议的投票等。Leader服务器保存了所有的F/O的LearnerHandler二、ZooKeeper概念理解ZooKeeper作为一个分布式的服务框架，主要用来解决分布式集群中应用系统
2021-11-09 16:43:32
1743
3
原创 ZooKeeper监听
一、一个客户端修改了某个节点的数据，其他客户端能够马上获得到这个最新数据吗ZooKeeper不能确保人和客户端都能获得(即：Read Request)到一样的数据，除非客户端自己要求。客户端要求获取到一样的数据的方法是在获取数据之前调用org.apache.zookeeper.AsyncCallback.VoidCallback, java.lang.Object) sync在对获取的数据是否是最新版本不敏感或者一个客户端修改了数据其他的客户端不需要立即能够获取到最新数据的情况下，可以不关心这点在其
2021-11-09 15:25:24
2252
原创 HDFS小文件优化方法
一、 HDFS小文件弊端HDFS上每个文件都要在namenode上建立一个索引，这个索引大小约为150byte，这样的话当小文件比较多的时候就会产生很多的索引文件，一方面会大量占用namenode的内存空间，另一方面就是索引文件过大使得索引速度变慢二、HDFS小文件优化的几种方法Hadoop本身提供了一些文件压缩的方案从系统层面改变现有HDFS存在的问题，其实主要还是小文件的合并，然后建立比较快速的索引一、小文件解决方案Hadoop Archive：是一个高效地将小文件放入HDFS块中
2021-11-08 15:29:53
1683
1
原创 MapReduce跑得慢的原因以及优化方法
MapReduce跑得慢的原因MapReduce程序的效率瓶颈在于两个方面：一、 计算机性能CPU、内存、磁盘健康、网络二、 I/O操作数据倾斜map和reduce数量设置不合理reduce等待时间过久小文件过多大量不可拆分的超大文件spill次数过多merge次数过多我们优化的重点是I/O操作MapReduce优化方法一、数据输入合并小文件：在执行mr任务前将小文件进行合并，因为大量的小文件会产生大量的map任务，增大map任务装载次数，而任务的装载比较耗时，从而导
2021-11-04 14:33:19
3377
原创 Mysql底层 where中强转字符串为数字进行比较报错问题（Data truncation: Truncated incorrect DOUBLE value）
在进行hive->mysql数据搬运的时候遇到了问题一共搬运了三个任务/****************************hive:****************************/--100Gselect s1,path,clusterns,{today-1,yyyyMMdd} as ymd from(select v1.sum1-v2.sum1 as s1,v1.path as path,v1.clusterns as clusterns from (SELECT su
2021-10-29 16:07:54
1086
原创 Hibernate使用
用Hibernate连接SQLServer导包： <!-- Hibernate --> <dependency> <groupId>org.hibernate</groupId> <artifactId>hibernate-core</artifactId> <version>${hibernate.version}&l
2021-10-15 11:02:07
185
原创 HDFS跨集群的数据迁移
迁移之前需要先考虑的事：迁移总数据量新老集群之间的最大带宽，在减少业务影响条件下最多可以使用多少带宽在迁移过程中如何限制使用带宽在迁移过程中，哪些文件可能发生删除、新增数据的情况。迁移过程中，那些目录可能会发生新增文件的情况迁移后的数据一致性校验迁移后HDFS文件权限与老集群保持一致迁移方案：1.迁移数据量评估通过hdfs dfs -du -h /命令查看各目录总数据量。按照业务划分，统计各业务数据的总量2.指定迁移节奏因为数据量大，而且带宽有限，所以在HDFS文件变化之前全部迁
2021-09-16 15:46:49
4543
1
原创 HDFS源码--Client与DataNode之间的接口：ClientDatanodeProtocol
ClientDatanodeProtocol定义了Client与Datanode之间的接口。接口如下：long getReplicaVisibleLength(ExtendedBlock b) throws IOException;void refreshNamenodes() throws IOException;void deleteBlockPool(String bpid, boolean force) throws IOException;BlockLocalPathInfo ge
2021-09-14 16:56:21
353
原创 ETL--Hive与Presto
ETLhive分区表(presto不支持)分区表创建分区表插入hive与hdfs地址映射(presto不支持)首先在建表时映射在对表进行操作时还要进行映射hive、presto的union all、group byhive、presto的group byhive分区表(presto不支持)分区表创建CREATE EXTERNAL TABLE IF NOT EXISTS <你的表名>( res bigint COMMENT '注释',/*字段*/ hadoop_owner s
2021-09-09 11:48:07
882
原创 SpringBoot获取访问自己页面的ip、城市信息、请求来源设备、是否为内网ip
获取访问自己界面的ipprivate static final String LOCAL_IP = "127.0.0.1";public static String getIpAddr(HttpServletRequest request) { if (request == null) { return "unknown"; } String ip = request.getHeader("x-forwarded-for");
2021-09-07 17:15:35
2760
3
原创 解决SpirngBoot使用@Scheduled开启多个定时任务偶发任务不执行问题
在项目中需要配置定时任务采集hdfs-jmx数据进行读写数据库操作，还需要配置一些定时任务做告警操作，使用了@Scheduled注解。在配置了7个按照运行结束时间每5s一次的定时任务时，发现了一个问题，就是有的定时任务没有按时执行，但是却又不是每一次都不执行，也不是每一次都是同一个线程不执行，很奇怪，去看了一下是怎么回事项目中配置的部分定时任务代码如下： @Scheduled(fixedDelay = 5000) public void updateTotalDifference() t
2021-09-06 11:33:38
1358
原创 HDFS源码--ClientProtocol接口与FileSystem API 、 dfsadmin命令参数、快照操作、缓存操作的对应关系
FileSystem API与ClientProtocol接口的对应关系Hadoop FileSystem操作ClientProtocol对应的接口描述FileSystem.rename2()rename2()更改文件/目录名称FileSystem.concatconcat()将两个已有文件拼接成一个FileSystem.delete()delete()从文件系统中删除指定文件或目录FileSystem.mkdirs()mkdirs()以指定名称和权
2021-08-30 11:35:54
796
2
原创 hdfs相关问题及解决方案归档
目录问题1：reduce预处理阶段shuffle时获取已完成的map的输出失败次数超过上限问题2：Too many fetch-failures问题3：处理MR速度特别的慢问题4：能够启动datanode，但无法访问，也无法结束问题5：节点断联问题6：JVM内存不够问题7：Hadoop添加节点的方法问题8：给单个node新加硬盘问题9：IO写操作出现问题问题10：HDFS退服节点的方法问题11：IO异常问题12：status of 255 error问题13：sort by value问题14：restar
2021-08-26 17:40:23
2784
原创 @Transactional开启事务以及@Transactional属性配置
@Transactional事务有如下可添加参数：参数名参数值参数作用noRollbackForClass<? extends Throwable>[]一组异常类，遇到时不回滚。默认为{}isolation枚举org.springframework.transaction.annotation.Isolation的值事务隔离级别noRollbackForClassNameStirng[]一组异常类名，遇到时不回滚，默认为{}propagati
2021-08-25 14:18:58
4764
原创 解决锁等待超时问题（Lock wait timeout exceeded； try restarting transaction）
项目中用了@Scheduled(fixedDelay = 10000)注解每10s循环更细数据库，每次更新差不多两万条数据吧。多个方法分别操作数一个表中不同clusterName字段标识的行，开启事务@Transactional(rollbackFor = Exception.class)后，开启线程池@Async("asyncPostFix")做异步更新数据表操作。今天看了日志发现出现了这个锁等待超时的错误。开启线程池：@Configurationpublic class AsyncConfig {
2021-08-25 13:48:33
10323
原创 Hadoop配置归档
Hadoop常用端口配置1.HDFS端口参数描述默认配置文件例子值fs.default.namenamenode RPC交互端口8020core-site.xmlhdfs://master:8020/dfs.http.addressNameNode web管理端口50070hdfs-site.xml0.0.0.0:50070dfs.datanode.addressdatanode 控制端口50010hdfs-site.xml0.0.0.0:5
2021-08-24 17:15:09
296
原创 解决NameNode写Journalnode超时，导致NameNode挂掉问题(Timed out waiting 20000ms for a quorm of nodes to respond)
日志问题如上可以发现，NameNode在写Journalnode发生了超时，默认超时时间为20s，在超时发生后，Namenode会触发ExitUtil类的terminate方法，导致进程的System.exit()。触发写入超时的原因可能是因为执行了较大文件的HDFS操作，导致Namenode的FULL GC时间较长，所以导致写Journalnode超时。如果发生这种情况，就需要把默认的20s改成更大的值这里可以改为60000ms<property> <name.
2021-08-23 20:16:53
1568
原创 HDFS的DN退役以及如何加快DN退役速度
首先看一下选择复制源节点的源码： /** * Parse the data-nodes the block belongs to and choose one, * which will be the replication source. * * We prefer nodes that are in DECOMMISSION_INPROGRESS state to other nodes * since the former do not have write traf
2021-08-20 18:04:50
679
原创 HDFS命令
hdfs常用命令：第一部分：hdfs文件系统命令第一类：文件路径增删改查系列：hdfs dfs -mkdir dir 创建文件夹hdfs dfs -rmr dir 删除文件夹dirhdfs dfs -ls 查看目录文件信息hdfs dfs -lsr 递归查看文件目录信息hdfs dfs -stat path 返回指定路径的信息第二类：空间大小查看系列命令：hdfs dfs -du -h dir 按照适合阅读的形式人性化显示文件大小hdfs dfs -dus uri 递归显示目标
2021-08-20 15:14:18
1168
1
原创 Windows系统安装hadoop并启动
首先最基本的要安装JDK并配置好了环境变量然后去hadoop官网下载对应版本的压缩包解压到本地在本地hadoop目录下找到：core-site.xml<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> <
2021-07-29 20:56:12
2178
原创 后端接口以Json格式传参
主要用到两个注解：@PostMapping(value={"/xxx"},produces = MediaType.APPLICATION_JSON_VALUE)produces=MediaType.APPLICATION_JSON_VALUE：表示将生产json格式的数据，此时根据请求头中的Accept进行匹配，如请求头“Accept:application/json”时即可匹配value={"/xxx"}：表示接口的地址@ResponseBody然后是接口方法体：public Strin
2021-07-23 16:44:40
8054
1
原创 HDFS-LAZY_PERSIST内存存储
DataNode进行内存式存储当我们为文件设置了LAZY_PERSIST存储方式后，DataNode也要进行内存式的存储首先要看LAZY_PERSIST的相关结构因为LAZY_PERSIST策略当数据存储进内存的同时，有另一批数据需要做异步持久化到磁盘的操作，所以一定会涉及到多个服务对象的合作，这些服务的指挥者就是FsDatasetImpl。它是管理一个DataNode所有磁盘读写的管家在FsDatasetImpl中与内存存储相关的对象有如上图三个RamDiskAsyncLazy
2021-06-24 17:07:41
334
原创 HDFS文件存储策略
LAZY_PERSIST内存存储策略LAZY_PERSIST存储策略使用了异步持久化策略在内存存储新数据的同时，持久化距离当前时刻最远（存储时间最早）的数据。也就是说在头部的刚插入的数据写入内存，而在尾部的数据也就是更久远之前存入的数据写入磁盘做持久化操作，然后在内存中删除掉这个尾部数据方便新的数据在头部插入内存的异步持久化存储就是内存和其他介质存储的不同之处，数据的持久化不是实时的，而是延时处理。这也是LAZY_PERSIST存储策略的由来——“懒惰的存储策略“”异步存储的大
2021-06-24 11:17:30
755
1
原创 HDFS中的FileSystem初始化过程
hadoop的HDFS的原理和上传和下载部分源码这是对FileSystem的初始化操作：使用单例模式创建FileSystem：声明NameNode代理对象rpc获取Namenode代理对象 ，看一下这个namenode的类型：是ClientProtocol类型的：搜一下这个ClientProtocol，发现他是一个接口:看这边注释：在版本69之前，这个类ClientProtocol同时作为NN的客户端接口和用于与NN通信的RPC协议。查了资料：这和远程过程调用（RPC）中的My
2021-06-21 17:40:35
776
原创 NN、DN、2NN、JN
NN–NameNodeNN负责对HDFS上的元数据进行整理在NN上存放了两份重要信息：1.文件由哪些块组成、2.每个块存在哪个位置除此之外还有一些非关键信息：文件名、上传者、上传时间元数据在磁盘中存储在fsimage中NN的持久化NN负责整个HDFS的负载，当客户端对数据进行写操作时候会产生元数据，导致元数据不断增加，存在丢失风险，所以需要对NN中的元数据进行持久化存在着两种持久化的方法：将所有的写操作记录下来，形成日志文件将当前内存内存的数据形成一个快照日志文件持久化方法存
2021-06-16 09:39:37
1527
Lenovo 2655dn 打印机驱动
2024-04-07
ibm服务器引导盘镜像
2024-04-07
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人