- 博客(51)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 hadoop 相关环境搭建
备注。因为beeline一直报错，最有一怒之下把hive的lib下所有jar都拷贝到hadoop的share\hadoop\common\lib各软件的相关命令最好到各自安装目录或者bin目录下执行，防止初始化目录的时候位置不对。
2023-06-16 15:00:00
2156
原创 datax-web
（此处datax-admin设定的端口需要与datax-executor中配置的admin.addresses端口完全一致，否则会导致执行器无法正确注册，datax-executor的端口可以自行配置，但是不能与datax-executor配置的executor.port重复，否则会发生端口被占用的情况，此处还不是明白为啥一个程序要两个端口）总结：datax-web 相当如给datax提供了界面话的一些功能和监控。可以结合使用，反正datax-web是依赖datax的。
2023-06-16 10:31:09
1422
原创 Hive 库表相关操作
在使用metastore的方式启动hive服务时，如果你是从hive客户端linux文件系统中上传文件，就加上local，如果是从hdfs的文件系统中上传数据文件，就不需要加local，inpath后面的路径参数就是你要上传的文件的路径，这个路径可以是相对路径也可以是绝对路径，但是如果你写相对路径，要特别注意这个相对路径是相对于你当前进入hive时所在的位置，也就是你从哪个路径的位置登创建的hive session，那么相对路径就是从这个位置算起的。注意，一个是拷贝，一个是移动。
2023-06-16 10:28:31
1780
原创 datax总览
当用户配置了这一项之后，DataX系统就会忽略table，column这些配置型，直接使用这个配置项的内容对数据进行筛选，例如需要进行多表join后同步数据，使用select a,b from table_a join table_b on table_a.id = table_b.id <br />`当用户配置querySql时，MysqlReader直接忽略table、column、where条件的配置`，querySql优先级大于table、column、where选项。* 默认值：无 <br />
2023-06-16 10:27:58
303
原创 大数据相关概念了解
Apache Hadoop软件库是一个框架，允许使用简单的编程模型在计算机集群之间对大型数据集进行分布式处理。它旨在从单个服务器扩展到数千台计算机，每台计算机都提供本地计算和存储。库本身不是依靠硬件来提供高可用性，而是旨在检测和处理应用程序层的故障，因此在计算机群集（每台计算机都可能容易出现故障）之上提供高可用性服务。离线数据开发与存储HDFS的英文全称是Hadoop Distributed File System，即Hadoop分布式文件系统，它是Hadoop的核心子项目。
2023-06-16 10:26:39
1178
原创 CLickhouse 物化视图--干货记录(亲验证)
验证后自己的理解ClickHouse 的物化视图原理并不复杂，在基表有新的数据写入时，如果检测到有物化视图跟它关联，会针对这批写入的数据进行物化操作。带来的问题：每次物化都会产生新的记录，即相同的聚合维度，在视图optimize（自动/手动）前会有重复数据，每次写入重复一次。
2023-06-16 10:25:56
2074
原创 CLickhouse 引擎--干货记录(亲验证)
1、MergeTree 系列表引擎是官方主推的存储引擎 （系列）2、MergeTree 引擎会在插入数据 15 分钟左右，将同一个分区的各个分区文件片段合并成一整个分区文件3、MergeTree 引擎表中主键并不用于去重，而是用于索引，加快查询速度4、分区提升查询效率，只有 MergeTree 家族系列的表引擎才支持数据分区5、ReplacingMergeTree：同分区内相同主键的数据进行去重，有延迟，时间不可控。保留最新。
2023-06-16 10:25:09
964
原创 CLickHouse 入门理论学习
本篇不属于安装使用，限于入门理论了解开源列式数据库，主要用于数据分析（OLAP）。那么clickhouse的主要使用场景、特点以及核心概念有哪些？
2023-06-16 10:21:33
1164
原创 windows 10管理多版本nodejs
在实际的开发中,不同的项目使用的nodejs的版本不一致。又不想升级或者降低项目的版本。这时就需要灵活的切换本地开发环境的nodejs版本。这里推荐使用nvm（一个管理nodejs版本的工具），亲测实用。
2022-12-28 11:10:53
1084
3
原创 There is no session with id
只所以出现这个问题是因为在shiro的DefaultWebSessionManager类中，默认Cookie名称是JSESSIONID，这样的话与servlet容器名冲突,如jetty,tomcat等默认JSESSIONID,当跳出shiroservlet时如error-page容器会为JSESSIONID重新分配值导致登录会话丢失!2、，我们只需要自己指定一个与项目运行容器不冲突的sessionID（也有很多方法）关闭浏览器，清理缓存，决绝问题！首先拔下网上说的比较靠谱的原因和解决方案。...
2022-07-28 15:48:19
3991
原创 快速构建后台管理系统-RUOYI学习之-VUE
1、需要安装REDISRedis下载安装与配置(windows)_pingcode的博客-CSDN博客_redis安装配置 windows2、验证码问题参考：RUOYI学习之-前端分不分离加入一下依赖1/1 主pom.xml2.0.235-1 com.jhlabs filters ${jh
2022-07-01 15:10:55
339
原创 快速构建后台管理系统-RUOYI学习之-前端分不分离
具体信息参见官网，这里记录使用过程遇到的问题1、部署后验证码不显示，后端报错，少依赖导致加入一下依赖1/1 主pom.xml2.0.235-1 com.jhlabs filters ${jhlabs.filters}1/2 ruoyi-fr
2022-07-01 15:09:15
356
翻译 快速构建后台管理系统-GUNS学习系列之guns-lite-代码生成工具
我是先接触的guns再接触的guns-lite，所有guns-lite的学习进度较快按部就班的下载项目和搭建，这里不细说。只记录重点和坑大体流程参考 guns-lite代码生成工具 | guns-litehttp://blog.enilu.cn/guns-lite/ecosystem/code-generator.html 1、webflash-generator插件建议本地安装，且idea版本不要太高。我是2021失败2018.2.2成功。官网：这里客忽略 学习guns-lite细看http://blog
2022-06-02 16:52:27
663
翻译 Word文档中有几百个表格，如何统一修改样式
核心就是快速选中所有表格1、进入「开发工具」-「代码」-「Visual Basic」-「插入」-「模块」，将下列代码复制粘贴进去。2、进入「开发工具」-「代码」-「宏」，在“宏名”中，我们可以看到刚刚添加的名称，点击“运行”按钮，就能够选中文档中所有的表格，进入「设计」-「表格样式」，在这里我们可以选择自己喜欢的样式效果。Sub 选中所有表格()Dim tempTable As TableApplication.ScreenUpdating = FalseIf ActiveDoc
2022-05-20 15:03:56
2190
原创 解决浏览器会自动填充密码的问题
忽略一切花里胡哨，直接上代码;<input class="form-control" autocomplete="off" readonly onfocus="this.removeAttribute('readonly');" id="dlmm" name="dlmm" type="password" placeholder="8位以上包含大小写字母和数字" maxlength="25" value="${user.dlmm}"/>核心代码:autocomplete="off
2021-05-27 14:46:28
187
原创 radio 单选可取消
radio可取消操作，需要手动处理。网上的争论无非就是attr和prop的使用亲测都有问题（比如多次选中取消不生效，有时需要点击两次才能选中等等），关键点就是.prop获取checked达不到预期.attr设置checked达不到预期 得等这里结合使用就没问题了html:<label class="col-sm-2 control-label"><span style="color: red;margin-top:3px;"></span>选
2021-05-26 11:12:44
699
原创 向maven私服上传jar包
过程仅供参考，反复尝试，以实际结果为准1. 登陆2. 操作路径如下3. 配置如下配置好之后结果如下，待提交点击Upload即可4. 将以下的配置放入到项目的pom.xml中即可注意：重要配置项，遇到无法重新上传或者删除，需要改下权限再操作...
2021-01-28 14:09:20
297
原创 maven 相关操作备注
1、命令-生成.pom文件特定场景，只有jar包 本地pom.xml 添加依赖会报错，因为本地maven仓库没有.pom文件mvn install:install-file -DgroupId=com.winning -DartifactId=commons-logging -Dversion=1.1 -Dfile=E:\programData\maven\cath\repository\com\winning\commons-logging\1.1\commons-logging-1.1.jar.
2021-01-28 14:00:26
96
原创 js onclick等事件传递对象
js 传递对象需要注意的点：特别是拼接html onclick等方法时1、传递前转json字符串1)JSON.stringify(obj)2)注意json对象内部可能特殊转义字符，这里以最常见和最容易出错的双引号和单引号为例.replace(/\"/g, """).replace(/\'/g, "\\\'")2、方法接收后转JSONJSON.parse(objStr);一段示例代码奉上(拼接onclick,注意各个双引号 单引号处理)，仅供参考ret
2020-12-15 13:49:18
2142
原创 bootstrap table 自适应高度+列错位
这里主要解决bootstrap table 数据过多时固定高度，数据少时以数据量决定高度。这里是带底部的表格，其他情况可能稍有出入：直接上代码：1、表格div<div class="box-body" style="overflow: auto;" id="out_table_gzlmx_ks"> <table class="table-container" id="table_gzlmx_ks"> </table></div&g
2020-11-13 10:34:51
6642
原创 bootstrap table 导出excel 新增标题 tableExport.js改造
此次改造标题直接取fileName，后续可自行定义版本 Version 1.9.9直接上代码：注意行数和新增内容1、var titleName = defaults.fileName; //excel文件第一行标题名称var titleTr = ''; //标题trvar colspanCount =0;2、index,item3、colspanCount += parseInt($(cell).attr('colspan') == null ?1:$(cel.
2020-11-12 11:34:34
703
3
原创 sqlserver 日常
1、删除临时表ifobject_id('tempdb..#ysnx_table')isnotnullBegindroptable#ysnx_tableEnd2、
2020-09-27 10:03:40
67
原创 js计算小数精度的问题
js 进行数学运算会出现精度问题网上有很多方案，总结下比较靠谱的一种：原因分析：js小数计算先转二进制，计算完再转十进制导致可能出现xxxx.999 这种解决方案。先转整数再计算再还原小数这里给出加法和乘法两种方案，其他自行研究下吧//自定义加法运算function addNum (num1, num2) { var num1s, num2s; var sq1=0,sq2=0,m=0; try { num1s= num1.toStri
2020-09-17 10:46:44
941
原创 mysql 分组排序--进阶版
看过之前的博客有个区县救国的方案这里发一个基本近似row_number() over(partition by A order by B )的效果先看效果，懂行的你应该看到玄机了：发出完整sql:select result.* from ( select fa_tmp.famc,fa_tmp.jgbm,fa_tmp.khpl,fa_tmp.czsj,@rownum:=@rownum+1 rownum, if(@khpl=fa_tmp.khpl and @jgbm=fa_tmp.j..
2020-08-31 09:38:30
133
原创 bootstrap table 导出带底部合计 tableExport
bootstrap table有导出功能可直接用，所看即所得：如果是后端分页就只能导出当前页面这里主要是解决表格带footerFormatter的情况1、正常情况直接使用表格id 导出即可上面两个id，下面那个id$('#data_tables').tableExport({type:'excel',escape: 'false',fileName:filename});2、如果要导出带footerFormatter的需要如下：使用表格外层div的id，上面的那个i.
2020-08-28 15:32:57
905
原创 bootstrap datepicker 时间控件 动态设置时间范围
需求：开始时间不能大于结束时间；结束时间不能小于开始时间处理思路：1、开始时间增加点击事件，设置最大时间（endDate）值为结束时间的值2、同理结束时间增加点击事件，设置最小时间(startDate)值为结==开始时间的值效果：代码：<label class="col-lg-1 col-md-2 control-label" style="width: 90px">统计周期:</label><div class="col-lg-2 col-md
2020-08-28 14:37:28
1630
翻译 打开含有pdf文件的文件夹电脑一直闪烁解决方案
PDF 引起的异常 苦苦找了一晚上背景：电脑好好地的 突然出现 打开文件夹 显示 正在处理，然后卡顿 闪退找了网上好多方法都不行，最后发现是PDF文件引起的：有PDF的文件夹全部是这种情况另外如果QQ/浏览器下载打开PDF都会崩溃。。。。中途又是卸载和重装PDF阅读器，都不行，最后看到这个文章，解决了关键词： 正在处理 卡顿 闪退 PDF电脑一打开含有pdf文件的文件夹，电脑里各种图标就都会不停的闪屏，我电脑自从安装了一个pdf查看器后，只要一打开含有pdf文件的文件夹桌面...
2020-08-27 16:58:50
5730
1
原创 Linux下文件被删除后，空间没有被释放
Linux下文件被删除后，空间没有被释放原因在Linux或者Unix系统中，通过rm或者文件管理器删除文件将会从文件系统的目录结构上解除链接(unlink).然而如果文件是被打开的（有一个进程正在使用），那么进程将仍然可以读取该文件，磁盘空间也一直被占用。解决方法首先我们获得一个已经被删除但是仍然被应用程序占用的文件列表：1.$ /usr/sbin/lsof|grep deleted2.ora 25575 data 33u REG...
2020-08-27 16:53:56
302
原创 zabbix自定义监控项目
一、预备知识自定义key能被server和agent认可#正确的key[root@localhost zabbix]# zabbix_get -s 192.168.2.4 -p 10050 -k "system.uname"Linux zabbix-1 3.10.0-327.el7.x86_64 #1 SMP Thu Nov 19 22:10:57 UTC 2015 x86_64#没有登记的，自定义的key、写错的key[root@localhost zabbix]# ...
2020-08-27 16:52:19
180
转载 JAVA生成二维码
http://blog.sina.com.cn/s/blog_5a6efa330102v1lb.html一步一步教你用java生成二维码 一步一步用 java 设计生成二维码在物联网的时代，二维码是个很重要的东西了，现在无论什么东西都要搞个二维码标志，唯恐落伍，就差人没有用二维码识别了。也许有一天生分证或者户口本都会用二维码识别了。今天心血来潮，看见别人都为自己的博客添加了二维码，我也想搞一个测试一下.主要用来实现两点：1. 生成任意文字的...
2020-08-27 16:47:25
1149
原创 oracle客户端工具plsql 安装使用技巧
一/安装PLSQL方法一、装好plsql和oracle安装包：实际目录E:\zip\plsqlDevloper实际目录E:\zip\plsqlOracle 安装目录：E:\Program Files\PLSQL Developer 和E:\plsqloracle\Oracle非登陆进PLSQ...
2020-08-27 16:36:41
1551
原创 mybatis 字符串比较无效
mybaits动态传参可能涉及<if test>标签的判断，有时判断字符串相等不生效，可能就是 单、双引号的问题1、建议外层使用单引号<if test='sfhxzbFlag != null and sfhxzbFlag == "Y"'> AND zb.SFZDZB='1'</if>2、否则遇单字符判断用toString()方法转<if test="sfhxzbFlag != null and sfhxzbFlag == 'Y'.
2020-08-27 16:22:23
447
原创 mysql 分组排序取第一条记录
select row_number() over(partition by A order by B ) as rowIndex from table比如取每个班级成绩第一的学生等等oracle 和 sqlserver支持函数，mysql不行这里给一个粗暴的方法：两个行数GROUP_CONCAT(A ORDER BY B)和substring_index思路：1、GROUP_CONCAT(fA ORDER BY B) 按照条件排序后拼装字段，默认逗号，4“，”分隔2、s.
2020-08-27 16:17:22
1399
原创 bootstrap 自带搜索可指定列
重写 customSearch默认是模糊配匹配所有列，这里指定列 t1重点：datasInit 缓存全量的数据 处理，不然第一次搜索后 全量data就变了
2020-08-14 16:18:08
442
原创 span的那些事
主要记录span的一些用法：style="display:inline-block;width:15px;height:15px;border:1px solid;border-radius:12px;text-align:center;line-height:12px"1、设置span大小：重点：display:inline-block;2、设置边框：border属性（四个边，可独立可统一设置）边框宽度：边框样式：点状、实线条...边框颜色：3、设置圆角：border-rad
2020-08-14 09:48:56
243
翻译 ie ajax get 中文乱码
Ie ajax get 请求参数如果是中文服务端会异常，解决方案方案一：encodeURIComponent（参数）var url ="XXXXXXXXXXXXXXX?param1=" + encodeURIComponent(param1);方案二：encodeURI（url）
2020-08-11 11:28:07
133
原创 IE ajax get 缓存
IE ajax get 请求会有缓存（注意是get post没有）触发条件：同一个方法 同参数后果：第二次触发方法（如页面点击查询）实际没请求后台服务直接放回上一次结果问题：如果两次请求见修改了后台数据，则显示不了最新数据（典型场景：用户管理修改用户再查询）解决方案：每次请求携带一个唯一性参数如时间戳url="XXXXXXXXXX"+"&_"=new Date().get Time()...
2020-08-11 11:24:12
77
原创 ztree自动选中节点并滚动定位
场景需求：ztree展示树状数据结构，后台传入一个节点信息，前端自动选中，如果树长度过长需要滚动到具体节点问题点：因为ztree自带api因为各种原因可能无法实现让节点自动滚到到可视区域内解决方案关键点：1、var currNode = treeObj.getNodeByParam("id", $("#fpdx_").val());//根据ID找到该节点2、实现滚动和选择效果（两种方案）注意：divgzl 为ztree外部固定高度div的ida)定位覆盖原来的select
2020-08-06 13:38:14
2467
vue开发从零到发布集成apk史上完整版.docx
2020-05-13
MAC装win10硬盘不够用之-删除休眠文件
2016-05-09
MAC装win10临时文件删不了
2016-05-09
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人