- 博客(120)
- 资源 (2)
- 收藏
- 关注
RSS订阅
原创 Vim常用命令
一. 块操作：多行删除字符Ctrl+v 进入列选择模式 移到光标把注释符选中 按下小写的d多行替换字符Ctrl+v进入模式 选中字符 按小写的r，输入替换后的字符多行插入字符^→ 到行头 <C-v>→ 开始块操作 向下移动 I→ [ESC]→ I是插入，插入“--”，按ESC键来为每一行生效。注意：I是大写二.分屏创建分屏:split → 创建水平分屏 (:vsplit创建垂直分屏)切换屏幕<C-w&......
2022-01-18 16:06:31
3156
1
原创 创建LVM逻辑卷并挂载
1.概述LVM 是 Logical Volume Manager 的缩写，中文一般翻译为 "逻辑卷管理"，它是 Linux 下对磁盘分区进行管理的一种机制。LVM 是建立在磁盘分区和文件系统之间的一个逻辑层，系统管理员可以利用 LVM在不重新对磁盘分区的情况下动态的调整分区的大小。如果系统新增了一块硬盘，通过 LVM 就可以将新增的硬盘空间直接扩展到原来的磁盘分区上。LVM 的优点如下：文件系统可以跨多个磁盘，因此大小不再受物理磁盘的限制。 可以在系统运行状态下动态地扩展文件系统大小。..
2021-11-18 12:36:49
3054
原创 Hive命令及SQL源码编译流程
1. 命令# 表 # 创建 CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name [ (col_name data_type [COMMENT col_comment], ...) ] [COMMENT table_comment] [PARTITIONED BY(col_name data_type [COMMENT col_comment],...) ] [CLUSTERED BY (col_name,col_name,...
2021-06-29 16:28:17
1705
原创 窗口函数的使用
1.陈述 今天接触到一个sql题目，也是对ROW_NUMBER() OVER PARTITION BY 的使用，下面实战一下！题目：统计各个班级中学生各个科目总成绩排名第一的情况2.建表与插入数据 建表CREATE TABLE tmp_20191101( --创建一个学生表 CLASS INTEGER, --学生id SNAM......
2019-11-01 15:24:55
2589
1
转载 七年阿里老人谈新人程序员的成长
一、先做事再做人 新同学常有这些困惑，到底是做技术还是做业务？是每天加班加点写代码还是空点时间来看书学习？是先追求广度还是先钻研一门技术？是两耳不闻窗外事一心埋头做事还是和同事打成一片参加各种活动？这些问题也曾困扰着我。 我觉得新人到一个团队最关键的是在前3年建立个人品牌，为什么？当别人对你完全不了解，你做的第一件事非常重要。你给别人留下的印象会蔓延到整个公 ...
2019-09-08 16:10:37
587
原创 scan.startup.mode 枚举值
如果specific-offsets被指定，另一个配置选项scan.startup.specific-offsets需要为每个分区指定特定的启动偏移，例如一个选项值partition:0,offset:42;如果timestamp指定，scan.startup.timestamp-millis则需要另一个配置选项来指定自 1970 年 1 月 1 日 00:00:00.000 GMT 以来的以毫秒为单位的特定启动时间戳。`specific-offsets`：从用户提供的每个分区的特定偏移量开始。
2023-08-12 10:02:57
1144
转载 ERROR 1396 (HY000): Operation ALTER USER failed for ‘root‘@‘localhost‘
mysql
2022-07-26 00:28:08
900
原创 正则学习与练习
学习文档：learn-regex/README-cn.md at master · ziishaned/learn-regex · GitHub练习：https://hiregex.com/?tdsourcetag=s_pctim_aiomsg
2022-05-07 09:56:33
278
原创 对网络的初步认识
最近又是看了一遍户根勤写的《网络是怎样连接的》,把自己一些关于网络的知识点,重新串了起来,这里做个笔记,梳理一下,感兴趣的小伙伴可以尝试读下原著1.概览图先上张图, 上面的图可以理解为一个网络包的旅程,或者可以粗略想象成浏览器输入 URL 回车之后发生了什么？2. 流程待补充....
2022-02-27 17:26:13
1185
原创 MapReduce经典程序--WordCount
最近在把以前经典的程序拿出来看看，梳理一下背后的原理，在这里记录一下MR的经典程序 WC。import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.IntWritable;import org.apache.h
2022-02-22 22:51:09
2140
原创 VMware 虚拟机三种网络模式详解
1.概述最近在搭建一些大数据用到的环境，这里记录一下，形成一个草稿，后面再加以补充。2.VM中的三个虚拟设备VMnet0：用于虚拟桥接网络下的虚拟交换机(桥接)VMnet1：用于虚拟 Host-only 网络下的虚拟交换机VMnet8：用于虚拟 NAT 网络下的虚拟交换机同时，安装了 VMware 虚拟机后，会在本地主机网络连接对话框中多出两个虚拟网卡，如下：VMware Network AdepterVMnet1：Host 用于与 Host-on...
2021-11-15 17:36:36
5404
原创 HDFS元数据管理
1.2.源码流程图大致可以分为以下步骤： 双缓冲机制+分段加锁 —> 磁盘写 变 内存写 new path传入目录路径(FileTest.java —> DistributedFileSystem.java —> DFSClient.java) 走的Hadoop的RPC，调用服务端的代码 NameNodeRpcServer.java —> FSNamesystem.java 调用FSNameSystem创建目录
2021-10-16 20:41:39
1626
原创 MySQL数据库的 NULL 和 空值和字符串NULL
1.空间占用测试mysql> select length(NULL), length(''), length('NULL');+--------------+------------+-------------+| length(NULL) | length('') | length('1') |+--------------+------------+-------------+| NULL | 0 | 4 |+-------.
2021-10-07 23:37:34
2244
原创 Excel常用技巧
1. 快速复制表格 方法:直接拖动表格，可以移动到另一个位置，如果按ctrl不松拖动表格，可以快速复制出一 个表格。2. 快速插入空列 方法：按住Ctrl键，用鼠标依次选中B、C、D列，--> 右键单击--> 在弹出的对话框中选择“插入”3.两列快速互换方法：左手按shift键不松，右手按鼠标左键不松拖动列边线，可以快速让两列换位。...
2021-08-03 15:51:19
1688
原创 【已解决】Hive报错(com.google.common.base.Preconditions.checkArgument)
1.问题描述在进行Hive数据库初始化的时候，报如下的错:[root@cm bin]# schematool -dbType mysql -initSchemaSLF4J: Class path contains multiple SLF4J bindings.SLF4J: Found binding in [jar:file:/data/hive/lib/log4j-slf4j-impl-2.6.2.jar!/org/slf4j/impl/StaticLoggerBinder.clas.
2021-03-27 19:42:29
3492
原创 常见算法小结
1.数组2.字符串3.数与位4.栈与递归5.链表6.哈希表7.贪心算法8.双指针法9.树10.图与搜索11.二分查找12.二进制预算的应用13.动规14.数据结构15.采样16.计算几何17.常用技巧与算法
2021-03-08 10:00:09
1532
原创 数据分析随笔
一、excel常见函数 区间统计 =COUNTIF(G8:G28,">="&L9)- COUNTIF(G8:G28,">"&M9) 匹配函数(类似vlookup,不过可以匹配左面的，比较灵活) =INDEX(F8:F13,MATCH(I8,G8:G13,0))
2021-02-27 21:07:41
1569
原创 Sqoop同步问题
问题排查与解决1. 之前老数据平台，有个问题，sqoop同步的时候，一直报下面的错2. 查一下shell脚本3. 经过一段时间排查，是因为脚本把空格读进去，导致sql查不出表名，jobs就为空了注意: 慢慢排查，缩小排查范围，问题会找出来的。...
2020-12-15 21:10:14
1614
原创 Qlik之系统改造(九)
1. 叙述 最近在思考qlik系统改造的事情，我在用qlik的时候，能感觉到多人在使用同一账号的时候，会存在数据安全隐患(对于账号不多的公司来说，如果是土豪公司可以按人头买账号，这样就不存在这个问题了)，就是对报表权限的控制级别还不够，就是在多人使用同一账号的情况下，如何能保证数据的安全性呢？2. 思路 可以在qlik外面包一层权限的壳，例如通过单点登录来控制，将粒度控制到单人单表级别，通过报表的app_id 来控制。表的设计两张应该也就够了,权限表和app表。而且...
2020-09-30 19:30:52
1629
原创 Qlik之删减用户账号配置(八)
1. 概述 qlik的收费标准就是 靠账号的个数，账号分为 写账号/读账号，各自帐号的作用就顾名思义了，写帐号权限最大，可以crud，那有账号的权限了，该怎么在后台配置呢？2. 步骤大致分为以下几个步骤，前提是 服务器上的qlik应用已经装好了：1. 在主服务器(我们的qlik服务器是集群)/服务器上将 用户创建好(在控制面板--账户里面创建)2. 在Qmc后台中的streams中的某个部门下添加这个用户的权限3. 最后且最重要的，在License ...
2020-09-29 17:29:04
1768
原创 杂记(持续更新)
1. 在用presto引擎的时候，可以通过可视化界面，来查看各项指标，地址通常是http://127.0.0.1:8080/ui/ 2. excel中数字超过一定的位数，默认会使用科学计数法显示，如何取消？ a. 首先将格式设置为文本格式 b. 然后粘贴的时候，以文本的形式粘贴，即可。3. sql中null问题(有些数据库中值为空，显示的仍然是null，需要注意) eg： 例如我想找出 name不是 “张三” 的所有信息 ...
2020-09-20 14:04:47
1795
原创 关于Presto查询语句问题【已解决】
1. 问题描述 最近看到报表后台有个报错，无法定时运行，一直报fail，当时非常着急，这该如何是好，头发都要掉完了，哈哈，开个玩笑。。。。。2.解决方案 于是就顺藤摸瓜，一点点排错，后来定位到shell文件里面的sql语句，然后将这个语句拿到Presto环境中运行，报如下的错误根据提示，这个我当时怀疑是 format 日期转化出了问题，于是我就写了一个简单的sql，测试了一下select parse_datetiem('test','yyyymmd...
2020-09-01 21:10:22
673
原创 修改Linux登录后默认目录
1. 进入编辑模式 vi /etc/passwd2. 找到记录(我这面在第一行) root:x:0:0:root:/root:/bin/bash3. 修改第三个root root:x:0:0:root:/root:/bin/bash 替换为 root:x:0:0:root:/app:/bin/bash做个备忘。
2020-07-23 22:30:36
1328
转载 Java常见异常总结
1. java.lang.NullPointerException(空指针异常) 调用了未经初始化的对象或者是不存在的对象经常出现在创建图片，调用数组这些操作中，比如图片未经初始化，或者图片创建时的路径错误等等。对数组操作中出现空指针，即把数组的初始化和数组元素的初始化混淆起来了。数组的初始化是对数组分配需要的空间，而初始化后的数组，其中的元素并没有实例化，依然是空的，所以还需要对每个元素都进行初始化（如果要调用的话）。2. java.lang.ClassNotFoundExceptio.
2020-06-16 23:32:57
346
原创 Kettle将XML文件中数据入库【已解决】
1. 概述与操作 最近因为业务的需要，要把一些xml文件中的数据入库，这个时候就要用到ETL工具来操作，我使用的工具就是kettle，下面是大致步骤：1. 确认xml文件数据结构(方便构思解析步骤,以及创建表)2. 使用kettle进行ETL(共四步) 读取文件 过滤记录(成功，则next) 列转行 插入表3. 验证数据准确性温馨提示：之前是用Get data from XM...
2020-06-16 23:22:17
2108
1
原创 Oracle sql百分比问题(开头的0消失的问题)【已解决】
1.问题描述 在用sql求百分比的时候，对于整数位不足1的，通常0会省略，例如0.38，只会显示.38，所以这个就是这个问题！！！那如何解决呢？2.解决方案方法：小数转换成字符类型 （不过格式化的值的位数一定要大于计算的位数，否则显示#########）select to_char(0.56,'fm9999990.9999') ||'%' from dual; //小数点后面可以控制保留N位小数 执行结果:...
2020-06-10 13:26:41
3619
2
原创 关于Sqoop同步数据的问题【已解决】
1.问题描述 最近某个表没有增量的数据，出现了问题， 于是调出日志，定位问题，结果是临时表中增量条件多了个and(大意多填了)， 后来在拼接sql的时候，多一个and，导致增量sql没有执行成功，报了如下异常：java.sql.SQLSyntaxErrorException: ORA-00936: missing expression最致命的是 这里没有邮件通知到，之前考虑到这部分是手动配置，插入临时表的，配完之后，跑一下没问题就行。就没有考虑容错。...
2020-06-03 20:49:22
1055
原创 Cron表达式认识
1. 认识与理解字段 是否必填 允许值 允许特殊字符 备注 秒(Seconds) 是 0–59 * , - 分(Minutes) 是 0–59 小时(Hours) 是 0–23 天(Day of month) 是 1–31 月(Month) 是 1–12 or JAN–DEC ...
2020-05-28 23:34:29
478
原创 关于数据脱敏问题(Hive之UDF)
1.问题描述 数据的重要性是不言而喻的，所以对敏感的数据，进行脱敏也是很有必要的。不过目前我遇到一个问题，就是数据进行加密之后，怎么在BI显示明文呢，因为有些部门需要用到这些相对敏感数据进行营销，所以这个时候要有一个解决方案去应对。仔细想想，也就是加密之后，在通过相应的规则，在还原回去，难易程度这个时候就要看加密的算法是否复杂了。2. 解决方案 这里我简单说...
2020-05-08 16:57:55
1760
原创 关于Linux的文件上传与下载
1.概述 文件的上传和下载是程序猿的日常操作，有时候懒得那些笨重的软件，例如，Xftp，FileZilla等等，这个时候就可以使用一些Linux命令来实现。2.命令的介绍与使用sz：将选定的文件下载到本地机器指定的目录(图1)rz：运行该命令会弹出一个文件选择窗口，可以将本地选择文件上传到Linux服务器(图2) 如下： ...
2020-04-24 20:06:35
343
ext-2.2.rar
2019-10-22
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人