- 博客(51)
- 收藏
- 关注
RSS订阅原创 配置安装记载
这里写目录标题安装impala安装impalaimpala1.配置kettle的kettle.properties2.下载驱动JDBC43.连接并添加驱动（选择驱动里面的所有的包）
2021-12-03 17:34:07
160
原创 MySQL常用字段简单处理
下月select DATE_ADD(‘2021-12-1’, interval 1 MONTH)2022-01-01上月select DATE_SUB(‘2021-12-1’, interval 1 MONTH)2021-11-01年月SELECT SUBSTRING(‘2021-12-1’,1,7)2021-12年月SELECT LEFT(‘2021-12-1’,7)2021-12近三年DATE_FORMAT(CONCAT(SUBSTRING(PERIOD_MTH,1,4),’-
2021-12-01 13:44:27
615
原创 帆软参数为空查询全部
参数为空查询全部：固定值WHERE 1=1 ${if(len(参数) == 0,"",“and 字段 = '” + 参数 + “’”)}模糊查询WHERE 1=1 ${if(len(参数) == 0,""," and 字段like ‘%" + 参数 + "%’")}下拉复选框WHERE 1=1 ${if(len(参数) == 0,"",“and 字段 in (’” + 参数+ “’)”)}WHERE 1=1 ${if(len(参数) == 0 ,"" , " and 字段 in (’"
2021-11-23 16:47:32
3452
原创 常用时间记录
提取日期格式：DATE_FORMAT(time,’%Y%m%d’) AS END_DATE_2： yyyyMMddSelect CONVERT(varchar(100), GETDATE(), 111): 2006/05/16Select CONVERT(varchar(100), GETDATE(), 23): 2006-05-16Select CONVERT(varchar(100), GETDATE(), 20): 2006-05-16 10:57:47Select CONVERT(var
2021-11-16 14:03:31
648
原创 常用模糊查询
Select * from 表名 where 列名 like ‘%’; //查询出全部Select * from 表名 where 列名 like ‘x’; //完全匹配查询Select * from 表名 where 列名 like ‘%x’; //右为x，前面可以有任意位字符Select * from 表名 where 列名 like ‘x%’; //左为x，后面可以有任意位字符Select * from 表名 where 列名 like ‘%x%’; //中间为x，左右都可以有任意位字符XS
2021-11-15 10:29:19
674
原创 传递给 LEFT 或 SUBSTRING 函数的长度参数无效
LEFT(TNAME,CHARINDEX(’.’,TNAME)-1) 取.前面的值SUBSTRING(TNAME,1,CHARINDEX(’.’,TNAME) - 1)取.前面的值reverse倒置函数，取最后一个/后的值问题：传递给 LEFT 或 SUBSTRING 函数的长度参数无效。 SELECT SUBSTRING(TNAME,1,CHARINDEX('.',TNAME) - 1) AS NAME,count(1) AS NUM FROM ( SELECT reverse
2021-11-13 16:24:07
8085
2
原创 hive字段拼接
hive工作中用到的一些拼接函数concat(string s1, string s2, string s3)这个函数能够把字符串类型的数据连接起来，连接的某个元素可以是列值。如 concat( aa, ‘:’, bb) 就相当于把aa列和bb列用冒号连接起来了，aa:bb。cast用法：cast(value as type)功能：将某个列的值显示的转化为某个类型例子：cast(age as string ) 将int类型的数据转化为了String类型concat_ws(seperator
2021-09-06 11:15:00
7584
原创 like 和=
SELECTT.PERIOD_CODE,COUNT( DISTINCT T.person_code ) AS NUMFROMdm_hr_attendance_detail TWHERE1=1 andT.PERIOD_YEAR = ‘2021’GROUP BYT.PERIOD_CODE运行时间：19.597s将T.PERIOD_YEAR = '2021’改为T.PERIOD_YEAR like ‘%2021%’运行时间：3.109s=采用合并连接，扫描驱动表(如果有排序,按照 排
2021-07-23 17:32:31
164
原创 2021-06-08
https://blog.csdn.net/qq_26442553/article/details/105506364数据仓库建模一般是星型模型，事实表直接关联维表。雪花模型应用场景：1，一个用户维度表且数据量较大。其中，80%的事实度量表是匿名访问者，仅包含少数详细信息。20%的是可靠的注册用户，且这些注册用户有较为详细的信息，与多个维度表中的数据相连。2，例如一个金融产品维度表，且这些金融产品有银行类的，保险类等等区别。因此不同种类的产品有自己一系列的特殊属性，且这些属性并非是所有产品共享的
2021-06-09 16:54:33
78
原创 case when和where
注意:SQL语句中如果null换成0,就有问题了.1! =3 =2SELECT T.PERIOD_CODE, T.LEAVE_FLAG,T.EMPL_STATUS,COUNT(case when T.EMPL_STATUS=‘在职’ THEN 1 ELSE 0 END) AS TOTAL1FROM dm_hr_empl_detail TWHERE PERIOD_CODE=‘2021-05’SELECT T.PERIOD_CODE, T.LEAVE_FLAG,T.EMPL_STATUS
2021-05-21 11:47:33
1212
原创 查看是否已经配置过java和jdk放哪
先执行java -version 指令查看是否已经配置过java了，如果查到java版本则证明已经安装配置过了，那么我们就可以进行下一步操作。在配置过jdk的情况下，执行java -verbose指令，在打印出的文本最后两行可以看到jdk的安装路径，如下图。...
2021-05-10 16:43:59
192
原创 2021-05-10
,E.LEAVE_REASON AS LEAVE_REASON --主要离职原因,CASE WHEN SPLIT(E.LEAVE_REASON,’’)[0] = ‘家庭原因’OR SPLIT(E.LEAVE_REASON,’’)[0] = ‘职业发展’。。。。。。OR SPLIT(E.LEAVE_REASON,’_’)[0] = ‘违法违纪’ THEN ‘被动离职’WHEN ES.label_zh_cn = ‘已离职’ AND E.LEAVE_REASON IS NULL
2021-05-10 16:37:34
79
原创 hive语法
row format delimited fields terminated by ‘,’以’，'结尾的行格式分隔字段row format delimited fields terminated by ‘\036’ stored as parquet;1、insert into 和 insert overwrite语句两者的区别：insert overwrite 会覆盖已经存在的数据，假如原始表使用overwrite 上述的数据，先现将原始表的数据remove，再插入新数据。最后表的数据 只有新插入
2021-05-10 11:17:55
848
原创 获取年月
获取今年上个月日期DATE_FORMAT(DATE_ADD(CONCAT(PERIOD_CODE,’-01’),INTERVAL 1 MONTH), ‘%Y-%m’) AS PERIOD_CODEselect curdate(); #获取当前日期select last_day(curdate()); #获取当月最后一天。select DATE_ADD(curdate(),interval -day(curdate())+
2021-05-06 15:48:39
242
原创 hive
https://blog.csdn.net/student__software/article/details/81584448Hive：由Facebook开源用于解决海量结构化日志的数据统计。Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。本质是：将HQL转化成MapReduce程序？ 怎么进行转换的？主要是通过将用户书写的SQL语句翻译成MapReduce代码，然后发布任务给MR框架执行，完成SQL 到 MapReduce的转换。详见h
2021-04-28 09:17:33
108
原创 Redis单机
Redis 是一个开源的底层使用C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库，并提供多种语言的API。它支持丰富的数据类型，和高速的内存读写。正在逐步取代memcached的地位。Redis 在 Web 集群中用来做状态服务器，主要用于存储缓存登录、模板锁、 SessionID、WebSocket 等，发挥并对所有的访问和操作进行验证的作用。编译环境gcc -v #检查是否有 gcc 编译器如果没有 gcc 环境，则需要自行安装，联网安装命令 yum install
2021-04-26 20:09:10
80
原创 【Linux】一台服务器中两个不同用户之间传输文件的方法
先将地图（或者其他文件）上传到 root 用户中；在 root 中，输入 vim /etc/sudoers ；找到 root ALL=(ALL) ALL，在下方新增 steamcmd ALL=(ALL) ALL ，steamcmd是用户名；按退出键（Esc），输入 :wq! 强制保存，这时候steamcmd用户就有了访问root目录的权限了；之后切换到steamcmd用户，使用 cp 命令就可以将我们刚才上传的地图拷贝到steamcmd用户相应的目录下面了，例如：sudo cp /root/L4D2
2021-04-26 18:30:38
1459
原创 压缩文件
https://blog.csdn.net/weixin_44901564/article/details/99682926ll -h查文件大小tar -zcvf webroot2.zip（压缩后的文件名） webroot(被压缩文件)
2021-04-25 09:16:06
94
原创 linux 将一个服务器上的文件或者文件夹复制到另一台服务器上
https://www.cnblogs.com/aimei/p/12859179.html复制文件或文件夹（目录）命令：一、复制文件：（1）将本地文件拷贝到远程scp 文件名 用户名@计算机IP或者计算机名称:远程路径本地192.168.1.8客户端scp /root/install.* root@192.168.1.12:/usr/local/src（2）从远程将文件拷回本地scp 用户名@计算机IP或者计算机名称:文件名 本地路径本地192.168.1.8客户端取远程服务器12、11
2021-04-25 08:38:57
284
原创 帆软点击事件基础
var $span = $(’.fr-checkbox-checkon’); //获取选中的复选框var darray = [];var $tds = ("td").has(("td").has(("td").has(span); //获得选中复选框的单元格for (var i = 0, len = $tds.length; i < len; i ++) { //遍历选中的单元格var id = (((tds[i]).attr(“id”); //给选中的单元格增加id属性var i
2021-04-23 09:36:21
1855
原创 (error) NOAUTH Authentication required.
https://blog.csdn.net/Chen_XiRan/article/details/105840633(error) NOAUTH Authentication required.关闭redis服务器，需要./redis-cli -a 密码 shutdown常用命令(/bin目录下):./redis-server --启动./redis-cli --连接redisconfig set requirepass pwd --设置密码 (pwd替换成你设置的密码)auth
2021-04-22 10:08:43
135
原创 Could not connect to Redis at 127.0.0.1:6379: Connection refused
输入 ./redis-cliCould not connect to Redis at 127.0.0.1:6379: Connection refusednot connected>解决方法：先开启服务端，再去连接客户端在redis目录下，服务端 ： ./src/redis-server ./redis.conf客户端： ./bin/redis-cli继续报错redis-cli -h x.x.x.x -p X379...
2021-04-21 16:01:51
145
原创 关于Nginx启动成功，浏览器不能访问的解决办法
安装了nginx，开始配置成功，但是浏览器却访问不了。查看nginx服务是否已经启动ps aux|grep nginx然后查看80-端口是否被分配给了nginxnetstat -ntlp对80端口进行防火墙配置：firewall-cmd --zone=public --add-port=80/tcp --permanent重启防火墙服务：systemctl restart firewalld.service成功了https://blog.csdn.net/gu597055423/arti
2021-04-21 10:52:46
1337
原创 集群搭建问题
linux如何查看是否已安装GCC编译器gcc --version是否安装yumhttps://www.cnblogs.com/renshengdezheli/p/13949601.html#检查服务器是否可以联网https://jingyan.baidu.com/article/7f41ececc3aa76593d095cb6.html#需满足可用的磁盘大小(M)，默认值为 40Gdf -hhttps://www.cnblogs.com/zhuiluoyu/p/6598928.html#
2021-04-19 17:26:23
73
原创 webserver
webserver–mysql–stage–ods一言以蔽之：WebService是一种跨编程语言和跨操作系统平台的远程调用技术。在开发项目的过程中，需要调用别的公司提供的数据，这里我们就需要使用到webserver。参考：看WebService到底是什么https://www.cnblogs.com/xdp-gacl/p/4048937.html结构原理https://blog.csdn.net/ostrichmyself/article/details/6393627...
2021-04-16 14:47:46
134
原创 Linux 系统部署集群
https://help.fanruan.com/finereport/doc-view-2643.html%EF%BC%89准备工作部署单机工程 Tomcat 容器配置外接数据库 MySQL SQL Serve搭建集群环境 4.1 文件服务器 4.2 状态服务器 4.3 负载均衡 5. 集群运维手册 6. 配置集群...
2021-04-15 10:21:28
104
原创 找问题源头
图展现年龄雷达图，25岁以下，25-30，31-35，36-40，41-55，56-60，60以上。要求在图里的41-55也按照五岁一分。找原因:根据帆软里取数的表，根据etl中作业转换找到相应处理表，倒推找到具体处理步骤解决方法：业务部门修改，这边改一点相应逻辑增加几个字段（不太符合规范）单独创建一张表为这张图服务（资源浪费）...
2021-04-15 10:08:15
103
原创 ps -ef | grep查出的字段含义
ps -ef | grep java，检查java进程是否存在，java可换成其他ps -ef | grep java字段含义如下：UID PID PPID C STIME TTY TIME CMDroo 1306 1 0 09:23 ? 00:00:17 /root/work/jdk1.8/bin/javaUID：程序被该UID所拥有PID：该程序的ID
2021-04-14 08:54:34
1285
原创 Tomcat问题Cannot find /data/tomcat/bin/setclasspath.sh
问题：linux环境下,启动startup命令报错Cannot find /data/tomcat/bin/setclasspath.shThis file is needed to run this program任一目录下面执行下面命令unset CATALINA_HOME再次启动即可,问题解决./startup.sh
2021-04-14 08:43:34
1046
原创 linux用unzip解压.zip文件失败解决方案
在服务器上下载数据集之后进行解压 unzip XX.zip解压失败，后面用 jar xvf XXX.zip 成功。
2021-04-13 20:25:53
3303
原创 Linux 下 Tomcat 服务器独立部署
在Linux主机上，安装上传下载工具包rz及szyum源安装yum install -y lrzsz // yum 安装完毕之后可以直接rz尝试使用命令行安装或者wget下载lrzsz安装包wget http://www.ohse.de/uwe/releases/lrzsz-0.12.20.tar.gz注：输入wget，如果提示未找到命令，则需要yum install wget进行安装wget命令在Linux命令行下输入rz上传文件，sz 文件名则下载查看下载情况ls或者ll递归创建目
2021-04-13 18:24:42
436
原创 SecureCRT提示 not contain an entry for the hostname
并不是错误提示，选择确认保存，再登陆就ok了https://my.oschina.net/u/4339883/blog/3478665SecureCRT使用SSH2协议登录示例】：在windows下，使用SecureCRT 6.2可方便Telnet到远端服务器，它支持SSH1、SSH2、Telnet/SSL等安全登录访问协议，在第一次使用SSH2协议向服务器建立连接 时，，SecureCRT首先会检查Server的公钥是否在本地数据库存放，如果没有，则不会把你的用户名、口令传输过去，它会将服务器端的公钥
2021-04-13 13:52:39
3015
原创 hive与sqoop
hive：基于Hadoop的关系数据库离线同步到数仓的工具，将结构化数据映射成一张数据库表，实现数据的提取、转换、加载。sqoop导入有两种方式：1）直接导入到hdfs，然后再load到hive表中2）直接导入到hive中一般生产情况导业务库数据，都是指定导入，不能全部导入，对业务库压力大。1）需要已知的参数mysql 的jdbc连接参数：jdbc链接、用户名、密码mysql同步表的信息：列、表名hive链接参数 ：是否有链接限制hive目标表的信息：表名、分隔符、是否分区2）具体参数
2021-04-12 15:45:22
1545
原创 finereport
1）新建数据连接知道存储数据的数据库类型、数据库地址、访问数据库的用户名密码，然后在 FineReport 设计器中新建一个数据连接，建立数据库与设计器的交互桥梁。2）新建模板与数据集：数据连接是用于整个工程的，并没有实质的将数据从数据库中取出来，故还需要在特定模板中新建数据集，通过数据连接从数据库中取数。3）模板设计：模板设计分为报表设计、参数设计、图表设计和填报设计四个部分，报表设计是纯粹的数据展示，参数设计是动态查询数据，图表设计是使用图表来展示数据，填报设计是录入数据，将数据写入数据库中，根据
2021-04-09 09:53:06
117
原创 2021-04-02
sql-按条件统计非重复值，count(distinct case when)使用https://www.mobibrw.com/2018/14817
2021-04-02 11:51:02
39
原创 CASE WHEN
select case 字段 when 1 then ‘有’ else ‘无’ end as 字段 from 表select (case when password is null then ‘1’ else password ) end ) as 字段 from 表select c.MRL,c.OPERATION_ID,c.PRODUCT_ID,sum(if(TYPE=‘ONSHOW’,1,0) as 上架数,sum(if(TYPE=‘WITHDRAW’,1,0) as 下架数,sum(if(
2021-04-01 21:16:15
156
原创 SQL server数据库关系图
数据库关系图-新建数据库关系图-添加想要的表-表视图-自定义修改–得到想要的列名和说明，说明可以自己添加字段意思http://www.coozhi.com/youxishuma/g4/15328.html
2021-03-26 14:12:33
2520
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人