- 博客(79)
- 问答 (2)
- 收藏
- 关注
RSS订阅原创 SQL查询连续两个时间段，以Hadoop为例
要实现连续两个时间段的数据查询，网上有很多，我也转载了别人写得比较好的文章。但是最简便的方法是用最原始的方法，将相同数据查询两遍，关联后将两个时间段的数据放在一行。这是我在实际工作中用到的sql，有点长，作用是判断连续两个刻钟的数据，如果两个刻钟都是差小区，则认为它是差小区。
2024-01-10 18:22:09
441
转载 在CSDN上转载别人的文章（详解）
进入自己的CSDN账号–>点击创作–>点击切换旧版本编辑器–>使用MD编辑器–>在左边文本框里粘贴刚翻译过来的Markdown内容，右边文本框就会出现对应的原文的内容–>最后检查一遍内容确认无误后点击发布–>发布需要选中转载并贴上转载原文链接。然后复制Markdwon的内容到CSDN转发，注意的是，新版的CSDN没有没有Markdown编辑发布，需要切换到旧版本，使用Markdown编辑文档并发布。右键点击【审查元素】或者按住F12键，就会原文当前页面的HTML代码，推荐使用Microsoft。
2024-01-10 17:44:02
210
原创 hadoop自动获取时间
将减去对应的秒数，作用是在当前时刻减去15分钟。利用这个逻辑可以减去其他时间，如一个小时，可以减去60*60。：是将字符串的时间20240107100000转换成时间类型。但是不能将CURRENT_TIMESTAMP设置为1列以上。将上述 date_sub() 替换成date_add()。这两个函数的作用是一致的，获取到的结果是时间戳。另外可以在建表的时候，直接指定时间。要想只获取日期，不获取时间戳，用。将时间戳中的‘-’去掉。最后取到日期的前2天。
2024-01-09 12:18:24
1123
转载 SQL查询2021年每个月，连续2天都有登陆的用户名单（偏移函数、子查询、连续问题万能模板）
上一个登陆顺序”为Null时，用0代替（使用coalesce函数），那么“每个月登陆顺序”减去“上一个登陆顺序”就是本次连续登陆天数。2）当“日期”与“用户当月下一个登陆日期”相差大于一天，即用户本次登陆为连续登陆的最后一天（也有可能仅登陆一天）；而这道题描述的“用户连续登陆”中的“连续”可以理解为用户当前的登陆日期与本月下一次登陆日期相差一天。3）当“用户当月下一个登陆日期”等于“当月最后登陆日期”，即用户本次登陆为本月最后一天登陆。2）“用户当月下一个登陆日期”等于“当月最后登陆日期”；
2024-01-09 11:20:00
127
原创 Linux latin1字符集转成UTF-8
latin1字符集，我用命令iconv转换后依旧乱码，但是本地用Notepad++转成utf-8再入库数据，却是正常的。百度了一下，这两者的关系，发现ISO-8859就是Latin1的别名。使用编码转换命令，将latin1改成UTF-8。再次入库转换后的文件，发现乱码的问题已经解决了。但是本地用Notpad++转成后是正常的。再用file 命令查看文件编码。入库时发现数据依旧是乱码。结果是ISO-8859。然后使用命令再次转换。
2023-11-20 21:16:49
643
原创 PG数据库实现merge into方法
3、select出来的字段名称必须和目标表中的字段名称一致。2、关联字段必须在表中字段顺序的第一个位置。1、conflict 里的字段必须是主键。
2023-11-15 18:49:08
945
原创 Linux下导出dump文件(Oracle和PG数据)
dump文件可以快速的导入导出，所以在数据量较大的情况下用其他方法导出数据都不如dump。不管是什么数据库，第一步都需要登录Oracle用户。登录之后可以选择导出文件到当前目录。
2023-10-24 20:40:58
1238
1
原创 ERROR tool.ImportTool: Import failed: org.apache.hadoop.mapred.FileAlreadyExistsException: Output d
同步到Hadoop时报错 ERROR tool.ImportTool: Import failed: org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory hdfs://nameservice1/user/hive/warehouse/wxwy.db/manyidu_month_tmp already exists。原因：因之前已经存在数据文件，所以这个目录存在。解决办法：删除此目录即可。删除之后再同步即可成功。
2023-08-07 17:31:22
539
原创 SQL Developer如何导入时间格式的字段？
SQL developer有一个非常好用的功能，就是导入本地的数据文件。但是导入文件时，如果含时间字段，常常无法导入成功，如何解决？
2023-05-25 16:19:32
1164
原创 光纤卡未加载，无法发现多路径磁盘时，Linux自动挂盘的步骤
6、在/etc/rc.d 编写脚本disks_auto_mount.sh。2、建立目录:/data0…8、增加rc.local开机自启动任务。我这里有10块空闲盘，依次举例。9、启动rc.local任务。5、制作挂载磁盘的脚本。
2023-03-17 15:27:18
229
转载 This account is currently not available
在linux中使用su切换到nginx账号的时候出现了This account is currently not available的错误提示。只要修改这个模式就可以了。这里可以看出，nginx是。
2023-03-15 15:20:08
608
原创 安装pam-devel
1、在线安装yum -y install pam-devel2、离线安装链接：https://pan.baidu.com/s/1UvCQsidmp3pR2AkVANZasA 提取码：2pzr
2023-01-04 11:13:51
3213
原创 服务器用户密码输入次数过多账户解锁
修改unseccessful_login_count=120（数值不唯一）命令 dw ,删除光标所在位置往后的一个单词，并保持在命令模式。改为unseccessful_login_count=0。2、Linux服务器解锁用户。
2022-12-19 17:36:13
1321
原创 Linux离线安装JDK1.8
下载JDK1.8安装包链接：https://pan.baidu.com/s/1S3WAfEdV24ZEJ2OPnE1qEw提取码：keqy
2022-11-06 13:15:09
965
原创 重启Oracle数据库shutdown immediate一直无响应
shutdown immediate 持久无法关闭，一开始百度的结果是杀掉进程，释放lock资源。这个命令可以很快关闭数据库，关闭后重启。但后来发现这个命令有时没作用。执行这个命令时先提交事务，
2022-11-03 12:50:22
3665
转载 shutdown immediate 持久无法关闭数据库之解决方案
这是由于进程lock资源导致 的问题，因此需要先释放资源，完成数据库的关闭。
2022-11-03 00:19:13
1510
转载 SQL字符串相似度处理
SELECT * FROM (SELECT a.name,upper(b.what)AS what,SYS.UTL_MATCH.edit_distance_similarity(a.name,upper(b.what)) AS similarity FROM dba_source a,dba_jobs bWHERE SYS.UTL_MATCH.edit_distance_similarity(a.name,upper(b.what))>80AND upper(a.text) LIKE '%SALE
2022-09-20 18:57:13
2844
转载 在oracle中通过sql实现一元线性回归方程
首先来看看看一元线性回归方程式，了解求a,b的公式，求误差的平方的和就是求上图中所有蓝色点到对应直线的距离的平方和。假设一组数据是价格和供给量的关系。一元线性回归是通过拟合一条直线 来研究两个变量之间的关系，从而实现预测。1、将数据导入到oracle中并。
2022-09-14 17:06:55
1169
原创 Linux卷组管理
卸载三块盘sdb1 sdc1 sdd1第二步 ： 创建卷组第三步 : 创建虚拟卷 查看可用磁盘空间，计算方式：可用的PE数量是715374，而每个PE大小是4.00MiB，所以其实这个卷组实际的可用空间为715374*4/1024 约等于2794GB 创建虚拟卷第五步 ： 挂载虚拟卷第六步：修改配置文件 查看名称 修改配置最后一行添加二、卷组扩容第一步 卸载待扩容卷组 卸载待扩容卷组第三步 扩展vg容量第四步 扩展逻辑卷 #扩展lv_data到2800G第六
2022-09-06 10:03:12
1323
原创 SQL 命令: force view 失败: Warning: 执行完毕, 但带有警告
1、视图的字段与select 语句查出来的字段不匹配。3、对其他用户下的该表没有访问权限。4、直接用原语句重新创建视图试试。2、创建视图时没带分号。
2022-08-31 10:34:02
684
原创 计算机相关专业几个基础面试问题（包含web、java、SQL、Linux）
表单提交方式比较：get的特点是信息暴露、长度不能超过255字节，但是速度快。post的特点信息隐藏、长度不限，但是速度较慢。form表单包含单行文本输入框(text)单选按钮(radio)复选框(checkbox)重置按钮(reset)多行文本框(textarea)密码框(password)下拉列表(select)提交按钮(submit)注意：hidden属性可以设置控件是否隐藏。答：用弱引用数据类型，var定义声明。如：var a；答：使用Ajax的最大优点，就是能在不更新整个
2022-07-07 18:29:24
844
原创 linux shell 脚本生成文件的MD5值并重命名文件名
集团要求定时推送数据文件到对方服务器，对文件名称有要求：文件名称要包含文件本身的MD5值。编写脚本文件最终结果：甘肃_O域数据集_4G_MR数据子集_20220511_4ff1f224685b429458e453390663a40c.csv
2022-06-08 10:36:50
808
原创 Oracle建表最正确的姿势
案例1：create table CM.F_5_C_N_RIPORT_NRM( DN VARCHAR2(512) not null, SubNetwork_UK VARCHAR2(128), ManagedElement_uk VARCHAR2(256), InventoryUnitRack_UK VARCHAR2(256), InventoryUnitShelf_UK VARCHAR2(256), InventoryUni
2022-04-27 12:17:45
915
原创 client_loop: send disconnect: Broken pipe
今天一台服务器登录不上了，通过其他机器跳转的时候报错client_loop: send disconnect: Broken pipe百度了很多做法，基本上都是*修改/etc/ssh/ssh_config文件，在Host 条目下添加 IPQoS=throughput，然后重启SSH但修改后并未解决问题最后发现是登录的这个用户下的进程太多，导致无法登录的换成登录其他用户，就解决问题了...
2022-04-26 14:45:12
7016
原创 SQL 错误: ORA-01428: 参数 ‘0‘ 超出范围 01428. 00000 - “argument ‘%s‘ is out of range“
1、背景Oracle merge into 入库数据时报错SQL 错误: ORA-01428: 参数 '0' 超出范围有一点确定的是，SQL没任务错误。2、原因一直在查堆栈，数学函数。最后发现数值有问题，数值符合数学函数定义域，但不符合Oracle函数select log(10,power(10,-21420/10)) from dual原本指数函数的定义域属于全体实数,指数函数的值域为(0， +∞)。但 power(10,-21420/10) =0 （！！！！）而log函数的定义域
2022-04-18 18:47:52
3811
原创 oracle列转行，拆分一个字段为多列
select regexp_substr(cgi,'[^/]+',1,level,'i') as CGI,'4G' as ne_mode,t1.PROPERTY_NUM,city,county,PROPERTY_NAMEfrom nwom.T_SITE_IMPORT_SENCE_HOOM t1 where cgi is not nullconnect by t1.PROPERTY_NUM = prior t1.PROPERTY_NUMand prior dbms_random.value is
2022-04-18 14:57:29
2253
原创 Oracle更换数据库，复制用户
1、背景原本有两个数据库，ip1:10.238.83.39,ip2:10.238.83.166由于安全问题，需要关闭ip1服务器，将ip1上的用户数据拷贝到ip1。2、处理步骤2.1 创建用户打开sql developer客户端，【其他用户】右击【创建用户】填写用户名及密码，默认表空间及临时表空间注意表空间需要与需要复制的表空间一致，密码中不能含有@符号选择赋予的角色，connet/dba/resource点击【应用】就将用户创建好了2.2 赋权限grant all privilege
2022-04-07 15:41:51
2100
原创 ERROR OGG-01232 Receive TCP params error: TCP/IP error 104 (Connection reset by peer), endpoint:
解决办法1：因源端与目的端的端口不一致导致，源端的报错信息是 ERROR OGG-01232 Receive TCP params error: TCP/IP error 104 (Connection reset by peer), endpoint: 10.238.83.44:7847.编辑进程，查看配置的端口edit params 42P3 42P3是进程号发现进程里配置的信息是rmthost 10.238.83.44 mgrport 7839,compress与报错的端口不一致，修改
2022-03-17 18:13:19
5134
原创 明明表没锁，却报SQL 错误: ORA-04021: 等待锁定对象 时发生超时
1、背景insert into cm.f_l_c_eutrancelltdd_history select * from cm.f_l_c_eutrancelltdd_history@gsyd where start_time>=trunc(sysdate);同步数据时报错表被锁2、核查过程2.1 首先查询表是否被锁：-- 查看所有被锁的表select b.owner TABLEOWNER, b.object_name TABLENAME, c.OSUSER LOCKBY,c.USE
2022-03-16 19:13:16
6634
2
原创 ORA-01652: 无法通过 128 (在表空间 LTE_PM_TEMP 中) 扩展 temp 段
1、报错信息ORA-01652: 无法通过 128 (在表空间 LTE_PM_TEMP 中) 扩展 temp 段01652. 00000 - “unable to extend temp segment by %s in tablespace %s”*Cause: Failed to allocate an extent of the required number of blocks fora temporary segment in the tablespace indicated.*
2022-03-15 18:26:32
7231
原创 实际开发中常用的SQL
1、获取星期select to_char(sysdate,'day') dayth from dual2、Oracle行转列listagg(string1,'|') within group (order by string) start_time；3、字符串替换replace('he love you','he','i') 替换结果i love you4、字符串截取substr('13088888888',3,8)从第3位开始，截取8位，截取子字符串088888885、时间与字符串转换
2022-03-14 17:47:24
1233
原创 实际开发中常用的命令
1、打包并压缩（将CMCC目录打包成byx.zip）： zip -q -r byx.zip CMCC/2、下载：sz byx.zip3、打包并下载：sz byx.tar.gz4、删除：rm -rf byx.zip5、上传压缩包：rz -be6、解压：unzip file.zip tarxvfz file.tar.gz gzip -dr file.xml.gz7、覆盖文件：rz -y8、抓包：tcpdump -i any -s 0 -v -A port 8081 -w /tmp/1
2022-03-11 18:05:45
1286
原创 SSH与FTP跳转到其他服务器的几种方式
1、SSH跳转到其他服务器ssh ip -l 用户名 -p 端口ssh 用户名@ip -p 端口ssh ipssh ip 端口2、FTP 登录到其他服务器ftp ipsftp -oPort=端口 用户名@IPlftp sftp://用户名:密码@IP:端口lftp -u 用户名,密码@ sftp://IPlftp -u 用户名,密码@ ftp://IP...
2022-03-11 17:19:18
9156
2
原创 sql Developer 导出数据及表结构
先查询字符集 select userenv('language') from dual;修改成想要的字符集vi /home/oracle/.bash_profile最后一列加上export NLS_LANG=AMERICAN_AMERICA.ZHS16GBK使立即生效source /home/oracle/.bash_profile
2022-03-04 16:09:22
1167
原创 sqoop export hive数据同步到oracle的用法
1、export 的参数2、数据同步案例 sqoop export \ --connect jdbc:oracle:thin:@ip:1521/服务名--username 用户名 --password 密码\ --table F_L_C_EUTRANCELLTDD_H \ --columns \ START_TIME,END_TIME,TIME_STAMP,DN,EUTRANCELLTDD_UK,EUTRANCELLTDD_NAME,ENBFUNCTION_UK,ENBF
2022-02-25 10:43:36
2420
空空如也
lftp mirror无法下载个别文件？
2021-08-19
想重试技术但没有信心怎么办？
2021-07-27
TA创建的收藏夹 TA关注的收藏夹
TA关注的人