- 博客(29)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 cannot recognize input near ‘,‘ ‘deviceid‘ ‘,‘ in expression specification
解决sql脚本在shell中报错问题
2023-01-11 19:29:08
2896
原创 Hive日常工作常用语句
**Hive日常工作常用语句**1、分区别没有数据写入空分区alter table 表名 add if not exists partition(pt=’${hiveconf:runDt}’);举例：ALTER TABLE dw_zhangxin.dw_newuser_source_detail_d_incr_flag add if not exists partition(pt=‘2022-03-15’);...
2022-03-16 14:08:10
2237
原创 SQL面试中的常见问题
1、Union 和union all的区别Union all对两个并集直接合并，不会去重排序Union 对两个数据集合并后去重排序所以 union all比union更快2、not in 和not exists
2022-01-26 10:03:54
1096
原创 sql中where条件和on条件的区别
where中写条件：结果不会出现null的字段on中写条件：结果中会出现部分值为null的字段以上区别只针对左右链接，内连接的时候两个结果一样sql在join的过程中是先根据on条件生成一张中间表，然后在根据where条件把结果输出给用户，所以where中写条件结果不会出现null的结果。...
2021-03-19 18:37:51
125
原创 Python 单线图、多线图、多图切分——产品日活分析
import osimport pyodbcimport pandas as pdfrom pyhive import hiveimport datetimeimport prettytable as ptfrom prettytable import from_csvos.system('kinit -kt ./zx_user.keytab zx_user@CENTER.DATAPLAT')def hs2(sql): conn = hive.Connection(host='sj
2021-03-17 11:49:11
443
2
原创 cron表达式举例和规则说明
首先举几个例子：0 0 2 1 * ? * 表示在每月的1日的凌晨2点调度任务0 15 10 ? * MON-FRI 表示周一到周五每天上午10：15执行作业0 15 10 ? * 6L 2002-2006 表示2002-2006年的每个月的最后一个星期五上午10:15执行作0 0 10,14,16 * * ? 每天上午10点，下午2点，4点0 0/30 9-17 * * ? 朝九晚五工作时间内每半小时0 0 12 ? * WED 表示每个星期三中午12点0 0 12 * * ? 每天中
2020-10-20 10:51:11
359
原创 不安装插件让notepad++显示文件列表，迅速找到文件
自用notepad++的过程中，碰到文件太多，在顶部找文件要找很久总是觉得只能左右查找很麻烦，要是有个文件列表找就方便多了，今天终于解决了。步骤如下：1.点击设置——>点击首选项2.点击显示 即可显示出所有notepad++文件列表...
2020-10-15 19:17:49
1478
原创 regexp_replace和get_json_object字段解析
今天取数碰到了这样的字段'[{“id”:297095549,“uid”:5071165375369216,“type”:3,“utype”:1},{“id”:297082266,“uid”:4895188999001088,“type”:3,“utype”:1},{“id”:297104256,“uid”:4129205726336000,“type”:2,“utype”:1},{“id”:297089866,“uid”:4205959328206848,“type”:2,“utype”:1},{“id”
2020-09-30 17:57:53
799
2
原创 Failed to recognize predicate ‘to‘. Failed rule: ‘identifier‘ in table or column identifier
最近跑hive遇到了这样的报错FAILED: ParseException line 4:7 Failed to recognize predicate ‘to’. Failed rule: ‘identifier’ in table or column identifier查了一下 终于解决了 在前面需要set一个小东东set hive.support.sql11.reserved.keywords = false ;...
2020-09-23 18:18:57
1630
1
原创 hive 上传excel和txt文件并导入临时表
以下均以csv文件格式为例进行操作：**1.**在原始路径下 在命令行中输入 rz跳出如下界面 找到需要上传的文件 点击添加后 再点确定2. 进入hive的操作路径然后新建对应的临时表```sqlcreate table if not exists zx_user.temp_ly_sentitive_phone(phone STRING)row format delimitedfields terminated by ','stored as textfile;**3.
2020-09-17 12:10:05
1335
原创 SecureCRT快捷键大全
最近在使用SecureCRT访问Linux终端，于是找打了这些快捷键跟大家分享，希望能达到提高工作效率的目的。Ctrl + A – 光标移至行首Ctrl + B – 光标前移1个字符 Ctrl + D – 删除光标后1个字符Ctrl + E – 光标移至行末Ctrl + F – 光标后移1个字符Ctrl + H – 删除光标前的1个字符Ctrl + J – 回车Ctrl + k – 删除当前光标至行末的字符Ctrl + P – 显示前一条命令Ctrl + M – 回车Ctrl +
2020-09-10 10:04:30
987
原创 SeccureCRT无法删除字符问题
这里写自定义目录标题#最近新下载了SecureCRT跟hive交互，发现经常打错字符却无法通过Backspace删除很头疼，该怎么解决呢？点击选项——> 会话选项——> 仿真在终端那里选择Linux——> 确认接下来就可以通过 键盘的Backspace直接删除打错的字符啦！...
2020-08-28 11:04:16
674
原创 5步完成用命令行执行hive SQL并导出结果数据
6步完成用命令行执行hive SQL并导出结果数据1.写好SQL查询语句2.在查询语句前后加上 hive -e"SQL查询语句;"3.对查询结果 重命名成txt文件4.hive -e"SQL查询语句;“>temp_ly_0824.txt5.查看查询结果vi temp_ly_0824.txt6.复制查询结果到Excel中，然后分列，就可以得到查询的结果数据...
2020-08-24 11:45:53
1406
2
原创 Excel自动化拆分工作表
Sub 拆分工作表()Dim str As StringDim dicDim rng, cell As Range Set dic = CreateObject("Scripting.Dictionary") str = ActiveWorkbook.Path Application.ScreenUpdating = False Application.DisplayAlerts = False On Error Resume NextLine
2020-06-11 17:29:06
439
原创 Anaconda打开jupyter 闪退怎么办
1、在C盘admin或者Administrator下找到 .jupyter 文件夹2、找到 jupyter_notebook_config.py 文件并打开3、找到c.NotebookApp.notebook_dir 把路径设置成自己电脑存在的路径，并并把前面的#删除后保存，再重新大家就行了 ...
2020-06-10 14:49:25
1535
原创 让Excel起飞之常用快捷键
Excel常用快捷键调整行号：ALT+H+O+H调整列宽：ALT+H+O+W快速排序：ALT+A+S+A/DA：升序D：降序快速去除重复项：ALT+A+M+(SHIFT+TAB)清除全部格式：ALT+H+E+A清楚部分格式：ALT+H+E+F...
2019-11-05 14:23:19
332
原创 Power Bi连接Mysql
最近公司在切换数据库，导致Power Bi的数据源需要从Sq lSever切换到Mysql，本文针对Power Bi连接Mysql遇到的问题进行说明。报错信息：从提供程序读取数据时出错:“未能加载文件或程序集“Renci.SshNet, Version=2016.1.0.0, Culture=neutral, PublicKeyToken=1cee9f8bde3db106”或它的某一个依赖项。...
2019-10-13 23:00:05
4096
2
原创 Python中merge和concat的区别，并分别实现左连接（left join）、右连接（right join）、外连接（outer join）和内连接（inner join）
通过python实现Sql中的表连接操作import pandas as pdimport numpy as npdf1 = pd.DataFrame(np.ones((3,4))*0,columns= ['a','b','c','d'],index=(1,2,3))df2 = pd.DataFrame(np.ones((3,4))*11,columns= ['b','c','d','e'...
2019-09-28 22:43:35
17637
3
原创 Mysql和Sql sever查询当天、本月第一天和上月同期
Mysql日期相关语句select curdate()-- 当前日期,date_add(curdate(),interval -day(curdate())+1 day) -- 本月第一天,last_day(curdate()) -- 本月最后一天,date_add(date_add(curdate(),interval -day(curdate())+1 day),interval -1...
2019-09-24 23:11:46
2331
1
原创 Sql sever 行转列函数——pivot
实现效果：脚本：--行转列with vw_a as( select convert(date,日期,111) as 日期,case when 增值部门 like '%鲁班%' then '鲁班' else '信息流' end as type,sum(昨日总消耗) 消耗 from 金华增值总部数据 where (日期 >= '2019-03-01') or (日期 &g...
2019-09-22 23:58:41
152
原创 Python连接SQL Sever数据库，将查询结果按日期方式命名保存到指定位置
Python连接SQL Sever数据库，将查询结果按日期方式命名保存到指定位置导入相关模块import pymssqlimport osimport timeimport pandas as pd如果报错，未找到相关模块则按以下方式处理Step1:在键盘同时按住这两个键（Win+R），出现如下界面（图1）在“打开”的一栏输入 cmd 后点击确定，进入后台安装模块的界面（图2...
2019-09-08 20:07:36
736
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人