- 博客(70)
- 收藏
- 关注
RSS订阅原创 java运行报错，报错信息：You need either to explicitly disable SSL by setting useSSL=false, or set useSSL=true
java运行报错，报错信息：You need either to explicitly disable SSL by setting useSSL=false, or set useSSL=true and provide tr解决办法：找到配置文件，***.properties或者 其他配置数据库连接的地方将Connection conn = DriverManager.getConnection("jdbc:mysql:// jdbc:mysql://localhost:3306/test改成
2021-09-08 10:30:03
816
原创 idea 在 springboot + Gradle test时报错：No tests found for given includes解决办法（windows）
毕业至今，最幸福的事情就是在工作中学习，并且总结，积累经验，逐渐成长。
2021-06-26 18:40:45
1296
原创 python安装pandas报错，version问题看这里！！！
python安装pandas报错python安装pandas时报错，报错信息为：ERROR: Could not find a version that satisfies the requirement pandas (from versions: none)；ERROR: No matching distribution found for pandas原因：电脑里面同时存在着两个版本，python2以及python3，在安装pandas时无法找到对应的版本解决办法：指定版本号py -2
2020-10-28 15:28:40
15072
2
原创 hive中substr用法详解
请注意！请注意！请注意！重要的事情说三遍，hive中的substr用法是这样子使用的：使用语法: substr(string A, int start),substring(string A, int start) 两者用法一样,两个参数说明：返回字符串A从start位置到结尾的字符串举例演示： hive> select substr('abcde',3) from test;...
2020-03-30 14:43:34
34177
1
原创 excel快速拆分数据的方法
背景：想要使用postman来进行查询数据，格式如下图所示，温度信号比较多，而且信号给错了正确的信号其实是我只是举了个例子，所以用的信号比较少，可以手动操作即可。可是如果是几百条数据要如何操作呢？首先将信号复制到excel中，选中数据，先将空格删除，使用ctrl+f替换，将空格批量删除。然后点击数据按钮->点击分列->选择分列点击分列之后，会有如下弹框，点击完成。会发现：...
2020-03-25 18:16:19
2121
原创 PV/UV
pv 页面浏览量或者页面点击量，衡量网站用户访问的网页数量，在一定统计周期内用户每打开或刷新一个页面就记录1次，多次打开货刷新同一页面则浏览量累计sum()uv 通过会联网范文，浏览这个网页的自然人，访问网站的一台电脑客户端被视为一个访客，在同一天内相同的客户端只被计算一次count()...
2020-03-02 09:29:23
659
原创 MYSQL：查询一个表的数据是否在另一表中存在
查询b表中bid不为3的数据在a表中是否存在：select a.a1,b.b2 from ainner join b on a.id=b.id where b.bid!=3 and a.is_delete=0
2020-02-13 10:52:20
3466
原创 hive：查找重复的记录
真是服了我自己了，过了个新年，连hiveSQL都忘记怎么写了。这回记录到博客上面吧，这回要牢牢的记住。在工作的过程中呢，我突然想查看一下这个字段有没有重复的，于是乎写了下面的sqlselect count(e_id),count(distinct e_id) from t_test where dt='2020-02-03' 结果显示：e_iddistinct（e_id ）...
2020-02-04 14:51:29
10728
3
原创 Hive提示 Schema of both sides of union should match
Hive提示 Schema of both sides of union should match背景：使用了union all原因：union all的表字段没有匹配
2019-12-31 20:11:26
6821
原创 getColumnLabel（）与getColumnName（）区别
在使用java程序进行数据对比的时候，在sql中select id as people_id,name,age from a;使用java程序运行的时候会发现，数据明细显示的是：id=1 name =linda age=11实际上想要的结果：people_id=1 name =linda age=11导致这种原因可能是因为方法用错了。如下有两种方法：1.String getC...
2019-12-27 16:21:42
2685
原创 java 大小写转换：equals（）与equalsIgnoreCase（）方法区别
1.equals方法比较两个字符串是否相等private SqlStringServiceImpl getSqlStringService (String type) throws Exception {if (type.equals(“Hive”)){return new HiveSqlStringServiceImpl();}else if (type.equals(“Mysql”...
2019-12-27 16:16:01
1090
原创 java与mysql数据类型对照表
java与mysql数据类型对照表应用场景：mysql中有些数据类型，通过jdbc到java中时，由于数据类型不匹配，会造成数据丢失。所以需要类型转换来避免这种情况。...
2019-12-27 16:07:45
222
原创 hive解析json的两种方法：get_json_object()和json_tuple()
get_json_object()描述：get_json_object函数第一个参数填写json对象变量，第二个参数使用$表示json变量标识，然后用 . 或 [] 读取对象或数组；定义：该方法只能接受两个参数，如果想要查看多个值，只能多写几个示例：select get_json_object('{"name":"linda","server":"www.baidu.com"}','$.s...
2019-11-06 11:31:57
3207
原创 MySQL中concat函数
MySQL中concat函数使用方法：concat(str1,str2,…)返回结果为连接参数产生的字符串。如有任何一个参数为NULL ，则返回值为 NULL。mysql> select concat('11','22','33');| concat(‘11’,‘22’,‘33’) || 112233 |1 row in set (0.00 sec)MySQL的concat...
2019-09-27 14:25:32
234
原创 hive中round、floor、ceil区别及用法
浮点数四舍五入：round(1.4) : 1round(1.5) : 2浮点数取两位小数：round(1.23454,2) : 1.23round(1.04234,2) : 1.04round(1.04534,2) : 1.05小数点位数是负数，比如-2，那么小数点前2位为0，且进行四舍五入计算。round(1213232,-2) : 1213200round(1213252...
2019-08-19 16:33:12
10208
原创 日期函数总结
UNIX时间戳转日期函数: from_unixtime语法: from_unixtime(bigint unixtime[string format])。转化UNIX时间戳（从1970-01-01 00:00:00 UTC到指定时间的秒数）到当前时区的时间格式。举例：select from_unixtime(1323308943,‘yyyyMMdd’) from dual; ##返回值为...
2019-08-19 16:29:39
188
原创 ROW_NUMBER()与FIRST_VALUE(url)区别（取首次记录）
工作中经常会遇到一次时间可以进行多次更改的情况，每次更改都会生成一条记录。那么如果想要取第一条数据的情况下，可以使用函数来解决。hive函数取首次数据：1.FIRST_VALUE取分组内排序后，截止到当前行，第一个值select distinct wo_id,first_value(created_at) over(partition by wo_id order by id asc) a...
2019-08-03 14:36:20
1280
原创 使用charles抓包工具的使用
一、设置ipad抓包第一步：在charles里设置允许ipad联网的权限，并设置接入接口在Charles的菜单栏上选择"Proxy"->“Proxy Settings”，填入代理端口8888（注意，这个端口不一定填写8888，也可以写别的端口），并且勾上”Enable transparent HTTP proxying”，这样就完成了在Charles上的设置在"Help"->"...
2019-07-09 13:58:13
472
原创 hive中datediff，date_add和date_sub的用法
hive中时间函数日期比较函数：datediff；日期增加函数：date_add；日期减少函数:date_sub
2019-07-02 17:31:37
23517
原创 hive中的over partition by，mysql中用group_concat
hive中over（）partition by=mysql中group_concat
2019-07-01 19:46:53
1560
原创 抓包工具charles下载安装（破解版）
1.下载：下载地址：https://www.charlesproxy.com/latest-release/download.do我的电脑是64位的，所以选择红框中的。2.下载之后安装按照默认next即可，然后选择路径。3.Charles破解破解地址：https://www.zzzmode.com/mytools/charles/按照下方文字填好，点击生成，会生成一个jar包，这个...
2019-07-01 10:20:47
130297
23
原创 sql中将“年月日时分秒”改成年月日格式的方法
根据最近的工作与学习，总结了一些自己以前不知道的知识点，可能不详细，还请大家多多指教。mysql中将时间显示为“2019-06-24”的格式：DATE_FORMAT(a.start_time,’%Y-%m-%d’) as busiDatehive中将时间显示为“2019-06-24”的格式：to_date(s.start_time) 或者 substr(0,10)如果学习到新的知识还会...
2019-06-24 18:09:03
13632
原创 hive中的nvl函数
hive中的nvl函数为判断是否为空值，和oracle判断空值使用的函数一致。nvl叫做空值转换函数。在mysql和sqlsever中分别使用的是nullif和ifnullmysql-nullif(expr1, expr2)，sqlserver-ifnull(expr1, expr2)。备注：1、如果expr1为NULL，返回值为 expr2，否则返回expr1。2、适用于数字型、字符型...
2019-06-20 10:40:39
37505
原创 大数据之hive工具使用
大数据@TOC使用hive的工具hive是数据仓库所使用的一种语言，类似于sql。需要连接服务器来使用，那么我介绍一下可以使用hive的工具。目前我所知道的有两种，一种是xshell，一种是dbeaver。xhsellxhsell相当于是一种服务器，可以进行重启等操作。配置上即可使用。dbeaverdbeaver是一个很全能的工具。下载之后，点击文件，新建，然后可以选择数据库或者ER...
2019-06-10 13:29:51
1200
原创 部署测试环境（非常详细哦，不看会后悔的操作步骤）
部署测试环境（我举的例子是aix系统的，哈哈，现在都是linux了，不过我觉得都是异曲同工吧）测试工程部署路径(根据你们的项目定路径就可以啦）/home/webuser/tomcat/webapps/test部署操作步骤（1） 输入账号和密码，登录进去(2) 部署tomcat，由于我的这个服务器上面原先有一个项目project，所以我就将那个项目的tomcat拷贝过来。su...
2019-04-01 16:35:33
37251
2
原创 linux tar 命令汇总
tar-c: 建立压缩档案-x：解压-t：查看内容-r：向压缩归档文件末尾追加文件-u：更新原压缩包中的文件这五个是独立的命令，压缩解压都要用到其中一个，可以和别的命令连用但只能用其中一个。下面的参数是根据需要在压缩或解压档案时可选的。-z：有gzip属性的-j：有bz2属性的-Z：有compress属性的-v：显示所有过程-O：将文件解开到标准输出下面的参数-f是必须的...
2019-03-28 15:37:11
164
原创 性能测试之jmeter（下载安装）
身为一个90后的老阿姨，最近又开始研究上了测试，下面以我自己的亲身经验给大家详细讲解一下安装下载Jemeter。下载安装Jemeter 点击http://jmeter.apache.org/download_jmeter.cgi 下载下载之后找到bin目录。例如：我的安装路径为： D:\dev\安装包\apache-jmeter-5.1.1\bin，点击Jemter.bat即可启动。...
2019-03-20 13:52:13
1889
6
原创 自动化测试之python+selenium
1.安装python最新版本2.安装selenium(输入cmd,然后在里面输入pip install selenium)如图所示,安装完成.由于如果需要使用selenium的话，需要为本机配置对应浏览器的驱动，下面以chomedriver为例，首先安装chromedriver，chromedriver与支持对应的chrome版本如下：chromedriver版本 支持的Chrome版本...
2019-02-15 09:24:46
243
原创 etl自动化工具之kettle下载
由于工作需要下载kettle最新版本网址：https://community.hitachivantara.com/docs/DOC-1009855打开之后页面如下图所示：向下滑动点击8.2Stable下载最新版本。未完待续。。...
2019-02-02 13:49:57
1807
原创 数据处理之矩阵转置
1.excel转置：选中数据，粘贴为选择数值，转置，然后转换成列。很多个分块的一次性转置问题=OFFSET($A$1,INT((ROW(A1)-1)/33),MOD(ROW(A1)-1,33)) （注：列为33）2.python转置：使用python的numpy库。导入numpy库：import numpy as tt.transpose([list]) # 矩阵转置t.tran...
2019-01-24 10:33:50
1213
原创 excel小技巧之如何提取指定字符之前的字段
**假设列A是一组产品的编码，我们需要的数据是“-”之前的字段。****我们需要在B1单元格输入公式“=LEFT(A1,SEARCH("-",A1)-1)”然后选中B1至B4单元格，按“CTRL+D”向下填充，就可以得出其它几行“-”之前的字段。****如果要得出“-”之后的字段，则在C1单元格输入“=RIGHT(A1,LEN(A1)-SEARCH("-",A1))”，...
2019-01-18 10:42:01
27151
2
原创 excel小技巧之多行同样的的数据怎么填充
excel中真是一个万能的工具哇，下面我来给大家分享一下我最近做数据处理get到的小技巧，嘿哈！那么下面我来说一下如果有一个数值是3，并且连着10000行的列数据都是3，要怎么填充呢？第一种方法：就是我们常用的，复制第一行的，然后粘贴到第二行，这种的只适用于少数，一两个复制粘贴还可以，但是如果多了，10000行一个个的粘贴下去怕是要累死了。第二种方法：比如说我们要写3，可以在表格中连续...
2019-01-17 14:15:37
7396
原创 数据处理--excel填充数值小技巧
数据处理的小方法：1.填充空值填充方法：选中列，然后按ctrl+g,会弹出一个对话框，选中空值，然后定位。会发现变成如图所示的样子，然后在最上面的输入栏中，写入“=选中第一个有值的数据”，如图所示在此基础上不要犹豫，按ctrl+enter，此时你想要的结果就出来喽！！！...
2019-01-16 19:21:29
759
1
原创 DELETE、TRUNCATE、DROP的区别
（1）性质：DELETE语句执行删除的过程是每次从表中删除一行，并且同时将该行的删除操作作为事务记录在日志中保存以便进行进行回滚操作。TRUNCATE TABLE 则一次性地从表中删除所有的数据并不把单独的删除操作记录记入日志保存，删除行是不能恢复的。并且在删除的过程中不会激活与表有关的删除触发器。执行速度快。DROP语句删除整个表（结构和数据）。（2）应用范围。TRUNCATE ...
2018-12-14 15:17:52
147
原创 数据处理之oracle建表方法（两种）
最近由于工作的原因，经常需要反反复复的在数据库中建表。由于是帮别的组弄东西，所以我这里并没有其他组的数据库。所以我让那边先给我授权。授权语句为：（其中用户是user，表为user_info）grant select on user_info to user;原表的字段 name，code，age，sex这样我这边就可以使用这个用户下的这张表了，首先我需要把这张表的名字改成属于我们组规...
2018-12-14 14:43:43
528
原创 hive学习篇--hive表结构的字段顺序与oracle必须一致
hive的数据是从oracle中导入的，所以hive和oracle的结构和数据是一致的，将oracle的数据导入hive中时，要注意hive表里面不仅是表结构与oracle一致，字段的顺序也必须是一致的。例如：oracle中字段排序name1code1name2code2那么hive中也必须是name1code1name2code2...
2018-12-14 14:12:09
1231
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人