- 博客(12)
- 资源 (12)
- 收藏
- 关注
RSS订阅原创 sql：hive：mysql：函数：NVL、NVL2、NULLIF，IFNULL、Coalesce
NVL：第一个参数为空(注意这里是指null，不是空串)那么显示第二个参数的值，如果第一个参数的值不为空，则显示第一个参数本来的值select NVL(age,9999999 ) from tmp.testage223999999977...mysql中没有nvl ()函数,使用ifnull代替SELECT ifnull(valuess,'11111') a FROM test_regexp;NVL2：格式：NVL2(expr1,expr2, expr3)如果该.
2020-05-27 17:10:42
2202
1
原创 sql：mysql：查询所有数据库+表名+字段名+字段类型+注释
select TABLE_SCHEMA '数据库',TABLE_NAME '表名',COLUMN_NAME '字段名',COLUMN_TYPE '字段类型',COLUMN_COMMENT '注释'from information_schema.columns where table_schema in (SELECT SCHEMA_NAME AS `Database` FROM INFORMATION_SCHEMA.SCHEMATA)
2020-05-26 16:38:08
310
原创 spark：sparksql：sparksql的agg函数，作用：在整体DataFrame不分组聚合
1、agg(expers:column*) 返回dataframe类型 ，同数学计算求值df.agg(max("age"), avg("salary"))df.groupBy().agg(max("age"), avg("salary"))2、agg(exprs: Map[String, String])返回dataframe类型 ，同数学计算求值 map类型的df.agg(Map("age" -> "max", "salary" -> "avg"))df.groupBy()....
2020-05-24 00:53:51
2599
原创 Spark：coalesce()方法和repartition()方法
https://blog.csdn.net/olizxq/article/details/82808412
2020-05-23 21:54:52
1415
转载 hadoop：JournalNode的作用
NameNode之间共享数据（NFS 、Quorum Journal Node（用得多））两个NameNode为了数据同步，会通过一组称作JournalNodes的独立进程进行相互通信。当active状态的NameNode的命名空间有任何修改时，会告知大部分的JournalNodes进程。standby状态的NameNode有能力读取JNs中的变更信息，并且一直监控edit log的变化，把变化应用于自己的命名空间。standby可以确保在集群出错时，命名空间状态已经完全同步了。上面在Activ
2020-05-18 19:36:45
1346
原创 hive：正则：匹配中文/英文/数字（REGEXP 和 rlike）
数据：Java开发工程师Java工程师海外BD岗移动web研发工程师DBA工程师JAVA高级开发工程师PHP开发工程师android资深开发经理课程顾问/sales managerEPM认证工程师品牌总监分时租赁总经理销售总经理硬件测试工程师薪酬管理岗算法工程师大区销售总监财务经理研发总监110100110100130100130100160100200500160100110100110100110100484946964861474
2020-05-15 16:48:50
25407
3
原创 java：获取字符串中某个字符串第一次出现的位置（索引）
此处用Matcher和Pattern类会非常简单，这两个类是利用正则表达式匹配查找的相关类，详细可以参见java Pattern和Matcher详解 public static void main(String[] args) { String str = "人生自古谁无死，留取丹心照汗青"; Integer start = startChar(str,"}"); System.out.println(str.substring(start+1,s
2020-05-15 14:19:41
10235
原创 hive：几种实现like的方式
Locate：SELECT s.title,t.nameFROM (select * from bo.t_positions limit 1000) sRIGHT JOIN resume.pf_basic_dic tON(TRUE)WHERE LOCATE(s.title,t.name)>0like：SELECT s.position_name,t.senior_name FROM (select * from tmp.t_position_name_data_times_le
2020-05-11 20:10:00
4401
原创 hive：表做关联，字段出现了换行
我用sqoop拉取mysql表，到hive中后表的存储格式为parquet格式。这时我要用此表关联另一张表，自己建的表。如下：两个建表语句（语句2多了 STORED AS parquet）：语句1： CREATE TABLE `tmp.t_position_name_data_times_greate300_positions`( `id` string, `title` string, `company_name` string, `work_city` string
2020-05-11 11:27:35
1047
原创 hadoop：MapReduce （Writable）输出结果中文乱码解决
hadoop涉及输出文本的默认输出编码统一用没有BOM的UTF-8的形式，但是对于中文的输出window系统默认的是GBK，有些格式文件例如CSV格式的文件用excel打开输出编码为没有BOM的UTF-8文件时，输出的结果为乱码，只能由UE或者记事本打开才能正常显示。因此将hadoop默认输出编码更改为GBK成为非常常见的需求。自定义 TextOutputFormat.class 子类TextOutputFormat.class 类代码展示：package com.ljt.hdfs;imp.
2020-05-09 02:58:45
1786
原创 hadoop：IDEA本地编写mapreducer的wordcount并测试，并上传到hadoop的linux服务器进行测试
直接上代码：package main.java;import java.io.IOException;import java.util.StringTokenizer;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io...
2020-05-04 17:53:44
632
原创 hadoop：HDFS：基本命令
一：文件操作1、建立目录[hadoop@hadoop1:hadoop]$bin/hadoop dfs -mkdir testdir在HDFS中建立一个名为testdir的目录2、上传文件到HDFS[hadoop@hadoop1:hadoop]$bin/hadoop dfs -put /home/hadoop/test.zip testfile.zip把本地文件large.zip拷贝到...
2020-05-04 16:53:44
214
apache-phoenix.zip
2020-09-01
Hadoop本地环境配置 需要的文件hadoopdll和winutilexe.zip
2020-04-23
RedisDesktopManager_v0.9.3.817_itmop.com(可用).zip
2019-12-19
DBeaver（含hive驱动）
2019-05-31
MouseWithoutBordersSetup 无界鼠标
2019-05-25
【进程查看器】Process+Explorer
2018-09-30
高级小知识点
2017-05-13
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人