自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

不花的花和尚的博客

菜鸟起飞了

原创 jvm:查看jvm各块儿空间的使用详细情况,如堆,方法区

[root@xg ~]# jmap -heap 15653 Attaching to process ID 15653, please wait... Debugger attached successfully. Server compiler detected. JVM version is ...

2020-06-04 18:28:05 35 0

原创 sql:hive:函数:udf函数中使用case when

valanDF:DataFrame=spark.sql( s""" |select |namecn,UDFtest('10003',(casewhenstatus='A'then'1'whenstatus=&...

2020-06-01 17:12:24 22 0

原创 sql:hive:mysql:函数:NVL、NVL2、NULLIF,IFNULL、Coalesce

NVL: 第一个参数为空(注意这里是指null,不是空串)那么显示第二个参数的值,如果第一个参数的值不为空,则显示第一个参数本来的值 select NVL(age,9999999 ) from tmp.test age 2 23 9999999 77 ... mysql中没有nvl ()...

2020-05-27 17:10:42 48 0

原创 sql:mysql:查询所有数据库+表名+字段名+字段类型+注释

select TABLE_SCHEMA '数据库',TABLE_NAME '表名',COLUMN_NAME '字段名',COLUMN_TYPE '字段类型',COLUMN_COMMENT '注释'f...

2020-05-26 16:38:08 29 0

原创 spark:sparksql:sparksql的agg函数,作用:在整体DataFrame不分组聚合

1、agg(expers:column*) 返回dataframe类型 ,同数学计算求值 df.agg(max("age"), avg("salary")) df.groupBy().agg(max("age"), avg("s...

2020-05-24 00:53:51 39 0

原创 Spark:coalesce()方法和repartition()方法

https://blog.csdn.net/olizxq/article/details/82808412

2020-05-23 21:54:52 25 0

转载 hadoop:JournalNode的作用

NameNode之间共享数据(NFS 、Quorum Journal Node(用得多)) 两个NameNode为了数据同步,会通过一组称作JournalNodes的独立进程进行相互通信。当active状态的NameNode的命名空间有任何修改时,会告知大部分的JournalNodes进程。st...

2020-05-18 19:36:45 33 0

原创 hive:正则:匹配中文/英文/数字(REGEXP 和 rlike)

数据: Java开发工程师 Java工程师 海外BD岗 移动web研发工程师 DBA工程师 JAVA高级开发工程师 PHP开发工程师 android资深开发经理 课程顾问/sales manager EPM 认证工程师 品牌总监 分时租赁总经理 销售总经理 硬件测试工程师 薪酬管理岗 算法工程...

2020-05-15 16:48:50 164 0

原创 java:获取字符串中某个字符串第一次出现的位置(索引)

此处用Matcher和Pattern类会非常简单,这两个类是利用正则表达式匹配查找的相关类,详细可以参见java Pattern和Matcher详解 public static void main(String[] args) { String str = "...

2020-05-15 14:19:41 69 0

原创 hive:几种实现like的方式

Locate: SELECT s.title,t.name FROM (select * from bo.t_positions limit 1000) s RIGHT JOIN resume.pf_basic_dic t ON(TRUE) WHERE LOCATE(s.title,t.nam...

2020-05-11 20:10:00 37 0

原创 hive:表做关联,字段出现了换行

我用sqoop拉取mysql表,到hive中后表的存储格式为parquet格式。 这时我要用此表关联另一张表,自己建的表。如下: 两个建表语句(语句2多了 STORED AS parquet): 语句1: CREATE TABLE `tmp.t_position_name_data_ti...

2020-05-11 11:27:35 47 0

原创 hadoop:MapReduce (Writable)输出结果中文乱码解决

hadoop涉及输出文本的默认输出编码统一用没有BOM的UTF-8的形式,但是对于中文的输出window系统默认的是GBK,有些格式文件例如CSV格式的文件用excel打开输出编码为没有BOM的UTF-8文件时,输出的结果为乱码,只能由UE或者记事本打开才能正常显示。因此将hadoop默认输出编码...

2020-05-09 02:58:45 55 0

原创 hadoop:IDEA本地编写mapreducer的wordcount并测试,并上传到hadoop的linux服务器进行测试

直接上代码: package main.java; import java.io.IOException; import java.util.StringTokenizer; import org.apache.hadoop.conf.Configuration; import org.a...

2020-05-04 17:53:44 84 0

原创 hadoop:HDFS:基本命令

一:文件操作 1、建立目录 [hadoop@hadoop1:hadoop]$bin/hadoop dfs -mkdir testdir 在HDFS中建立一个名为testdir的目录 2、上传文件到HDFS [hadoop@hadoop1:hadoop]$bin/hadoop dfs -put /h...

2020-05-04 16:53:44 42 0

原创 java:MapUtil

package com.huayong.bi.util; import java.util.*; import java.util.ArrayList; import java.util.Collections; import java.util.Comparator; import java....

2020-04-29 16:31:23 46 0

原创 sql:mysql:分词

SELECT * FROM tags_table1 t WHERE locate(t.tag_name, &...

2020-04-29 15:34:17 63 0

原创 springboot:jpa:报错:antlr.NoViableAltException: unexpected token: *

解决方法是sql语句简单地加上nativeQuery = true

2020-04-28 19:26:44 240 0

原创 java:HttpUtil

import com.alibaba.fastjson.JSON; import org.apache.commons.logging.Log; import org.apache.commons.logging.LogFactory; import org.apache.http.*; impo...

2020-04-28 18:05:28 36 0

原创 java:poi:下载resource文件夹下的模板文件

直接上代码: 先准备模板文件: Controller: /** * 下载批量发送短信的模板 * @param response */ @CrossOrigin @PostMapping(value = "/batch_sms_send/downlo...

2020-04-27 19:27:08 70 0

原创 java:poi:上传excel文件并解析,处理数据(含postman测试调用)

直接上代码: // excel导入 @CrossOrigin @PostMapping(value = "/batch_sms_send/parseExcel", produces = {"application/json;charset=UTF-8&q...

2020-04-27 17:54:34 68 0

原创 java:poi:java.lang.IllegalStateException: Cannot get a text value from a numeric cell

java.lang.IllegalStateException: Cannot get a text value from a numeric cell at org.apache.poi.hssf.usermodel.HSSFCell.typeMismatch(HSSFCell.java:64...

2020-04-27 17:37:37 78 0

原创 hive:sparksql:针对反斜杠的正则替换问题

hive中如何替换反斜杠: sparksql中如何替换反斜杠: select position_name,code,senior_name,parent_code,level from position_name_data pnd right join senior_function_d...

2020-04-27 11:06:30 100 0

原创 maven:阿里云镜像

<mirror> <id>alimaven</id> <name>aliyunmaven</name> <url>http://maven.aliyun.com/nexus/content/groups/public/<...

2020-04-24 10:25:02 56 0

原创 java:SpringUtil

package com.huayong.bi.web.common.util; import org.springframework.beans.BeansException; import org.springframework.beans.factory.annotation.Autowir...

2020-04-24 10:04:41 40 0

原创 git:提交代码报错:Push to origin/master was rejected

在git项目对应的目录位置右键打开Git Bash Here(注意项目目录的位置) git push -u origin master -f

2020-04-24 01:29:28 45 0

原创 hadoop:Win10本地环境配置hadoop(附wordcount实例) org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/

下载 hadoop包后先安装本地环境,配置环境变量: 解压hadoop-2.6.0.tar.gz 变量名 HADOOP_HOME 路径:E:\spark\anzhuangsoft\hadoop-2.6.0 path中:%HADOOP_HOME%\lib和%HADOOP_HOME%\bin...

2020-04-23 01:16:47 53 0

转载 maven:安装配置与使用(windows)

想要安装Apache Maven在Windows 系统上, 需要下载 Maven 的 zip 文件,并将其解压到你想安装的目录,并配置 Windows 环境变量。 所需工具 : JDK 1.8 Maven 3.3.9 Windows 10 注 Maven 3.2 要求 JDK 1.6 或以...

2020-04-22 19:10:07 41 0

原创 maven:安装配置与使用(含jdk的安装)(mac)

一:maven的下载 下载地址:http://maven.apache.org/download.cgi Binary:编译之后的二进制文件 Source:表示可以查看源代码的,比Binary大一点 tar.gz archive:Linux、macOS系统使用 zip archive...

2020-04-22 14:14:42 89 0

原创 spark:SparkSession与SparkContext SparkConf SQLContext HiveContext StreamingContext

SparkSession与SparkContext SparkConf SQLContext HiveContext StreamingContext 参考blog:https://blog.csdn.net/dufufd/article/details/79088891 1. SparkCon...

2020-04-20 01:07:58 111 0

转载 spark :RDD、DataFrame和DataSet的区别

RDD 优点: 编译时类型安全 编译时就能检查出类型错误 面向对象的编程风格 直接通过类名点的方式来操作数据 缺点: 序列化和反序列化的性能开销 无论是集群间的通信, 还是IO操作都需要对对象的结构和数据进行序列化和反序列化. GC的性能开销 频繁的创建和销毁对象, 势必会增加G...

2020-04-18 21:32:40 49 0

原创 scala:字符串书写多种格式

字串文本 字串文本由双引号(")环绕的字符组成: scala> val hello = "hello" hello: java.lang.String = hello 引号内的字符语法与字符文本相同,如: scala> val escapes = &quo...

2020-04-16 23:20:04 53 0

原创 scala :方法和函数的区别

方法 一个类可以有自己的方法,scala中的方法和Java方法类似。但scala与Java定义方法的语法是不一样的。 定义方法 语法 defmethodName(参数名:参数类型,参数名:参数类型) : [returntype]={ // 方法体:一系列的代码 } 参数列表的参数类型不...

2020-04-15 23:33:47 39 0

原创 scala:类型推断、操作符

Scala可以自行推导表达式类型,所以不需要进行显式声明。 1 忽略类型 # 自动推导变量类型 val uio = "teset" # 自动推导方法返回值类型 def fff(x:Int)=x * x # 推导返回值类型失败(编译器无法推导递归定方法的返回值类型,需要...

2020-04-15 23:19:57 39 0

转载 scala:箭头总结

Scala箭头总结 在Scala中有如下3种箭头(其实可以更多) -> <- => 自定义符号 1. -> 创建map时使用,表示映射 val score = Map("小明" -> 50, "小红" -> 60) 字...

2020-04-15 23:07:39 37 0

转载 java:java7特性 try后面括号的作用(能够自动关闭资源)

Java7新特性,支持使用try后面跟随()括号管理释放资源 例如通常使用try代码块 1 try { 2 fis = new FileInputStream(source); 3 fos = new FileOutputStream(target); 4 5 b...

2020-04-15 22:42:54 43 0

原创 图数据库:neo4j:java API

public KgSearchResult getAutoQueryResultByKeyword(String sourceNodeId,String keyWord,Integer pageNo, Integer pageSize,boolean absolute) throws Excep...

2020-04-13 23:49:42 46 0

原创 图数据库:neo4j:java测试连接util

简单util: package com.neo4j; import com.google.gson.Gson; import org.junit.AfterClass; import org.junit.BeforeClass; import org.junit.Test; import o...

2020-04-13 22:48:55 51 0

原创 工具:dbvisualizer:通过导入数据库文件批量导入数据

执行sql文件: 导入csv数据: 1.表-右键-inport table data 2. 3. 4. 5. 6. 导入成功:

2020-04-13 16:37:45 234 0

原创 工具:dbvisualizer: 数据库里面的数据出现中文乱码

表数据中中文显示成问号 解:先断开连接,然后在创建连接时的Database一栏的数据库名后面加上 “?generateSimpleParameterMetadata=true&useUnicode=true&characterEncoding=utf8”,然后再连接应该就可以了...

2020-04-13 15:52:19 38 0

原创 图数据库:neo4j:基本使用

1.通过本地csv文件(数据)导入到数据库中,label自动创建,并将csv中字段名作为label的各个属性 LOAD CSV WITH HEADERS FROM "file:///tzb/recruit_websites/Label1.csv" AS row CREATE...

2020-04-08 10:05:07 33 0

提示
确定要删除当前文章?
取消 删除