- 博客(19)
- 收藏
- 关注
RSS订阅原创 java LogUtil输出日志打日志的class文件内具体方法和行号
最近琢磨怎么/ 调用者位于LogUtil类元素之后的第三个元素（考虑到findCaller自身和getStackTrace的调用）* 本方法用于生成调用者方法的详细路径，包括类名、方法名和行号。* 通过分析当前线程的堆栈跟踪，找到第一个不是LogUtil类的方法作为调用者。// 如果是最后一个元素，直接添加到缓冲区，以保留类名的完整性。* 将带有包名的类名转换为首字母大写的形式，去除包名并连接类名。看效果，直接上代码。// 拼接类名、方法名和行号，生成详细的路径。// 格式化类名，去除包名，只保留类名部分。
2024-07-08 13:12:38
926
1
原创 IDEA 内用mvn编译scala文件；scala插件scala-maven-plugin
IDEA 内用mvn编译scala文件；scala插件scala-maven-plugin
2023-03-08 17:31:34
2255
2
原创 hive 的UDF和java的静态代码块的完美结果
一 、 首先说下业务需求背景，因业务需求需要转换经纬度坐标，完全转换为utm 50N的格式。由于中国跨越了多个带区，在把utm 50N的格式的坐标转为wgs84经纬度的时候在西藏和新疆地区出现偏差，精确度下降。这个udf函数就是为了把全国的utm转换为wgs84经纬度的之后都是争取的或者说误差很小很小。二、hive UDF的局限的地方是无法提前初始化开发这想要的对象，尤其是大的对象；如何是一个...
2019-12-30 16:30:02
1320
1
原创 spark输出自己想要的文件名称
在hadoop中输出文件名称的生产是由OutputFormat里面的generateFileNameForKeyValue方法生产的。知道这个之后，我们就可以写一个仔细需要的方法去继承父类重写文件生成的规则了；源码中是获取reduce的编码号生成part*的带有数字的文件名称；这里定制了一个用key作为输出文件名称，用这个是千万不能key是几千万上亿的不重复字符；这个只适合数量小，key也不多情况...
2019-05-20 10:03:20
3424
2
原创 spark 按照key分区之后，只要分区数量一样，数据都会在一个分区内
val userMouth = sc.parallelize(Array( "201712", "201801", "201802", "201803", "201804", "201805", "beijing", ...
2019-04-28 16:59:43
2480
原创 字符串闭环计算
def main(args: Array[String]) { /* * 首先描述一下需求；以一个点作为家，找从家出发，然后在回到家的过程，家和家之间必须出现非家的点才符合要求。 * 例如下面这段字符串，“B”是家，要求找出： * B|F|B * B|S|G|H|B * B...
2019-02-22 10:12:24
265
原创 统计数组元素个数 scala
var a = ArrayBuffer('a', 'b', 'c', 'd', 'e', 'a', 'b', 'f', 'g', 'h', 'a', 'b', 'c', 'i', 'j', 'k', 'l', 'a')var aa = cal(a) for(i <- aa){ println(i) } //一个递归的函数，看到后面和前面相同的删除后面...
2019-01-23 16:21:53
4161
原创 esri 判断Point是否在几何图形Geometry上
------- mavn依赖 ------<dependency> <groupId>com.esri.geometry</groupId> <artifactId>esri-geometry-api</artifactId> <version>2.2...
2019-01-08 16:22:56
1152
原创 grep 求两个文件之间的不同行和相同行
1. 下面是一些有意思的命令行参数：grep -i pattern files：不区分大小写地搜索。默认情况区分大小写，grep -l pattern files ：只列出匹配的文件名，grep -L pattern files ：列出不匹配的文件名，grep -w pattern files：只匹配整个单词，而不是字符串的一部分（如匹配‘magic’，而不是‘magical’），...
2018-12-14 18:28:19
2257
原创 python的弱作用域体现
# coding=utf-8import logging''' 类定义,class,python在同于个文件内的代码顺序很强，要求父类先定义在子类之前文本； python中在同一个方法内定义的变量在整个方法内都可以见，作用域较广；属于弱作用域。'''class people: # 定义基本属性，类变量 name = '' #Public 类型属性 ag...
2018-09-07 09:42:29
114
原创 spark-shell内出现 Display all 659 possibilities? (y or n)
最近在spark-shell内执行很简单的代码出现问题；编译器内默认是有两个空格进行代码缩减，用于个人喜欢调整成了tab键。然后把代码放在spark-shell就出现这个问题了；去掉tab键之后就没有这个问题了；...
2018-08-15 14:11:41
1725
1
原创 在线简单快速地找到源码，spark为例
1、在Google和百度内搜索 “spark DOC” 2、点击第一个“Spark API Documentation - Spark 2.3.1 Documentation” 进去；选择自己熟悉的编程语言。 3、这里选择scala语言的API，然后在搜索框内搜素自己想看的对象；这里现在最常见的RDD。 4、红框内点击继续，链接会跳转到githup；...
2018-08-01 19:49:09
517
原创 R基本画图
第一，读取数据进行画点图分布数据：第一列为速度，第二列为统计统计个数；在做航空出现识别时选择了出行速度大于等于80的，简单的R代码查看一下不同速度的出现频次；这里很容易看出有两个峰值。80 8681 18082 15283 13184 14985 14986 16987 16588 17089 16690 ...
2018-07-25 18:41:39
222
原创 scala 数组匹配相同元素
接下来的操作大家都熟知：差集、交集和并集。以下示例能很好地解释 Euler Diagram 函数：val num1 = Seq(1, 2, 3, 4, 5, 6)val num2 = Seq(4, 5, 6, 7, 8, 9) //List(1, 2, 3)num1.diff(num2) //List(4, 5, 6)num1.intersect(num2) //List(1, 2, 3, ...
2018-06-29 17:24:07
2589
原创 awk 巧用，轻松得到需要的列
ARGC 命令行参数个数ARGV 命令行参数排列ENVIRON 支持队列中系统环境变量的使用FILENAME awk浏览的文件名FNR 浏览文件的记录数FS 设置输入域分隔符，等价于命令行 -F选项NF 浏览...
2018-06-29 15:50:25
157
原创 hdfs上小文件文件合并，
一个java类，一个spark object实现package cn.smartstep.extract.tablesimport org.apache.hadoop.io.compress.GzipCodecimport org.apache.spark.SparkConfimport org.apache.spark.SparkContextimport org.apache.lo...
2018-06-22 16:00:36
6972
原创 Shell实现了crontab更实用的方法
while [ `ps x |grep -v grep|grep Mycrontab.sh |wc -l` -gt 2 ];do echo "The script Mycrontab.sh is running ....." exitdonefunction re_initTimes(){ HOURT=`date +%H` startDay=`date -d "-2 day" +...
2018-06-22 15:18:50
849
原创 yarn 上运行的任务的简单管理
#!/bin/bash###### nohup sh jobTracker.sh &while [ `ps x |grep -v grep|grep jobTracker.sh |wc -l` -gt 2 ];do echo "jobTracker.sh exited " exitdonewhile true ;do yarn application ...
2018-06-22 15:13:35
1298
原创 HDFS数据迁移解决方案中DistCp工具的强大作用
#!/bin/bash### nohup sh rc_CPData4.sh --copy 120 &###避免同一个脚本重复启动while [ $# -ne 2 ] || [ `ps x |grep -v grep|grep rc_CPData4.sh|wc -l` -gt 2 ] ; do echo "args are Incorrect" exit done###配置需...
2018-06-22 15:07:14
846
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人