Utils
三生三世
程序猿与汪
一枚专注于大数据领域知识的程序汪
展开
-
工具类/utils-springBoot的controller的公共返回对象
package com.yuge.wechat.questionnaire.common;import java.util.UUID;import lombok.Data;/** * @author : jiangzh * @program : com.example.wechatdemo.common * @description : 公共返回对象 * @date : 2020-03-31 13:46 **/@Datapublic class BaseResponseVO<.原创 2020-08-10 22:10:30 · 766 阅读 · 0 评论 -
智慧出行Spark/Utils-实现Spark的流监控--3.基于StreamingListener流进行监控
啊啊啊``原创 2020-07-18 16:24:18 · 487 阅读 · 0 评论 -
智慧出行Spark/Utils-实现Spark的内置离线监控(细粒度任务的监控和异常报警)---2.spark粒度监控实现
啊原创 2020-07-18 01:51:29 · 420 阅读 · 0 评论 -
智慧出行/utils-类型转换工具类:使用场景是,在邮件告警中需要传入properties,我们就用这个工具类转换后传入
package com.cartravel.toolsimport java.utilimport java.util.Propertiesimport org.codehaus.jettison.json.JSONObject/** * 类型转换工具类实现: * 将元组()类型转换成: * 1.tuples元组-->JSONObject * 2.tuples-->HashMap * 3.tuples-->Properti原创 2020-07-17 23:52:56 · 147 阅读 · 0 评论 -
智慧出行/HBase-实现创建hbase表,和向hbase插入数据
package com.cartravel.hbaseimport com.cartravel.loggings.Loggingimport org.apache.hadoop.hbase.{HColumnDescriptor, HTableDescriptor, TableName}import org.apache.hadoop.hbase.client.{Connection, Put, TableDescriptorBuilder}import org.apache.hadoop.hbas原创 2020-07-15 22:31:19 · 243 阅读 · 0 评论 -
智慧出行/HBase-一劳永逸解决Hbase数据热点问题:2rowkey负载均衡设计
1.hbase热点问题是什么?数据倾斜到一个节点,其余节点空转2.出现haase热点的原因是什么?出现haase热点情况一定是这两个原因:rowkey设计太low没有做预分区3.设计hbase经验rowkey设计原则:唯一,如果不唯一数据就会被覆盖,2散列的,防止出现hbase热点问题,3,字典rowkey长度设计2的整数倍16,32,64,最长不超过64位.只有这样才可以使用高速缓存,如果不是这些,不能被64整除,就只能使用主机内存,那是比较慢的(最快是寄存器,其次是高速缓存,再往后是原创 2020-07-15 22:12:40 · 203 阅读 · 0 评论 -
智慧出行/HBase-一劳永逸解决Hbase数据热点问题:1.java实现HBase建表并且预分区
啊啊啊原创 2020-07-15 17:17:23 · 367 阅读 · 0 评论 -
智慧出行-通过实现一个logging接口工具类:自定义维护我们的日志,后面我们任何类都可以去实现整个logging接口类,来实现设置不同日志级别功能
package com.cartravel.loggingsimport org.slf4j.LoggerFactory/** * 自定义维护我们的日志,后面我们任何类都可以去实现整个logging类来实现 * logging类这里面的功能 */trait Logging { lazy val logger = LoggerFactory.getLogger(this.getClass) def trace(message: => Any): Unit = {原创 2020-07-15 16:46:31 · 133 阅读 · 0 评论 -
智慧出行-sparkConf,sparkSesson,streamingContext的生产必配配置,我把他做成了一个工具类,具体实现文章中会详细描述
1.application.conf#配置spark相关参数spark.worker.timeout="500"spark.rpc.askTimeout="600s"spark.network.timeoout="600s"spark.cores.max="10"spark.task.maxFailures="5"spark.speculation="true"spark.driver.allowMutilpleContext="true"spark.serializer="org.apa原创 2020-07-13 12:25:26 · 189 阅读 · 0 评论 -
智慧出行-加载resources文件下配置信息的两个工具类
加载application.conf文件package com.cartravel.common.readApplicationconfUtilimport com.typesafe.config.{Config, ConfigFactory}class readApplicatuinFileUtil { private val config: Config = ConfigFactory.load() def getConf:String=>String=(args:String)原创 2020-07-12 23:03:13 · 150 阅读 · 0 评论 -
智慧出行Spark/Utils-实现Spark的内置离线监控(细粒度任务的监控和异常报警)---1.实现邮件发送模块的开发
import javax.mail.Authenticator;import javax.mail.Message.RecipientType;import javax.mail.PasswordAuthentication;import javax.mail.Session;import javax.mail.Transport;import javax.mail.internet.InternetAddress;import javax.mail.internet.MimeMessage;原创 2020-06-14 21:31:13 · 247 阅读 · 1 评论 -
工具类-时间工具类
package com.cartravel.toolsimport java.text.SimpleDateFormatimport java.util.{Calendar, Date}import org.apache.commons.lang.time.FastDateFormatimport org.apache.commons.lang3.StringUtils/** * 时间工具类 */object TimeUtils { def getData(timeStamp:原创 2020-06-11 19:49:35 · 109 阅读 · 0 评论 -
工具类-scala读取resources下的application.conf这个自定义配置文件内容
1.简单举例讲解(1)在idea中读取配置文件:使用ConfigFactory类读取application.conf配置文件注意:这个类只能读取idea中resources文件夹下的application.conf文件,文件名必须是这个pom.xml文件中导入以下依赖:<dependency> <groupId>com.typesafe</groupId> <artifactId>config</原创 2020-06-11 18:47:20 · 1337 阅读 · 0 评论