自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

转载 java代码混淆(使用 ProGuard 工具)

参考文章: ProGuard简介 ProGuard 是一个压缩(shrink)、优化(optimize)和混淆(obfuscate) Java 字节码文件的免费的工具。它可以删除无用的类、字段、方法和属性,可以删除没用的注释,最大限度地优化字节码文件。它还可以使用简短的无意义的名称来重...

2020-05-29 16:20:13 16 0

转载 java代码混淆(使用 ProGuard maven插件)

java代码可以反编译,因此有时候要保护自己的知识产权还真得费点心思,一般来说有三个思路:   1、将class文件加密,这个是最安全的,但也费事儿,因为要重写classloader来解密class文件;   2、使用花指令,使得class文件不能反编译(利用反编译工具漏洞);安全性一般,还是...

2020-05-29 15:26:44 16 0

转载 数据库里账号的密码,这样存放最安全!

参考文章:数据库里账号的密码,这样存放最安全! 最早在大学的时候,只知道用 MD5 来存用户的账号的密码,但其实这非常不安全,而所用到的哈希函数,深入挖掘,也发现并不简单…… 一、普通的 Hash 函数 哈希(散列)函数是什么就不赘述了。 1、不推荐 RC4, MD4, MD5, SHA...

2020-05-29 10:15:03 137 0

转载 密集索引和稀疏索引的区别

参考文章:密集索引和稀疏索引的区别 区别 秘籍索引文件中的每个搜索码值都对应一个索引值 稀疏索引文件只为索引码的某些值建立索引项 密集索引的定义:叶子节点保存的不只是键值,还保存了位于同一行记录里的其他列的信息,由于密集索引决定了表的物理排列顺序,一个表只有一个物理排列顺序,所以一...

2020-05-29 09:39:16 13 0

转载 CDH在yarn上运行程序乱码

参考文章:CDH在yarn上运行程序乱码 安装完成CDH后,在yarn上不管是使用hive运行mapreduce还是spark,中文全都会乱码。 1. linux的环境变量设置字符集 vi /etc/profile export LANG=zh_CN.UTF-8 2. 修改mapre...

2020-05-28 17:18:43 19 0

转载 Java终止线程的三种方式

参考文章:Java终止线程的三种方式 停止一个线程通常意味着在线程处理任务完成之前停掉正在做的操作,也就是放弃当前的操作。 在 Java 中有以下 3 种方法可以终止正在运行的线程: 使用退出标志,使线程正常退出,也就是当 run() 方法完成后线程中止。 使用 stop() 方法强行终...

2020-05-26 10:43:29 38 0

转载 Spark-利用SparkLauncher 类以JAVA API 编程的方式提交spark job

参考文章:Spark-利用SparkLauncher 类以JAVA API 编程的方式提交spark job 一.环境说明和使用软件的版本说明: hadoop-version:hadoop-2.9.0.tar.gz spark-version:spark-2.2.0-bin-hadoop2....

2020-05-22 09:33:27 55 0

转载 springboot基于spark-launcher构建rest api远程提交spark任务

参考文章:使用springboot构建rest api远程提交spark任务 github代码链接:github地址 1. spark集群及版本信息 服务器版本:centos7 hadoop版本:2.8.3 spark版本:2.3.3 使用springboot构建rest api远程提交spa...

2020-05-21 22:10:47 63 0

转载 Spark创建DataFrame的几种方式(TODO)

参考文章:Spark创建DataFrame的几种方式 创建DataFrame的几种方式 如要生成如下的DataFrame数据 +----+---+-----------+ |name|age| phone| +----+---+-----------+ |ming| 20|15552211...

2020-05-21 21:04:34 31 0

转载 Scala中class、object、case class、case object区别

参考文章:Scala中class、object、case class、case object区别 /** class、object、case class、case object区别 * * class 类似Java中的class; * object Scala不能定义静态成员,用定...

2020-05-20 16:14:05 40 0

转载 修改运行中的docker容器的端口映射和挂载目录

参考文章:如何修改运行中的docker容器的端口映射和挂载目录 方法一:删除原有容器,重新建新容器 这个解决方案最为简单,把原来的容器删掉,重新建一个。当然这次不要忘记加上端口映射。 优缺点:优点是简单快捷,在测试环境使用较多。缺点是如果是数据库镜像,那重新建一个又要重新配置一次,就比较麻烦...

2020-05-20 09:30:24 82 0

转载 Impala之JDBC连接

参考文章:Impala之JDBC连接 简介 首先选择节点,Impala Daemon(守护进程)的作用是接收来自HUE、shell、jdbc等的连接,分配计算任务并汇总结果返回。连接Impala的节点就选Impala Daemon节点。 impala的主流连接方式有两种,一种是impala...

2020-05-18 14:44:49 29 0

转载 WebHDFS与HttpFS的使用

参考:WebHDFS与HttpFS的使用 WebHDFS 介绍 提供HDFS的RESTful接口,可通过此接口进行HDFS文件操作。 安装 WebHDFS服务内置在HDFS中,不需额外安装、启动。 配置 需要在hdfs-site.xml打开WebHDFS开关,此开关默认打开。 &...

2020-05-18 10:06:27 33 0

转载 kudu 使用杂记

impala 和 kuduClient 的选择 就查询来说,在我的使用过程中 impala 的查询速度要快于 kuduClient 的 scan。建议使用impala insert 的速度都很快 upsert/update/delete 如果用主键的话也都很快,但impala的并发性能比较差...

2020-05-13 15:21:52 41 0

转载 ThreadLocal 与 static 变量

参考文章:ThreadLocal 与static变量 ThreadLocal是为解决多线程程序的并发问题而提出的,可以称之为线程局部变量。与一般的变量的区别在于,生命周期是在线程范围内的。 static变量是的生命周期与类的使用周期相同,即只要类存在,那么static变量也就存在。 那么一个 s...

2020-05-13 14:44:46 36 0

原创 CDH之Kafka中彻底删除topic的配置

CDH中kafka想要在删除topic时,彻底删除,需要在kafka的配置页中进行如下配置: 设置 delete.topic.enable=true 设置完成后重启kafka即可。

2020-05-11 18:05:02 46 0

转载 Kafka的partions和replication-factor参数的理解

参考文章:Kafka的partions和replication-factor参数的理解 Topic在Kafka中是主题的意思,生产者将消息发送到主题,消费者再订阅相关的主题,并从主题上拉取消息。 在创建Topic的时候,有两个参数是需要填写的,那就是partions和replication-f...

2020-05-11 12:48:52 26 0

转载 kudu性能测试报告

参考文章:Kudu 原理、API使用、代码

2020-05-09 11:35:26 34 0

转载 Impala String函数大全

参考文章:Impala String函数大全 Impala字符串函数 Impala中字符串函数主要应用于 varchar、char、string类型,如果把varchar或者char类型的值传递给字符串函数,返回将是一个string类型的值 函数列表 base64encode(string...

2020-05-07 13:48:44 51 0

转载 impala之springBoot整合jdbc和Druid数据源

参考文章:SpringBoot整合JDBC和使用Druid数据源 目录结构 src ├───main │ ├───java │ │ └───com │ │ └───template │ │ ├───common # 公共部分 ...

2020-05-07 10:49:40 97 0

转载 Kudu在使用过程中的各种限制

参考文章:Kudu在使用过程中的各种限制 主键 表创建后,主键不能修改。必须删除重建表指定新的主键。 主键列必须在非主键列之前 主键列的值不能使用UPDATE函数修改。如果要修改主键的值只能删除该行重新插入。 DOUBLE、FLOAT或BOOL类型的列不能作为主键,此外,主键列必须为NO...

2020-05-07 10:34:36 40 0

转载 Kudu之Spark操作

参考文章: kudu之spark操作

2020-05-07 10:33:37 76 0

转载 Kudu之java操作

参考:kudu原理与使用 5、KUDU的java操作 5.1、导入依赖 <dependency> <groupId>org.apache.kudu</groupId> <artifactId>kudu-client</artif...

2020-05-07 09:51:21 52 0

转载 Kudu之SQL操作(KUDU&Impala基本操作)

参考文章:KUDU&Impala基本操作 使用impala对kudu进行DML操作 kudu insert data api 说明 通过Java client等其他方式在kudu中创建了某个表,要想对该表进行操作,需要在impala中创建外部表,将其映射到impala当中 S...

2020-05-07 09:50:14 195 0

转载 Impala和Hive的关系

参考文章:Impala和Hive的关系 Impala和Hive的关系   Impala是基于Hive的大数据实时分析查询引擎,直接使用Hive的元数据库Metadata,意味着impala元数据都存储在Hive的metastore中。并且impala兼容Hive的sql解析,实现了Hive的S...

2020-05-07 00:02:36 19 0

转载 CDH环境安装KUDU

参考文章:CDH环境安装KUDU 1.点击主机下面的Parcel 2.点击KUDU对应的下载,下载完后点击分配,激活 3.回到首页添加服务 4.选择KUDU选择继续 5.分配角色 6.设置master和Tablet的路径 7.配置impala支持KUDU 7...

2020-05-06 22:48:11 53 0

转载 CDH--kafka配置

参考:CDH 中配置 Kafka MirrorMaker 实现 Kafka 集群消息同步 1. 添加 Kafka MirrorMaker 服务 2. 添加 Kafka 源集群和目标集群配置 Destination Broker List :目标集群 Broker列表,需在目标集群先创...

2020-05-06 13:03:53 35 0

转载 Kudu yum安装

1.安装前提和准备 硬件: 一台或者多台机器跑kudu-master。建议跑一个master(无容错机制)、三个master(允许一个节点运行出错)或者五个master(允许两个节点出错)。 一台或者多台机器跑kudu-tserver。当需要使用副本,至少需要三个节点运行kudu-tserv...

2020-05-06 11:26:41 39 0

转载 Kudu架构概述和使用场景

架构概述 下图显示了一个具有三个 master 和多个 tablet server 的 Kudu 集群,每个服务器都支持多个 tablet。它说明了如何使用 Raft 共识来允许 master 和 tablet server 的 leader 和 follow。此外,tablet server ...

2020-05-06 11:18:02 27 0

转载 Kudu-Impala 集成特性,概念及术语

参考文章:kudu介绍及安装配置 Kudu-Impala 集成特性 CREATE/ALTER/DROP TABLE Impala 支持使用 Kudu 作为持久层来 creating(创建),altering(修改)和 dropping(删除)表。这些表遵循与 Impala 中其他表格相同的 ...

2020-05-06 11:15:42 53 0

转载 Kudu实践总结

参考:Kudu在使用过程中的各种限制 主键 表创建后,主键不能修改。必须删除重建表指定新的主键。 主键列必须在非主键列之前 主键列的值不能使用UPDATE函数修改。如果要修改主键的值只能删除该行重新插入。 DOUBLE、FLOAT或BOOL类型的列不能作为主键,此外,主键列必须为NOT ...

2020-05-06 11:07:28 41 0

转载 Idea 之 Scala 工程 添加 Library sources (intellij idea查看scala sdk的源代码)

参考文章:Library sources not found for scala-library in Intellij 下载源代码 点击这个链接:http://www.scala-lang.org/download/all.html; 选择需要的版本点击打开; 在新打开的网页下方找到源代码下...

2020-05-04 20:44:18 38 0

转载 Spark 提交任务详解(todo)

参考文章:Spark 提交任务详解 Running Spark on YARN cluster mode : $ ./bin/spark-submit --class org.apache.spark.examples.SparkPi \ --master yarn \ --depl...

2020-05-02 10:08:48 104 0

转载 java Web提交Spark任务(todo)

参考文件:Java Web提交任务到Spark Spark通过Java Web提交任务 windows7 (包含JDK1.8,MyEclipse2014,IntelliJ IDEA14,TOmcat7); centos6.6虚拟机(Hadoop伪分布式集群,SparkstandAlone集群,...

2020-05-02 10:07:32 39 0

转载 Kudu集群离线自定义安装

参考文章:Apache Kudu集群安装 安装Kudu集群必须是奇数的集群,建议用一个主节点(无容错)或者三个主节点(可以允许容错一个),双主机部署无容错功能。集群环境: 节点 主机名 角色 192.168.11.70 hnode1 Master Server、Ta...

2020-05-02 09:53:56 179 0

转载 Centos7 安装配置NTP服务

一、安装NTP yum -y install ntp 二、设置开机启动 chkconfig ntpd on 三、配置内网NTP Server 1、修改ntp.conf vi /etc/ntp.conf 第一种配置: 允许任何IP的客户机都可以进行时间同步 将 restri...

2020-05-01 11:33:29 109 0

转载 kudu使用方法

使用方法: 可通过Java client、C++ client、Pythonclient操作kudu表,但要构建client并编写应用程序; 可通过kudu-spark包集成kudu与spark,并编写spark应用程序来操作kudu表; 可通过impala的shell对kudu表进行交互...

2020-05-01 10:11:41 135 0

转载 数据库架构设计的三种模式

参考文章:数据库架构设计的三种模式:share nothing , share everythong , share disk Share-Nothing架构原理 背景介绍 Share nothing理论在数据库设计和优化中的实践应用,首先介绍share nothing概念。最早接触它是在 ...

2020-05-01 09:59:11 168 0

原创 linux统计某类进程所占内存之和

#!/bin/bash #说明: 文件名称 htop_postgres.sh # 下面代码统计 postgres进程所占内存之和 # 可将postgers参数化: # p_name=$1 # ps aux | grep $p_name | sort -r -k4 | awk '...

2020-04-30 16:37:16 29 0

转载 Hbase简介

Hbase的优点: 列的可以动态增加,并且列为空就不存储数据,节省存储空间. Hbase自动切分数据,使得数据存储自动具有水平scalability. Hbase可以提供高并发读写操作的支持 Hbase的缺点: 单一RowKey固有的局限性决定了它不可能有效地支持多条件查询[2] 不适合...

2020-04-30 08:45:56 33 0

提示
确定要删除当前文章?
取消 删除