- 博客(38)
- 资源 (47)
- 收藏
- 关注
RSS订阅转载 java代码混淆(使用 ProGuard 工具)
参考文章：ProGuard简介 ProGuard 是一个压缩（shrink）、优化（optimize）和混淆（obfuscate） Java 字节码文件的免费的工具。它可以删除无用的类、字段、方法和属性，可以删除没用的注释，最大限度地优化字节码文件。它还可以使用简短的无意义的名称来重命名已经存在的类、字段、方法和属性。常常用于Android 开发用于混淆最终的项目，增加项目被反编译的难度。主要流程如下：ProGuard 会对输入的 JAR 文件按照压缩、优化、混淆、预验证的...
2020-05-29 16:20:13
1702
转载 java代码混淆(使用 ProGuard maven插件)
java代码可以反编译，因此有时候要保护自己的知识产权还真得费点心思，一般来说有三个思路： 1、将class文件加密，这个是最安全的，但也费事儿，因为要重写classloader来解密class文件； 2、使用花指令，使得class文件不能反编译（利用反编译工具漏洞)；安全性一般，还是有花指令破解器； 3、代码混淆，提高代码阅读成本；简单易操作，一般采用这种或者与其它方式结合； 我们项目中用到的即为代码混淆工具ProGuard，相关文章参考： http://blog.csdn.
2020-05-29 15:26:44
6197
4
转载 数据库里账号的密码，这样存放最安全！
参考文章：数据库里账号的密码，这样存放最安全！最早在大学的时候，只知道用 MD5 来存用户的账号的密码，但其实这非常不安全，而所用到的哈希函数，深入挖掘，也发现并不简单……一、普通的 Hash 函数哈希（散列）函数是什么就不赘述了。1、不推荐RC4, MD4, MD5, SHA-0, SHA-1, DES, 2DES 等2、推荐SHA-2(SHA-256, SHA-384, SHA-512)、SHA-3、Blake2 等美国国家标准和技术协会（NIST）宣布，2010 年后
2020-05-29 10:15:03
1587
转载 密集索引和稀疏索引的区别
参考文章：密集索引和稀疏索引的区别区别秘籍索引文件中的每个搜索码值都对应一个索引值 稀疏索引文件只为索引码的某些值建立索引项密集索引的定义：叶子节点保存的不只是键值，还保存了位于同一行记录里的其他列的信息，由于密集索引决定了表的物理排列顺序，一个表只有一个物理排列顺序，所以一个表只能创建一个密集索引稀疏索引：叶子节点仅保存了键位信息以及该行数据的地址，有的稀疏索引只保存了键位信息机器主键mysam存储引擎，不管是主键索引，唯一键索引还是普通索引都是稀疏索引innodb存储
2020-05-29 09:39:16
523
转载 CDH在yarn上运行程序乱码
参考文章：CDH在yarn上运行程序乱码安装完成CDH后，在yarn上不管是使用hive运行mapreduce还是spark，中文全都会乱码。1. linux的环境变量设置字符集vi /etc/profileexport LANG=zh_CN.UTF-82. 修改mapreduce的环境变量hadoop-env.shexport HADOOP_OPTS="-server -Dfile.encoding=utf-8 -Duser.language=zh"CM界面yarn配
2020-05-28 17:18:43
1034
1
转载 Java终止线程的三种方式
参考文章：Java终止线程的三种方式停止一个线程通常意味着在线程处理任务完成之前停掉正在做的操作，也就是放弃当前的操作。在 Java 中有以下 3 种方法可以终止正在运行的线程：使用退出标志，使线程正常退出，也就是当 run() 方法完成后线程中止。 使用 stop() 方法强行终止线程，但是不推荐使用这个方法，该方法已被弃用。 使用 interrupt 方法中断线程。1. 使用标志位终止线程在 run() 方法执行完毕后，该线程就终止了。但是在某些特殊的情况下，run() 方法
2020-05-26 10:43:29
3263
转载 Spark-利用SparkLauncher 类以JAVA API 编程的方式提交spark job
参考文章：Spark-利用SparkLauncher 类以JAVA API 编程的方式提交spark job一.环境说明和使用软件的版本说明:hadoop-version:hadoop-2.9.0.tar.gzspark-version:spark-2.2.0-bin-hadoop2.7.tgzjava-version:jdk1.8.0_151集群环境：单机伪分布式环境。二.适用背景在学习Spark过程中，资料中介绍的提交Spark Job的方式主要有两种（我所知道的）：..
2020-05-22 09:33:27
760
转载 springboot基于spark-launcher构建rest api远程提交spark任务
参考文章：使用springboot构建rest api远程提交spark任务github代码链接：github地址1. spark集群及版本信息服务器版本：centos7hadoop版本：2.8.3spark版本：2.3.3使用springboot构建rest api远程提交spark任务，将数据库中的表数据存储到hdfs上，任务单独起一个项目，解除与springboot项目的耦合2. 构建springboot项目1. pom配置 <properties> ...
2020-05-21 22:10:47
2809
转载 Spark创建DataFrame的几种方式
参考文章：Spark创建DataFrame的几种方式创建DataFrame的几种方式如要生成如下的DataFrame数据+----+---+-----------+|name|age| phone|+----+---+-----------+|ming| 20|15552211521||hong| 19|13287994007|| zhi| 21|15552211523|+----+---+-----------+1234567第一种：通过Seq生成val ...
2020-05-21 21:04:34
739
转载 Scala中class、object、case class、case object区别
参考文章：Scala中class、object、case class、case object区别/** class、object、case class、case object区别 * * class 类似Java中的class； * object Scala不能定义静态成员，用定义单例对象代之； * case class被称为样例类，是一种特殊的类，常被用于模式匹配。 * * 一、class 和 object 关系： * 1.单例对象不能带参数，类可以 * 2.对象可以
2020-05-20 16:14:05
836
转载 修改运行中的docker容器的端口映射和挂载目录
参考文章：如何修改运行中的docker容器的端口映射和挂载目录方法一：删除原有容器，重新建新容器这个解决方案最为简单，把原来的容器删掉，重新建一个。当然这次不要忘记加上端口映射。优缺点：优点是简单快捷，在测试环境使用较多。缺点是如果是数据库镜像，那重新建一个又要重新配置一次，就比较麻烦了。方法二：修改容器配置文件，重启docker服务容器的配置文件路径：/var/lib/docker/containers/[hash_of_the_container]/hostconfig.jso
2020-05-20 09:30:24
2377
转载 Impala之JDBC连接
参考文章：Impala之JDBC连接简介首先选择节点，Impala Daemon（守护进程）的作用是接收来自HUE、shell、jdbc等的连接，分配计算任务并汇总结果返回。连接Impala的节点就选Impala Daemon节点。 impala的主流连接方式有两种，一种是impala的专用jdbc，需要下载ImpalaJDBC41.jar（官网下载要填各种信息，有点麻烦），另一种是只需hive的pom依赖，改动端口和添加认证方式即可：hive的pom依赖：<!--</d
2020-05-18 14:44:49
1868
转载 WebHDFS与HttpFS的使用
参考：WebHDFS与HttpFS的使用WebHDFS介绍提供HDFS的RESTful接口，可通过此接口进行HDFS文件操作。安装WebHDFS服务内置在HDFS中，不需额外安装、启动。配置需要在hdfs-site.xml打开WebHDFS开关，此开关默认打开。<property> <name>dfs.webhdfs.enabled</name> <value>true</value></p
2020-05-18 10:06:27
911
转载 kudu 使用杂记
impala 和 kuduClient 的选择就查询来说，在我的使用过程中 impala 的查询速度要快于 kuduClient 的 scan。建议使用impala insert 的速度都很快 upsert/update/delete 如果用主键的话也都很快，但impala的并发性能比较差，所以这种操作尽量用 kuduClient 的原生 api 进行操作 原生 api update、delete、upsert 只能根据主键操作，如果需要其他条件则需要查询一下，拿到主键再进行操作，所以不如impa
2020-05-13 15:21:52
1159
1
转载 ThreadLocal 与 static 变量
参考文章：ThreadLocal 与static变量ThreadLocal是为解决多线程程序的并发问题而提出的，可以称之为线程局部变量。与一般的变量的区别在于，生命周期是在线程范围内的。static变量是的生命周期与类的使用周期相同，即只要类存在，那么static变量也就存在。那么一个 static 的 ThreadLocal会是什么样的呢？看下面一个例子，publicclassSequenceNumber{privatestaticThreadLocal<Inte...
2020-05-13 14:44:46
3630
1
原创 CDH之Kafka中彻底删除topic的配置
CDH中kafka想要在删除topic时，彻底删除，需要在kafka的配置页中进行如下配置：设置 delete.topic.enable=true设置完成后重启kafka即可。
2020-05-11 18:05:02
1052
转载 Kafka的partions和replication-factor参数的理解
参考文章：Kafka的partions和replication-factor参数的理解Topic在Kafka中是主题的意思，生产者将消息发送到主题，消费者再订阅相关的主题，并从主题上拉取消息。在创建Topic的时候，有两个参数是需要填写的，那就是partions和replication-factor。partions 主题分区数。kafka通过分区策略，将不同的分区分配在一个集群中的broker上，一般会分散在不同的broker上，当只有一个broker时，所有的分区就只分配到该Brok.
2020-05-11 12:48:52
1719
转载 Impala String函数大全
参考文章：Impala String函数大全Impala字符串函数Impala中字符串函数主要应用于 varchar、char、string类型，如果把varchar或者char类型的值传递给字符串函数，返回将是一个string类型的值函数列表base64encode(string str)base64decode(string str)加密和解密,返回值为4字节的倍数，可以...
2020-05-07 13:48:44
998
转载 impala之springBoot整合jdbc和Druid数据源
参考文章：SpringBoot整合JDBC和使用Druid数据源目录结构src├───main│ ├───java│ │ └───com│ │ └───template│ │ ├───common # 公共部分│ │ ├───config # 配置、数据源│ │ ...
2020-05-07 10:49:40
2453
转载 Kudu在使用过程中的各种限制
参考文章：Kudu在使用过程中的各种限制主键表创建后，主键不能修改。必须删除重建表指定新的主键。 主键列必须在非主键列之前 主键列的值不能使用UPDATE函数修改。如果要修改主键的值只能删除该行重新插入。 DOUBLE、FLOAT或BOOL类型的列不能作为主键，此外，主键列必须为NOT NULL。 不支持自动生成的主键（如自增列） 组合主键的所有列在编码后，大小不能大于16K列...
2020-05-07 10:34:36
1483
转载 Kudu之java操作
参考：kudu原理与使用5、KUDU的java操作5.1、导入依赖<dependency> <groupId>org.apache.kudu</groupId> <artifactId>kudu-client</artifactId> <version>${kudu.version}<...
2020-05-07 09:51:21
940
1
转载 Kudu之SQL操作(KUDU&Impala基本操作)
参考文章：KUDU&Impala基本操作使用impala对kudu进行DML操作kudu insert data api说明通过Java client等其他方式在kudu中创建了某个表,要想对该表进行操作,需要在impala中创建外部表,将其映射到impala当中SQL操作通过impala对kudu进行sql操作创建表(creat)：CREATE TA...
2020-05-07 09:50:14
10093
4
转载 Impala和Hive的关系
参考文章：Impala和Hive的关系Impala和Hive的关系 Impala是基于Hive的大数据实时分析查询引擎，直接使用Hive的元数据库Metadata,意味着impala元数据都存储在Hive的metastore中。并且impala兼容Hive的sql解析，实现了Hive的SQL语义的子集，功能还在不断的完善中。与Hive的关系 Impala 与Hive都是构建...
2020-05-07 00:02:36
202
转载 CDH环境安装KUDU
参考文章：CDH环境安装KUDU1.点击主机下面的Parcel2.点击KUDU对应的下载，下载完后点击分配，激活3.回到首页添加服务4.选择KUDU选择继续5.分配角色6.设置master和Tablet的路径7.配置impala支持KUDU7.1 点击impala7.2 点击配置7.3 找到KUDU服务，选择Kudu然后重启服...
2020-05-06 22:48:11
844
转载 CDH--kafka配置
参考：CDH 中配置 Kafka MirrorMaker 实现 Kafka 集群消息同步1. 添加 Kafka MirrorMaker 服务2. 添加 Kafka 源集群和目标集群配置Destination Broker List ：目标集群 Broker列表，需在目标集群先创建需要同步 Topic Source Broker List ：源集群 Broker 列表 To...
2020-05-06 13:03:53
1645
1
转载 Kudu yum安装
1.安装前提和准备硬件：一台或者多台机器跑kudu-master。建议跑一个master(无容错机制)、三个master(允许一个节点运行出错)或者五个master(允许两个节点出错)。 一台或者多台机器跑kudu-tserver。当需要使用副本，至少需要三个节点运行kudu-tserver服务。操作系统(主要是linux系统，windows系统不支持)：RHEL 6, RHEL ...
2020-05-06 11:26:41
646
转载 Kudu架构概述和使用场景
架构概述下图显示了一个具有三个 master 和多个 tablet server 的 Kudu 集群，每个服务器都支持多个 tablet。它说明了如何使用 Raft 共识来允许 master 和 tablet server 的 leader 和 follow。此外，tablet server 可以成为某些 tablet 的 leader，也可以是其他 tablet 的 follower。lea...
2020-05-06 11:18:02
1047
转载 Kudu-Impala 集成特性，概念及术语
参考文章：kudu介绍及安装配置Kudu-Impala 集成特性CREATE/ALTER/DROP TABLEImpala 支持使用 Kudu 作为持久层来 creating（创建），altering（修改）和 dropping（删除）表。这些表遵循与 Impala 中其他表格相同的 Internal / external（内部 / 外部）方法，允许灵活的数据采集和查询。INSER...
2020-05-06 11:15:42
562
转载 Kudu实践总结
参考：Kudu在使用过程中的各种限制主键表创建后，主键不能修改。必须删除重建表指定新的主键。 主键列必须在非主键列之前 主键列的值不能使用UPDATE函数修改。如果要修改主键的值只能删除该行重新插入。 DOUBLE、FLOAT或BOOL类型的列不能作为主键，此外，主键列必须为NOT NULL。 不支持自动生成的主键（如自增列） 组合主键的所有列在编码后，大小不能大于16K列...
2020-05-06 11:07:28
3539
转载 Idea 之 Scala 工程 添加 Library sources （intellij idea查看scala sdk的源代码）
参考文章：Library sources not found for scala-library in Intellij下载源代码点击这个链接：http://www.scala-lang.org/download/all.html；选择需要的版本点击打开；在新打开的网页下方找到源代码下载项：在intellij idea设置指向源代码在intellij中打开File –&...
2020-05-04 20:44:18
1987
转载 Spark 提交任务详解(todo)
参考文章：Spark 提交任务详解Running Spark on YARNcluster mode :$ ./bin/spark-submit --class org.apache.spark.examples.SparkPi \ --master yarn \ --deploy-mode cluster \ --driver-memory 4g \ ...
2020-05-02 10:08:48
547
转载 java Web提交Spark任务(todo)
参考文件：Java Web提交任务到Spark Spark通过Java Web提交任务windows7 （包含JDK1.8，MyEclipse2014，IntelliJ IDEA14，TOmcat7）；centos6.6虚拟机（Hadoop伪分布式集群，SparkstandAlone集群，JDK1.8）；centos7虚拟机（Tomcat，JDK1.8）；1.场景1. wind...
2020-05-02 10:07:32
630
转载 Kudu集群离线自定义安装
参考文章：Apache Kudu集群安装安装Kudu集群必须是奇数的集群，建议用一个主节点（无容错）或者三个主节点（可以允许容错一个），双主机部署无容错功能。集群环境：节点 主机名 角色 192.168.11.70 hnode1 Master Server、Tablet Server 192.168.11.71 hnode2 Master S...
2020-05-02 09:53:56
1333
1
转载 Centos7 安装配置NTP服务
一、安装NTPyum -y install ntp二、设置开机启动chkconfig ntpd on三、配置内网NTP Server1、修改ntp.confvi /etc/ntp.conf第一种配置：允许任何IP的客户机都可以进行时间同步 将restrict default kod nomodify notrap nopeer noquery这行修改...
2020-05-01 11:33:29
16007
转载 kudu使用方法
使用方法：可通过Java client、C++ client、Pythonclient操作kudu表，但要构建client并编写应用程序； 可通过kudu-spark包集成kudu与spark，并编写spark应用程序来操作kudu表； 可通过impala的shell对kudu表进行交互式的操作，因为impala2.8及以上的版本已经集成了对kudu的操作。下面主要讲述基于impala的...
2020-05-01 10:11:41
956
转载 数据库架构设计的三种模式
参考文章：数据库架构设计的三种模式：share nothing , share everythong , share diskShare-Nothing架构原理背景介绍Share nothing理论在数据库设计和优化中的实践应用，首先介绍share nothing概念。最早接触它是在 DataBaseManagentSystem一书的并行数据库章节中。并行数据库要求尽可能的去并行执行数...
2020-05-01 09:59:11
1742
gcc rpm安装包
2021-02-20
crontabs_pack
2021-02-20
initscripts.zip
2021-02-20
centos7.4 postgresql11-11.8 rpm 安装包
2020-11-14
service命令 安装包
2020-11-14
ImpalaJDBC42-2.6.17.1020.jar
2020-05-18
logstash-7.6.0.tar.gz
2020-02-23
logstash-7.6.0.rpm
2020-02-23
docker离线rpm包-use.rar
2019-10-30
elasticHD_darwin_amd64
2019-02-28
elasticHD_linux_amd64
2019-02-28
elasticHD_windows_amd64
2019-02-28
cdh-7.1.7, cm7.4.4离线安装包
2023-11-24
jdk-8u291-x64.rar
2021-05-10
net-tools-2.0-0.51.20160912git.el8.x86_64.rpm
2021-02-20
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人