2018年06月_七分正经

11月 10月 09月 08月 06月

转载 HashSet的实现原理

Set的实现类的集合对象中不能够有重复元素，HashSet也一样他是使用了一种标识来确定元素的不重复，HashSet用一种算法来保证HashSet中的元素是不重复的， HashSet采用哈希算法，底层用数组存储数据。默认初始化容量16，加载因子0.75 Object类中的hashCode()的方法是所有子类都会继承这个方法，这个方法会用Hash算法算出一个Hash（哈希）码值返...

2018-06-26 11:52:26 1532

最近面试中被问及Java中HashMap的原理，瞬间无言以对，因此痛定思痛觉得研究一番。一、Java中的hashCode和equals1、关于hashCodehashCode的存在主要是用于查找的快捷性，如Hashtable，HashMap等，hashCode是用来在散列存储结构中确定对象的存储地址的如果两个对象相同，就是适用于equals(java.lang.Object) 方法，那么这两个对象...

2018-06-26 11:47:10 105

原创【Scala】scala读取配置文件

object Test { def main(args: Array[String]): Unit ={ val prop = new Properties() val inputStream = Test.getClass.getClassLoader.getResourceAsStream("spark-conf.properties") ...

2018-06-21 14:25:26 7879 1

转载【Spark】Spark将计算结果写入到Mysql中

今天主要来谈谈如果将Spark计算的结果写入到Mysql或者其他的关系型数据库里面。其实方式也很简单，代码如下： package scala import java.sql.{DriverManager, PreparedStatement, Connection} import org.apache.spark.{SparkContext, SparkConf} object RDDto...

2018-06-20 16:33:23 1090

原创【Spark】Spark连接mysql数据库

package com.menkoudai.loan.data.spark.scala import java.sql.{Connection, DriverManager, PreparedStatement} import java.util.Properties import org.apache.spark.sql.{DataFrame, SQLContext} import org....

2018-06-20 14:44:47 1283

原创【Spark】Spark之读取Hbase数据库表并写入文件

import org.apache.hadoop.hbase.HBaseConfiguration import org.apache.hadoop.hbase.client.{HBaseAdmin, Result} import org.apache.hadoop.hbase.io.ImmutableBytesWritable import org.apache.hadoop.hbase.ma...

2018-06-19 18:36:02 1479

原创【Spark】IDEA在本地运行wordCount spark程序报错：Exception in thread "main" java.lang.UnsatisfiedLinkError

开发环境： hadoop-2.7.3 spark-2.2.1 scala-2.11.11 jdk-1.8 报错信息如下： Exception in thread "main" java.lang.UnsatisfiedLinkError:org.apache.hadoop.util.NativeCrc32.nativeComputeChunkedSums...

2018-06-19 15:30:06 1762

原创【Azkaban】高版本azkaban部署

Azkaban介绍 Azkaban是由Linkedin开源的一个批量工作流任务调度器。用于在一个工作流内以一个特定的顺序运行一组工作和流程。Azkaban定义了一种KV文件格式来建立任务之间的依赖关系，并提供一个易于使用的web用户界面维护和跟踪你的工作流。它有如下功能特点： Web用户界面方便上传工作流方便设置任...

2018-06-19 15:04:24 2105

Ambari2.7.4 HDP-3.1.4(hortonworks集群安装).docx

Ambari是一个基于web的工具，用于配置、管理和监视Hadoop集群，支持HDFS、MapReduce、Hive、HCatalog,、HBase、ZooKeeper、Kafka、Oozie、Pig、Sqoop和Spark等服务。Ambari同样还提供了集群状况仪表盘，以友好的用户界面对它们的性能特性进行诊断。

2020-12-18