qq_36382679的博客

原创 算法题，求台阶问题

算法题，求台阶问题有n阶楼梯，你每次只能爬1或2阶楼梯，能有多少种方法!记到达第n级的总数为sum(n),那么sum(n)=？就是我们要求的分析：假设现在已经到达了第n级，哪上一次只能从第n-1或者第n-2级上来的因为每次只能爬1 或2 级，那么sum(n) = sum(n-1)+ sum(n-2)sum(n-1) = sum(n-2)+ sum(n-3)sum(n-2) = sum(n-3)+ sum(n-4)…sum(3) = sum(1)+ sum(2)sum(2)=2sum(

原创 Scala中的函数的定义方式

Scala中的函数的定义方式1.完整语法val 函数名 :(参数类型)=>返回值类型 = (参数名称:参数类型)=>{函数体}val add1:(Int,Int)=>Int =(a:Int,b:Int)=>{a +b}2.简写语法val 函数名 = (参数名称:参数类型)=>{函数体}val add2 =(a:Int,b:Int)=>{a +b }定义一个方法,该方法接收2个int值,和1个函数,并在方法体中调用该函数,将2个int值传个该函数 de

原创 蒙特卡罗算法

蒙特卡罗算法求圆周率import java.util.Scanner;public class MonteCarlo { // 蒙特卡罗算法 static double MontePI(int n) { double x, y; int sum = 0;//记录落在阴影部分的点的个数 for (int i = 0; i < n; i++) { // 产生0~1之间的一个随机数 x = Math.random();

原创 五种线程创建方式

五种线程创建方式Java 提供了三种创建线程的方法：通过实现 Runnable 接口；通过继承 Thread 类本身；通过 Callable 和 Future 创建线程。还有定时器线程池public class ThreadStartTest { public static void main(String[] args) throws ExecutionException, InterruptedException { System.out.print("主线程（main

原创 0725 Scala--高级语法--part4

原创 Scala Actor并发编程模型

Scala Actor并发编程模型1. Actor介绍Scala中的Actor并发编程模型可以用来开发比Java线程效率更高的并发程序。我们学习Scala Actor的目的主要是为后续学习Akka做准备。1.1 Java并发编程的问题在Java并发编程中，每个对象都有一个逻辑监视器（monitor），可以用来控制对象的多线程访问。我们添加sychronized关键字来标记，需要进行同步加锁访问。这样，通过加锁的机制来确保同一时间只有一个线程访问共享数据。但这种方式存在资源争夺、以及死锁问题，程序越

原创 0724 Scala--面对对象编程--part3

原创 scala中trait的构造机制

原创 java中的零拷贝原理图

原创 Scala中的下划线使用总结

原创 Scala 中的协变、逆变、非变图解

原创 HBase 和 和 Hive 对比

原创 0722Scala--基础语法--part2

原创 Scala中Set和List和Array和Map区别

原创 Scala中reduce和fold图解

原创 Scala中BufferList添加和删除都是返回一个新的集合

原创 0721Scala--基础语法

原创 Scala中的类型层次结构

原创 分布式缓存常见问题--第二版

原创 Flume当中的事务问题

原创 Redis的三种架构图解

原创 Redis的应用图解

原创 预分区、Rowkey的设计

原创 ElasticSearch存储过程读流程-写流程

原创 大数据中各种软件的启动和关闭指令--第二版本

第二版本第一版本

原创 搜索引擎介绍和ES集群shard和replicas分布图

ES集群shard和replicas分布图

原创 大数据中各软件的功能和应用

原创 通过分析 JDK 源代码研究 TreeMap 红黑树算法实现

通过分析 JDK 源代码研究 TreeMap 红黑树算法实现了解 TreeMap 和 TreeSet 以及二者之间的关系TreeMap实现SortedMap接口，能够把它保存的记录根据键排序，默认是按键值的升序排序，也可以指定排序的比较器，但用iterator遍历TreeMap时，得到的记录是排过序的。如果使用排序的映射，建议使用TreeMap。在使用TreeMap时，key必须实现Comparable接口或者在构造TreeMap传入自定义的Comparator，否则会在运行时抛出java.lang

原创 java面试之ConcurrentHashMap

ConcurrentHashMapSegment段ConcurrentHashMap和HashMap思路差不多的，但是因为他支持并发操作，所以要复杂一些，整个ConcurrentHashMap由一个个Segment组成，Segment代表“部分” 或者“一段”的意思，所以很多地方都会将其描述为 分段锁。线程安全(Segment继承ReentrantLock加锁)简单理解就是，ConcurrentHashMap是一个segment数组，segment通过继承ReentrantLock来进行加锁，所以每

原创 java面试之HashMap

java面试之HashMapHashMap根据键的hashCode值存储数据，大多数情况下可以直接定位到他的值，因而具有很快的访问速度，但遍历顺序却是不确定的。HashMap最多只允许一条记录的键为null，允许多条记录的值为null。HashMap非线程安全，即任一时刻可以有多个线程同时写HashMap，可能会导致数据的不一致，如果需要满足线程安全，可以用Coleections的synchronizedMap方法使HashMap具有线程安全的能力，或者使ConcurrentHashMap。我们用下面这

原创 bulkload批量加载数据到HBase

bulkload批量加载数据到HBase模板代码需求：将hdfs上/hbase/input/user.txt的数据文件，转换成HFile格式，然后load到myuser2这张表里面去。首先通过MapReduce读取hdfs上数据，把数据输出成为Hfile格式文件1 LoadMapperpublic class LoadMapper extends Mapper<LongWritable, Text, ImmutableBytesWritable, Put>{ @Override

原创 HBase种的过滤器

HBase中的过滤器过滤器的种类很多，但是可以分为两大类(比较过滤器和专用过滤器)过滤器的作用是在服务端判断数据是否满足条件，然后只将满足条件的数据返回给客户端。1 CompareFilter.CompareOp public enum CompareOp { /** less than */ LESS, /** less than or equal to */ LESS_OR_EQUAL, /** equals */ EQUAL, /**

原创 Hbase java API操作(模板代码)

Hbase java API操作1 创建maven工程 导入jar包<repositories> <repository> <id>cloudera</id> <url>https://repository.cloudera.com/artifactory/cloudera-repos/</url> </repository> &lt

原创 读取HDFS数据写入HBase中java模板代码

读取HDFS数据写入HBase中java模板代码读取hdfs路径/hbase/input/user.txt内容如下:0007 zhangsan 180008 lisi 250009 wangwu 201 使用mapper读取HDFS上的数据 读取一行不做任何处理发送给reducerpublic class HDFS2HBaseMapper extends Mapper<LongWritable,Text ,Text, NullWritable> { /**

原创 读取HBase表数据写入HBase模板代码

读取HBase表数据写入HBase模板代码需求：读取HBase当中一张表的数据，然后将数据写入到HBase当中的另外一张表当中去。这里将myuser这张表当中f1列族的name和age字段写入到myuser2这张表的f1列族当中去1Maven工程的pom.xml<repositories> <repository> <id>cloudera</id> <url>https://repo

原创 kafka使用javaAPI实现消息的发送与接收

kafka使用javaAPI实现消息的发送与接收(入门)1 pom依赖<properties> <scala.version>2.11</scala.version> <slf4j.version>1.7.21</slf4j.version> <kafka.version>2.0.0</kafka.version> <lombok.version&gt

原创 hive种UDF UDTF UDAF 分别表示什么意思？

hive种UDF UDTF UDAF 分别表示什么意思？UDFUser-Defined-Function普通函数 一进一出UDAFUser-Defined Aggregation Function聚合函数，多进一出collect_set()，collect_list()UDTFUser-Defined Table-Generating Functions表生成函数 一进多出json_tuple，parse_url_tuple，split, explode.

原创 Hive SQL练习题

原创 Hbase架构图 第二版本+HBase的三核心机制

原创 spark总结（未完待续）