自定义博客皮肤

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

代码生成工具:

代码自动生成工具layuicodetool

2019-09-20 23:47:40

阅读数 0

评论数 0

无符号数1的个数

编写一个函数,输入是一个无符号整数,返回其二进制表达式中数字位数为 ‘1’的个数(也被称为汉明重量)。 解法: 如果某一位是11,将计数器加一。 我们使用位掩码来检查数字的第i^{th}ith位。一开始,掩码m=1m=1因为11的二进制表示是 00000000000000000000000...

2019-09-20 23:26:34

阅读数 0

评论数 0

主键问题

CREATE TABLE productnotes ( note_id int NOT NULL , prod_id char(10) NOT NULL, note_date date NOT NULL, note_text char(500) NULL , ...

2019-09-20 19:19:11

阅读数 1

评论数 0

spark 性能调优

总结一下个人看了一些Spark性能调优文章之后的理解,主要框架来自于meituantech,会在此框架上加入个人关注点,目录如下, 0. Overview 1. 开发调优 - 避免创建重复的RDD - 尽可能复用同一个RDD - 对多次使用的RDD进行持久化 - 尽量避...

2019-09-20 13:28:10

阅读数 0

评论数 0

hbase 性能调优

1. 表的设计 1.1 Pre-Creating Regions 默认情况下,在创建HBase表的时候会自动创建一个region分区,当导入数据的时候,所有的HBase客户端都向这一个region写数据,直到这个region足够大了才进行切分。一种可以加快批量写入速度的方法是通过预先创建一些空...

2019-09-19 23:42:59

阅读数 1

评论数 0

kafka 性能参数优化

1.partition数量配置 partition数量由topic的并发决定,并发少则1个分区就可以,并发越高,分区数越多,可以提高吞吐量。 创建topic时指定topic数量 推荐一款kafka监控工具kafkatool ,可用来创建topic。 2.日志保留策略设置 #当kafk...

2019-09-19 23:17:57

阅读数 1

评论数 0

spark mini 0.1 分析

Spark-alpha-0.1源码解读 2018.06.03 16:45:31字数 535阅读 104 Spark 0.1是spark开源的第一个版本,本文主要从组成类、如何触发执行、如何具体执行这几个方面进行分析。 主要组成类: 1.RDD,其中RDD主要包含两种类型的函数,一种供用户使...

2019-09-19 12:37:57

阅读数 4

评论数 0

bit 位逆转

public intreversBIts(int n){ int result=0; for(int i=0;i<=32;i++){ int tmp=n>>1i; tmp=tmp&1; temp=tmp<&l...

2019-09-19 00:25:33

阅读数 2

评论数 0

Weka源码分析:

WEKA作为一个公开的数据挖掘工作平台,集合了大量能承担数据挖掘任务的机器学习算法,包括对数据进行预处理,分类,回归、聚类、关联规则以及在新的交互式界面上的可视化。 Weka是一个开源的软件,阅读并理解其源代码可以帮助我们更好的理解算法的细节,同时也能够扩展其算法以获得更广泛的应用。但是现在公开...

2019-09-19 00:14:20

阅读数 6

评论数 0

Kylin 源码分析

最近在工作中用到了kylin,相关资料还不是很多,关于源码的更是少之又少,于是结合《kylin权威指南》、《基于Apache Kylin构建大数据分析平台》、相关技术博客和自己对部分源码的理解进行了整理。 一、工作原理 每一个Cube都可以设定自己的数据源、计算引擎和存储引擎,这些设定信息均保存...

2019-09-18 23:04:17

阅读数 5

评论数 0

spark 源码分析

2.3 SPARK基本设计思想 2.3.1 模块设计 整个Spark主要由以下模块组成: qSpark Core:Spark的核心功能实现,包括:SparkContext的初始化(Driver Application通过SparkContext提交)、部署模式、存储体系、任务提交与执行、计算...

2019-09-18 22:39:08

阅读数 5

评论数 0

Vm 参数调优

${jrebel_args} -Dcatalina.base="D:\tomcat\tomact8.0.36" -Dcatalina.home="D:\tomcat\tomact8.0.36" -Dwtp.deploy="D:\tomcat\tom...

2019-09-18 19:07:54

阅读数 9

评论数 0

一个小bug

写入这个方法导入包没反应了, 后来用main 试一下,结果证明是自己的成员方法属性不能引用到类的静态方法。 失败呀。

2019-09-18 17:46:45

阅读数 11

评论数 0

189. 旋转数组

给定一个数组,将数组中的元素向右移动k个位置,其中k是非负数。 示例 1: 输入: [1,2,3,4,5,6,7] 和 k = 3 输出: [5,6,7,1,2,3,4] 解释: 向右旋转 1 步: [7,1,2,3,4,5,6] 向右旋转 2 步: [6,7,1,2,3,4,5] 向右旋转 ...

2019-09-16 00:22:36

阅读数 4

评论数 0

hbase demo 版本

hbase 的架构已经很明确了,论文中已经提到了, 下面看一下,HRegion Sever架构图 0.94之前的版本 WAL: 即Write Ahead Log, 是HDFS上一个文件,早期版本中称为HLog,用以存储尚未进行持久化的数据。 所有写操作都会先保证将数据写入这个Log文件后...

2019-09-15 23:55:49

阅读数 8

评论数 0

hbase源码系列(三)Client如何找到正确的Region Server

  客户端在进行put、delete、get等操作的时候,它都需要数据到底存在哪个Region Server上面,这个定位的操作是通过HConnection.locateRegion方法来完成的。 loc = hConnection.locateRegion(this.tableName, r...

2019-09-15 23:08:22

阅读数 8

评论数 0

阶乘的素因子个数

给定一个整数n,返回n! 结果尾数中零的数量。 code: public int tringZerls(){ int res=0; while(n>=5){ res +=n/5; n/=5; } return res; }

2019-09-15 00:21:09

阅读数 7

评论数 0

Hbase demo 开发版本测试:

1.下载代码版本: 2.架构分析: 3.基础知识: PRC 调用, IO模型: 4.源码分析: 主要基于四大组件完成,client,和 zk 相对简单。主要分析: habse master 和hbase regionserver: hbase reiginonserver...

2019-09-14 23:27:47

阅读数 7

评论数 0

HBASE 实现论文

1.背景介绍 Bigtable通常放在大数据课程NoSQL中,NoSQL解决方案主要落实在两个领域:(1)key-value形式,其代表是Bigtable和Dynamo;(2)Scheme-less形式,代表是Cassandra(接下来也会分享到Cassandra相关论文)。其中Cassandra...

2019-09-14 18:24:16

阅读数 15

评论数 0

Hbase 源码分析——Server

Hbase是kv存储,但是逻辑上我们可以把存储在hbase上的kv数据当成表,rowkey可以认为是表的主键。为了便于分布式操作,hbase会把表横向切分成一块一块的数据,而每块就是一个Region。为了提供在线服务,我们必须把Region加载到集群中的某台机器上,这个加载的过程正是region ...

2019-09-14 14:06:41

阅读数 9

评论数 0

提示
确定要删除当前文章?
取消 删除