敲码的汉子

敲码的汉子你威武雄壮,飞驰的双手像疾风一样

Java运算符 与(&)、非(~)、或(|)、异或(^)、移位运算

1.位异或运算(^) 运算规则是:两个数转为二进制,然后从高位开始比较,如果相同则为0,不相同则为1。 比如:5^9=12. 2.位与运算符(&) 运算规则:两个数都转为二进制,然后从高位开始比较,如果两个数都为1则为1,否则为0。 比如:5&...

2018-03-02 17:50:07

阅读数 1452

评论数 0

java常用集合类及其区别、源码分析(一)

在Java中集合是最常用到的工具类,在各种各样的业务中集合用来存储数据、查找数据等,常用的集合有ArraryList、Vector、LinkedList、HashMap、HashTable、HashSet等,但这些集合在源码上是怎么实现的,最底层是使用什么样的数据结构实现的。 常用的集合可以分为...

2018-03-02 12:30:34

阅读数 1460

评论数 0

消息中间件Rabbitmq(二)-使用详解

Rabbitmq 是基于amqp(高级消息队列协议)实现的队列技术,在他之上可以完成多种类型的消息转发模型。 下面列举一些常用的消息转发场景,在rabbitmq中是怎样实现的。 1.原理 先来看一下rabbitmq消息转发的原理,便于理解消息转发以及怎样实现常见的消息转发模型。 1.1...

2018-02-27 15:05:38

阅读数 1723

评论数 0

消息中间件rabbitmq(一)-基本介绍和部署

Rabbitmq是常用的消息中间件之一,其它常见的消息中间件如activemq、kafka、zeromq,各个消息中间件各有各自的适合用的场景。 这里我们说下Rabbitmq,rabbitmq是基于AMQP(Advanced Message Queuing Protocol)协议使用erlang...

2018-02-26 15:13:44

阅读数 1764

评论数 0

hive对接hbase(二)-hive中操作hbase

hbase的查询比较简单,总得来看就是只有rowkey的定位。 在hbase的查询中可以使用scan来定位rowkey,使用filter来定位具体要查询的某个字段。 在hive对接hbase后,就可以使用sql对hbase进行操作,那在hive中又能对hbase做哪些操作呢,哪些操作是在hba...

2018-02-01 20:57:03

阅读数 2546

评论数 0

hbase(十)-hbase查询,scan filter的使用

1.Scan HBase常用的查看数据方式有scan和get,get是一种特殊的scan,get是scan的startrow和endrow等于同一个值的特殊情况。 hbase的rowkey是按照B+树的形式存放的,所以查找一个具体的rowkey速度是非常快的,所以查询数据的时候一般都会设置sc...

2018-02-01 20:23:55

阅读数 5771

评论数 0

hadoop(八)-hdfs原理及架构设计

HDFS 是一个能够面向大规模数据使用的,可进行扩展的文件存储与传递系统。是一种允许文件通过网络在多台主机上分享的文件系统,可让多机器上的多用户分享文件和 存储空间。让实际上是通过网络来访问文件的动作,由程序与用户看来,就像是访问本地的磁盘一般。即使系统中有某些节点脱机,整体来说系统仍然可以持续运...

2018-01-25 16:38:50

阅读数 3489

评论数 0

hadoop(七)-hadoop参数配置

1. hdfs-site.xml dfs.name.dir NameNode 元数据存放位置 默认值:使用core-site.xml中的hadoop.tmp.dir/dfs/name dfs.block.size 对于新文件切分的大小,单位byte。默认是64M,建议是128M。每一个节...

2018-01-25 16:20:53

阅读数 3353

评论数 0

hadoop(六)-Java读写hdfs文件

HDFS是存取数据的分布式文件系统,HDFS文件操作常有两种方式,一种是命令行方式,另一种是JavaAPI。 要在java工程中操作hdfs,需要引入一下jar包,我的maven工程中的pom.xml文件中增加如下几个依赖: dependency> grou...

2018-01-25 16:00:50

阅读数 3514

评论数 0

hadoop(五)-hdfs命令行基本命令

HDFS是存取数据的分布式文件系统,那么对HDFS的操作,就是文件系统的基本操作,比如文件的创建、修改、删除、修改权限等,文件夹的创建、删除、重命名等。对HDFS的操作命令类似于Linux的shell对文件的操作,如ls、mkdir、rm等。 调用文件系统(FS)Shell命令应使用bin/ha...

2018-01-25 15:55:31

阅读数 3367

评论数 0

hadoop(二)-hadoop原理及架构

Hadoop是Apache软件基金会所开发的并行计算框架与分布式文件系统。最核心的模块包括Hadoop Common、HDFS与MapReduce。 1.HDFS HDFS是Hadoop分布式文件系统(Hadoop Distributed File System)的缩写,为分布式计算存储提...

2018-01-25 15:29:26

阅读数 3651

评论数 0

Centos7离线安装CDH5.13.1-Hadoop集群

1.软件准备 安装之前需要准备以下安装包或者安装必要环境 1.jdk1.8 (不要安装openjdk,要安装oracle官网的jdk1.8) 2.mysql(这里我使用docker运行,因为docker方便,当然你也可以自己部署mysql) 3.Cloudera Manager, htt...

2018-01-24 11:10:10

阅读数 4528

评论数 0

hbase(九)-hbase的索引LSM树

说LSM(Log-Structured Merge Tree)之前先说一下B+树,B+树在关系型数据库里面非常常见,oracle、mysql里面的索引算法都是B+树。 1.B+树 相信大家对B+树已经非常的熟悉,比如Oracle的普通索引就是采用B+树的方式,下面是一个B+树的例子: 根...

2018-01-24 10:35:36

阅读数 3267

评论数 0

hbase(八)-hbase的compact

HBase是基于LSM树存储模型的分布式NoSQL数据库。LSM树对比普遍的B+树来说,能够获得较高随机写性能的同时,也能保持可靠的随机读性能。在进行读请求的时候,LSM树要把多个子树(类似B+树结构)进行归并查询,对于HBase来说,这些子树就是HFile(还包括内存上的树结构MemStore)...

2018-01-24 10:24:23

阅读数 3125

评论数 0

hbase(五)-hbase优化

1. 预先分区 默认情况下,在创建 HBase 表的时候会自动创建一个 Region 分区,当导入数据的时候,所有的 HBase 客户端都向这一个 Region 写数据,直到这个 Region 足够大了才进行切分。一种可以加快批量写入速度的方法是通过预先创建一些空的 Regions,这样当...

2018-01-24 09:12:30

阅读数 3195

评论数 0

spark快速入门

spark快速入门的hellowold

2017-12-08 11:20:34

阅读数 6192

评论数 0

hive on spark安装(hive2.3 spark2.1)

简介之前有写过hive on spark的一个文档,hive版本为2.0,spark版本为1.5。spark升级到2.0后,性能有所提升,程序文件的编排也和之前不一样,这里再更新一个最新的部署方式。 spark2.0引入了spark session的概念,创建一个spark任务和之前也不一样,之...

2017-11-01 18:18:08

阅读数 14852

评论数 4

chown命令

chown 命令改变某个文件或目录的所有者和所属的组,该命令可以向某个用户授权,使该用户变成指定文件的所有者或者改变文件所属的组。用户可以是用户或者是用户D,用户组可以是组名或组id。文件名可以使由空格分开的文件列表,在文件名中可以包含通配符。 只有文件主和超级用户才可以便用该命令。 实例 ...

2018-04-19 18:39:27

阅读数 1390

评论数 0

linux修改文件系统权限

chmod 令用来变更文件或目录的权限。在UNIX系统家族里,文件或目录权限的控制分别以读取、写入、执行3种一般权限来区分,另有3种特殊权限可供运用。用户可以使用chmod指令去变更文件与目录的权限,设置方式采用文字或数字代号皆可。符号连接的权限无法变更,如果用户对符号连接修改权限,其改变会作用...

2018-04-19 18:27:11

阅读数 790

评论数 0

linux操作相关

一、增加用户useradd useradd myuser 执行下来会创建一个名为myuser的用户。 创建的用户并没有home dir,如果是用ubuntu系统这样创建的用户因为没有home dir并不能使用界面登录。 使用下面的命令。 useradd -m -p 123456 myus...

2018-04-19 17:38:19

阅读数 109

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭