- 博客(14)
- 资源 (12)
- 收藏
- 关注
RSS订阅原创 HBase数据模型(2)
1.0 HBase的版本version，是一个用长整型表示的。由Rowkey、Column（列族和列）、Version组合在一起称为HBase中的一个单元格。2.0 排序，Get和Scan操作返回的是经过排序的数据。返回的数据首先按行字典排序，其次是列族，然后是列修饰符（cloumn qualifier），最后是时间戳反向排序，最新的在最前面。3.0 连接查询，实现jion操作有两种方法：要么写入H
2016-04-28 17:45:58
1058
原创 HBase数据模型(1)
1.0 HBase的特性Table HBase以表（Table）的方式组织数据，数据存储在表中。Row/Column 行（Row）和列（Column）共同组成HBase的表。Column Family 列族（Column）将一列或者多列组织在一起，HBase的列必须属于某一个列族。Cell 行和列的交叉点称为单元格（Cell），单元格是版本化的。单元格的内容是列的值，是不可分割的字
2016-04-28 17:10:49
2866
原创 Oracle创建用户、表(1)
Oracle创建用户、表(1)1. 连接C:\Users\LEI>sqlplus / as sysdbaSQL*Plus: Release 12.1.0.2.0 Production on 星期五 4月 22 10:17:52 2016Copyright (c) 1982, 2014, Oracle. All rights reserved.连接到:Oracle Database 12c En
2016-04-22 10:48:57
3280
原创 Sqoop基础学习(1)
1. Sqoop的导入过程在开始导入之前，Sqoop会通过JDBC来获得所需要的数据库元数据 - 1. 导入表的列名、数据类型等； - 2. 接着这些数据库的数据类型(varchar、number等)会把映射成Java的数据类型(String、int等)，根据这些信息，Sqoop会生成一个与表名同名的类用来完成反序列的工作，保持表中的每一行记录； - 3. Sqoop启动MapReduce作业
2016-04-17 21:07:15
783
原创 Hive的HQL(2)
1. HQL的数据定义，HQL是一种SQL方言，支持绝大部分SQL-92标准。但是和SQL的差异为：不支持行级别的操作，不支持事务等。HQL的语法接近于MySQL。2. Hive的数据库，本质仅仅是个表的目录或者命名空间。一般用数据库将生产表组织成逻辑组。3. Hive中的表–管理表，创建表时未指定的话为默认为管理表。当删除管理表时，Hive将删除管理表中的数据和元数据。CREATE TABLE I
2016-04-17 20:50:37
1088
原创 Hive基础(1)
1. Hive并不是分布式的，它独立于机器之外，类似于Hadoop的客户端。2. 元数据和数据的区别，前者如表名、列名、字段名等。3. Hive的三种安装方式内嵌模式，元数据服务和Hive服务运行在同一个JVM中，同时使用内嵌的Derby数据库作为元数据存储，该模式只能支持同时最多一个用户打开Hive会话。本地模式，元数据服务和Hive服务运行在同一个JVM中，采用了外置的MySQL作为元数据存
2016-04-17 18:17:51
940
原创 MapReduce的过程(2)
1. MapReduce从输入到输出一个MapReduce的作业经过了input、map、combine、reduce、output五个阶段。其中combine阶段不一定发生，map输出的中间结果被分发到reduce的过程称为shuffle（数据混洗）。shuffle阶段会发生copy（复制）和sort（排序）。Reduce任务默认在Map任务数量完成5%才开始启动。2. inputHD
2016-04-17 16:54:50
1456
原创 MapReduce的编程思想(1)
1. MapReduce采用分而治之的思想，将数据处理拆分为主要的Map（映射）与Reduce（化简）两步，MapReduce操作数据的最小单位是一个键值对。2. MapReduce计算框架为主从架构，分别是JobTracker与TaskTracker。JobTracker在集群中为主的角色，它主要负责任务调度和集群资源监控，并不参与具体的计算。TaskTracker在集群中为从的角色，它主要负
2016-04-17 16:51:54
3063
原创 GraphicsMagick安装&make命令使用
本过程为GraphicsMagick Linux版安装，通过典型的make编译安装。下载GraphicsMagick1.0将GraphicsMagick放置目录中。通过make命令进行安装，首先解压缩tar -zxf GraphicsMagick-1.3.23.tar.gz -C /opt/1.1
2016-04-07 18:04:26
4127
1
原创 降低PNG图片存储大小方法、图片压缩方法
降低PNG图片存储大小方法，图片压缩方法，如何降低PNG图片存储大小？前提是分辨率和尺寸大小不变，图形的透明部分不变。请看如下办法，亲测可用。1. 将PNG图片用PS打开。2. 图像-模式-8位/通道 （这样在后续存储时才有gif存储选项）3. 将图片另存为GIF。4. 选项中选择局部可感知或者全部可感知。5. 强制选择“无”，勾选透明度。6. 存储后的gif文件和原png文件对比，从20.6k变为
2016-04-05 21:46:04
82793
2
原创 Windows 10下mysql 64位 安装（mysql-5.7.11-winx64安装）
Windows下mysql 64位 安装（mysql-5.7.11-winx64安装）系统Windows10安装包mysql-5.7.11-winx64.zip安装过程中遇到的问题，请留意4.0常见问题汇总，常见问题都可解决。附上最近一次完成安装记录，给大忙人看的只有两张图。详细步骤-1.0 配置环境变量Windows 进入环境变量，系统环境变量path中增加mysql解压缩路径如E:\IDES\m
2016-04-04 21:33:45
15579
2
原创 解决-Dmaven.multiModuleProjectDirectory system property is not set. Check $M2_HOME environment variabl
解决-Dmaven.multiModuleProjectDirectory system property is not set. Check $M2_HOME environment variable and mvn script match.myeclipse 2015 在编译(Run As-Maven install)maven项目出现如上错误，需要添加-Dmaven.multiModuleP
2016-04-03 15:55:13
10273
1
原创 centos 7下Hadoop 2.7.2 伪分布式安装
centos 7 下Hadoop 2.7.2 伪分布式安装,安装jdk，免密匙登录，配置mapreduce，配置YARN。详细步骤如下：
2016-04-03 09:08:31
10196
12
原创 centos 7 安装JDK (Linux安装jdk)
centos 7安装JDK (Linux安装jdk)第一部分 首先查看centos 7是否有openjdk，如没有就跳过第一部分，直接第二部分。[master@bogon ~]$ java -versionopenjdk version "1.8.0_65"OpenJDK Runtime Environment (build 1.8.0_65-b17)OpenJDK 64-Bit Server
2016-04-02 15:30:15
2349
OBS Mac版 安装包下载 obs-mac-21.0.3-installer
2018-03-10
git 桌面版Mac版 下载GitHubDesktopSetup
2018-02-10
git 最新版下载 git windows 32位下载
2018-02-10
postgresql数据库建模工具pgmodeler-0.9.1-alpha1-demo-macos
2018-01-19
.rncache React-Native 0.47第三方包
2017-08-22
Git64位windows版Git-2.10.1-64-bit.exe
2016-10-05
phantomjs-2.1.1-linux-x86_64.tar.bz2
2016-07-15
hadoo2.6.4 hadoop.dll winutils.exe
2016-07-05
pandoc-1.17.1-1-windows.msi
2016-06-30
Decentraleyes(firefox扩展)
2016-01-21
cloudsim3.0.3
2014-12-08
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人