2017年08月_kinglyjn

12月 11月 10月 08月 07月 06月 05月 04月 03月 02月 01月

原创 Hbase 数据迁移的常见方式（四）

要使用Hadoop，需要将现有的各种类型的数据库或数据文件中的数据导入HBase。一般而言，有三种常见方式：使用HBase的API中的Put方法，使用HBase 的bulk load工具和使用定制的MapReduce Job方式。本文均有详细描述。数据导入hbase的常见方法数据的来源：日志RDBMS导入的常见方法：使用hbase put API（sqoop、kettle）使用HBase的

2017-08-29 19:46:59 4210

原创 Hbase的基本简介及安装、配置、使用（一）

Hbase简介 Hbase是一个构建在HDFS之上的、分布式的、可扩展的、面向列存储的开源数据库，是google的bigtable的开源实现，适用于海量数据的存储和实时查询，是hadoop生态系统中重要的一员。以下是hbase处理数据的物理架构图：1. master-slave主从架构。2. table从竖直方向进行切割，分成若干个区域region，由各个区域服务器regionserver进

2017-08-26 18:37:52 1368 1

转载 hadoop java API（二）

HDFS java API Base首先要拷贝hadoop配置文件和 log4j.properties 到maven项目的类路径(e.g. resources 目录)<dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifactId>

2017-08-25 15:55:37 407

原创 hive的基本简介及安装、配置、使用（一）

hive是什么？由facebook开源，用于解决海量结构化日志的数据统计；基于hadoop的一个数据仓库工具，使用HDFS进行存储并将结构化数据文件映射成一张表，并提供类sql查询的功能，其底层采用MR进行计算；本质是将HQL转化成MR程序。 hive架构图安装前的准备Java 1.7 (preferred)Hadoop 2.x (preferred), 1.

2017-08-23 18:34:45 5068

原创 hadoop的基本简介及安装、配置、使用（一）

大数据的特点大（大象 Volume）繁（章鱼 Variety）快（豹子 Velocity）值（淘金 Value）由谷歌的三驾马车引申出hadoopMapReduce —> Map & Reduce 计算架构GFS —> HDFS分布式文件系统bigtable —> hbase数据库hadoop的常用版本HADOOP是什么：可靠的、可扩展的、分布式计算框架。apache hadoopc

2017-08-15 21:51:13 894

原创 Mysql之sql开发技巧

如何进行行转列场景：报表统计、汇总显示报表统计示例：create table t_amount( create_time date not null, amount float(8, 2) not null default 0);insert into t_amount values('2012-10-01', 111422.12), ('2012-10-10', 1114

2017-08-05 19:08:46 294

一个优秀Java程序员，必须了解Java内存模型、GC工作原理，以及如何优化GC的性能、与GC进行有限的交互，有一些应用程序对性能要求较高，例如嵌入式系统、实时系统等，只有全面提升内存的管理效率，才能提高整个应用程序的性能。本文将从JVM内存模型、GC工作原理，以及GC的几个关键问题进行探讨，从GC角度提高Java程序的性能。一、Java内存模型按照官方的说法：Java 虚拟机具有一个堆，堆是运行

2017-08-03 17:34:29 357

原创 JAVA中的线程池-Executor框架

在java中，使用线程来异步执行任务，java线程的创建与销毁需要增加一定的开销，如果我们为每一个任务创建一个新线程来执行，这些线程的创建和销毁需要耗费大量的计算资源，同时这种策略可能会使处于高负荷状态的应用最终崩溃。 Java的线程既是工作单元，也是执行机制。从JDK1.5开始，把工作单元与执行机制分离开来，工作单元包括Runnable和Callable，而执行机制由Executor框架

2017-08-03 17:20:05 464

原创 JAVA中的线程池-ThreadPoolExecutor

java中的线程池是运用场景最多的并发组件，几乎所有的异步或者并发任务的程序都可以使用线程池。在开发过程中使用线程池将会带来3个好处：降低资源的消耗。通过反复利用已创建的线程降低线程创建和销毁造成的消耗；提高响应速度。当任务到达时，任务可以不需要等到线程创建就立即执行；提高线程的可管理性。线程池的主要处理流程当提交一个新任务到线程池时，线程池的主要处理流程如下：

2017-08-01 16:21:38 437

jd_gou_win.zip

jd_gou_version_5.0 windows 版： ---- 1. 支持jd普通商品的购买和抢购 2. 支持jd热门商品的预约和抢购（也可以抢购口罩哦~）预祝使用这工具抢购口罩的小伙伴都能早日抢到口罩，请大家适量购买过几天产能就会跟上了，不要着急！加油吧，奥利给~！

2020-02-29

Flink_基础教程

Flink基础教程，Flink项目核心成员执笔，阿里巴巴自身技术专家悉心翻译，欢迎下载。

2018-10-18

Storm流计算项目

Storm流计算项目（文档中含有视频下载地址和解压密码），内容包含 storm、trident、kafka、hbase、cdh、hightcharts 等内容

2018-01-24

hadoop2.x 64位 native工具包

在apahe下载的hadoop的本地库是32位，需要64的需要自己编译，这是我编译好的hadoop64本地库，欢迎下载。使用法法： 1. 解压 native.tar.gz 2. 将解压后得到的native替换hadoop的native文件夹 3. 验证是否替换成功，${HADOOP_HOME}/bin/hadoop checknative

2017-09-05

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

kinglyjn的博客