- 博客(13)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 使用Java API 操作Hbase表出现异常：Exception in thread "main" java.lang.NoClassDefFoundError
Exception in thread “main” java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/HBaseConfiguration at com.ywendeng.hbase.HbseTable.(HbseTable.java:23) at java.lang.Class.forName0(Native Me
2016-05-30 21:08:12
2746
原创 HDFS的相关面试题总结
1、hadoop与云计算之间的关系?解析：云计算由位于网络上的一组服务器把其计算、存储、数据等资源以服务的形式提供给请求者以完成信息处理任务的方法和过程。针对海量文本数据处理,为实现快速文本处理响应,缩短海量数据为辅助决策提供服务的时间,基于Hadoop云计算平台,建立HDFS分布式文件系统存储海量文本数据集,通过文本词频利用MapReduce原理建立分布式索引,以分布式数据库HBase存储关键词索
2016-05-25 14:00:30
2678
原创 MySQL优化总结（一）：常用优化思路和临时表
一、MySQL 优化思路架构通常情况下，MySQL的优化过程总结如下：1、观察服务器状态, 一般用如下2个命令 Show status; 或者Show processlist;例: mysql> show status; #mysqladmin ext 2、不规则的延迟现象往往是由于效率低下的语句造成的1）查看当前所有连接的工作状态Show processlist;//这个命令是显示当前所
2016-05-19 15:04:45
1609
原创 详解Sqoop的架构和安装部署
一、Sqoop是什么Sqoop 是连接传统关系型数据库和 Hadoop 的桥梁。它包括以下两个方面： 1、 将关系型数据库的数据导入到 Hadoop 及其相关的系统中，如 Hive和HBase。 2、 将数据从 Hadoop 系统里抽取并导出到关系型数据库。 Sqoop 的核心设计思想是利用 MapReduce 加快数据传输速度。也就是说 Sqoop 的导入和导出功能是
2016-05-18 09:11:35
9407
原创 Sql 注入问题总结
一、什么是sql 注入 所谓SQL注入，就是通过把SQL命令插入到Web表单递交或输入域名或页面请求的查询字符串，最终达到欺骗服务器执行恶意的SQL命令。 示例一：恶意SQL 命令：// 设定$name 中插入了我们不需要的SQL语句$name = "Qadir'; DELETE FROM users;";mysql_query("SELECT * FROM users WHERE
2016-05-14 20:51:42
688
原创 MySQL 常用操作总结（一）：表管理和索引创建
一、数据库的操作1、数据库的创建 CREATE DATABASE|SCHEMA [IF NOT EXISTS] db_name [CHARACTER SET ] [COLLATE （排序规则）] 例如： CREATE DATABASE IF NOT EXISTS STUDENT CHARACTER SET ‘utf8’ collate ‘utf8_general_ci’ 2 、 数据库
2016-05-13 20:52:47
507
原创 深入理解海量日志收集利器 Flume
一、Flume是什么 Flume是一个分布式、可靠、和高可用的海量日志聚合的系统，支持在系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。二 、Fulme 有什么特点Fulme 特点如下： 1、可靠性 当节点出现故障时，日志能够被传送到其他节点上而不会丢失。Flume提供了三种级别的可靠性保障，从强到弱依次分别为：end-to
2016-05-04 21:54:37
2756
原创 详解kafka架构原理与安装部署
一、什么是kafka kafka是分布式发布-订阅消息系统。它最初由LinkedIn公司开发，之后成为Apache项目的一部分。Kafka是一种快速、可扩展的、设计内在就是分布式的，分区的和可复制的提交日志服务。 重点内容 二、kafka架构 Kafka内在就是分布式的，一个Kafka集群通常包括多个broker。为了均衡负载，将话题分成多个分区，每个broker存储一或多个分区。多个生产者和
2016-05-04 17:53:38
673
原创 详解Storm的原理与安装部署
一、Storm 理论基础1、Storm是什么 Storm是一个开源的分布式实时计算系统，可以简单、可靠的处理大量的数据流。被称作“实时的hadoop”。 2、什么场景可以使用Storm Storm有很多使用场景：如实时分析，在线机器学习，持续计算， 分布式RPC，ETL等等。Storm支持水平扩展，具有高容错性，保证每个消息都会得到处理，而且处理速度很快（在一个小集群中，每个结
2016-05-04 11:51:06
5117
原创 详解 B-Tree 与B+Tree
1、B-TreeB-tree又叫平衡多路查找树。一棵m阶的B-tree (m叉树)的特性如下：1) 树中每个结点至多有m个孩子；2) 除根结点和叶子结点外，其它每个结点至少有[m / 2]向上取整个孩子；3) 若根结点不是叶子结点，则至少有2个孩子（特殊情况：没有孩子的根结点，即根结点为叶子结点，整棵树只有一个根节点）；4) 所有叶子结点都出现在同一层，叶子结点不包含任何关键字信息(可以看做
2016-05-03 20:33:25
6189
原创 Java API 与Hbase集群交互常用操作总结
HBase 与 Hadoop 一样，都是用 java 编写的，所以 HBase 对 java 支持是必需的，下面看看怎么使用java 语言对 HBase 进行操作。Java API 核心类总结如下： 1、 HBaseConfiguration 类 HBaseConfiguration 是每一个 HBase Client 都会使用到的对象，它代表 HBase 配置信息。有两种构造方式。p
2016-05-02 17:15:35
4439
原创 详解HBase架构原理及安装部署步骤
一、什么是HBase HBase 是一个高可靠、高性能、面向列、可伸缩的分布式存储系统，利用Hbase技术可在廉价PC Server上搭建 大规模结构化存储集群。 HBase 是Google Bigtable 的开源实现，与Google Bigtable 利用GFS作为其文件存储系统类似， HBase 利用Hadoop HDFS 作为其文件存储系统；Google 运行MapReduce 来处理Bi
2016-05-02 10:34:41
7347
1
原创 深入理解Spring AOP
一、AOP的概念 AOP（Aspect Oriented Programming），意思是面向切面编程，通过预编译方式和运行期动态代理实现程序功能的统一维护的技术。使用AOP技术，可以将一些与系统相关的业务逻辑功能模块，提取出来，独立实现，然后通过切面切入进系统。从而避免了在核心业务逻辑的代码中混入很多的系统相关的逻辑——比如事务管理（Transaction Management）、安全管理（Se
2016-05-01 19:18:35
595
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人