- 博客(41)
- 资源 (3)
- 收藏
- 关注
RSS订阅转载 HBase数据导出到HDFS
一、目的把hbase中某张表的数据导出到hdfs上一份。实现方式这里介绍两种：一种是自己写mr程序来完成，一种是使用hbase提供的类来完成。二、自定义mr程序将hbase数据导出到hdfs上2.1首先看看hbase中t1表中的数据：2.2mr的代码如下：比较重要的语句是job.setNumReduceTasks(0);//为什么要设
2016-08-31 23:15:31
3181
转载 c++模板函数声明定义分离编译错误详解
今天看到accelerated c++上有个简单的vector容器的实现Vec，就再vs2008上编译了下： ///// Vec.h #ifndef GUARD_VEC_H#define GUARD_VEC_H #include #include #include
2016-08-31 16:41:28
1668
1
转载 hadoop.mapred vs hadoop.mapreduce?
They are separated out because both of these packages represent 2 different APIs. org.apache.hadoop.mapred is the older API and org.apache.hadoop.mapreduce is the new one. And it was done to allow
2016-08-29 22:38:25
666
转载 Hbase MapReduce的Maven依赖
由于Hbase 0.94对Hadoop 2.x的支持不是非常好，故直接添加Hbase 0.94的jar依赖可能会导致问题。 但是直接添加Hbase0.96的依赖，由于官方并没有发布Hbase 0.96的jar包，通过maven编译项目的时候会出现找不到jar包导致编译失败。 通过网上的资料，得知Hbase 0.94后版本，直接添加Hbase-Client的依赖，
2016-08-29 21:17:12
4434
转载 HBase常用操作之namespace
1、介绍在HBase中，namespace命名空间指对一组表的逻辑分组，类似RDBMS中的database，方便对表在业务上划分。Apache HBase从0.98.0, 0.95.2两个版本开始支持namespace级别的授权操作，HBase全局管理员可以创建、修改和回收namespace的授权。2、namespaceHBase系统默认定义了两个缺省的na
2016-08-28 17:06:20
2560
转载 HBase Shell 常用命令
下面我们看看HBase Shell的一些基本操作命令，我列出了几个常用的HBase Shell命令，如下：名称命令表达式创建表create '表名称', '列名称1','列名称2','列名称N'添加记录 put '表名称', '行名称', '列名称:', '值'
2016-08-28 15:52:03
703
转载 Quorum？Quorum！
分布式系统的设计中会涉及到许多的协议、机制用来解决可靠性问题、数据一致性问题等，Quorum 机制就是其中的一种。我们通过分布式系统中的读写模型来简单介绍它。分布式系统中的读写模型 分布式系统是由多个节点（指代一台服务器、存储设备等）构成，由于网络异常、宕机等节点并不能保证正常工作，特别是在节点数量很大的时候，出现异常状况的节点几乎是肯定的。为了保证系统的正常运行，能够提供可
2016-08-28 13:43:13
1084
转载 Python的编码注释# -*- coding:utf-8 -*-
http://blog.csdn.net/arbel/article/details/7957782如果要在python2的py文件里面写中文，则必须要添加一行声明文件编码的注释，否则python2会默认使用ASCII编码。[python] view plain copy# -*- coding:utf-8 -*-
2016-08-27 06:52:57
1739
转载 python 安装wheel .whl文件
首先得有pip没有的话安装一个。然后：cd到 c:\python27\scripts然后：pip install wheel然后：pip install 路径\文件名.whl 既可以安装。
2016-08-27 06:41:04
2599
原创 C++ 单例模式 出现错误“: 无法解析的外部符号”
#include using namespace std;class A {private:A(){};static A *a;public:static A &getA(){if(a==NULL){a = new A();}return a;}};int main(){A::getA();system("pause");
2016-08-25 16:32:27
6949
1
转载 设计模式学习笔记-状态模式
1. 概述 当一个对象的内在状态改变时允许改变其行为，这个对象看起来像是改变了其类。2. 解决的问题 主要解决的是当控制一个对象状态转换的条件表达式过于复杂时的情况。把状态的判断逻辑转移到表示不同的一系列类当中，可以把复杂的逻辑判断简单化。3. 模式中的角色 3.1 上下文环境（Context）：它定义了客户程序需要的接口并维护一个具体状态角色的实例，
2016-08-25 13:44:22
413
转载 Hadoop默认端口说明
Hadoop集群的各部分一般都会使用到多个端口，有些是daemon之间进行交互之用，有些是用于RPC访问以及HTTP访问。而随着Hadoop周边组件的增多，完全记不住哪个端口对应哪个应用，特收集记录如此，以便查询。这里包含我们使用到的组件：HDFS, YARN, HBase, Hive, ZooKeeper。组件 Daemon 端口 配置 说明HDFS DataNo
2016-08-22 22:35:11
4761
转载 Win7+Eclipse+Hadoop2.6.4开发环境搭建
Hadoop开发环境搭建感谢参考网站：http://www.cnblogs.com/huligong1234/p/4137133.html一、软件准备JDK：jdk-7u80-windows-x64.exehttp://www.oracle.com/technetwork/java/javase/archive-139210.htmlEclipse：ecli
2016-08-22 22:27:27
1195
转载 hadoop
1.本地模式与Yarn模式配置有什么区别？2.Yarn模式有哪两种方式执行任务？3.uber mode与mr小作业是什么关系？MapReduce按照任务大小和设置的不同，提供了两种任务模式：客户端通过org.apache.hadoop.mapreduce.protocol.ClientProtocol与服务端通信，ClientProtocol
2016-08-22 21:17:48
621
转载 MFC 取消 CDockablePane 自动保存界面配置到注册表
因为MFC默认会把的配置信息保存到注册表，如果每次启动程序还原界面，需要手动关闭保存。默认保存路径：SetRegistryKey(_T("Local AppWizard-Generated Applications"))不影响程序性能只有下面有写操作才会写入到这个位置：hkey_current_user\software\Local AppWizard-Genera
2016-08-22 17:20:06
2524
2
转载 Centos下使用Hadoop2.6.0-eclipse-plugin插件
基于Eclipse的Hadoop应用开发环境配置我的开发环境：操作系统centos5.5 一个namenode 两个datanodeHadoop版本：hadoop-0.20.203.0Eclipse版本：eclipse-java-helios-SR2-linux-gtk.tar.gz(使用3.7的版本总是崩溃，让人郁闷)第一步：先启动hadoop守护进程具体参看：htt
2016-08-21 11:08:03
1065
转载 HIVE 的安装部署
1、下载hive:wget http://mirrors.cnnic.cn/apache/hive/hive-0.12.0/hive-0.12.0.tar.gz2、解压hive安装文件 tar -zvxf hive-0.12.0.tar.gz3、配置hive环境变量，初始化hive在hdfs上的工作目录（因此在部署hive之前，请确保已经完整的部署了hadoop，并设置好相关的环境，had
2016-08-20 22:17:56
1027
转载 hive的jdbc
原文地址： http://blog.csdn.net/nsrainbow/article/details/43002387 最新课程请关注原作者博客，获得更好的显示体验声明本文基于Centos 6.x + CDH 5.x说到Hive就一定要说到写程序的时候怎么调用Hive。以下我通过一个例子说明如果通过java来调用hive查询数据服务准备
2016-08-20 22:08:13
1463
转载 java中Class.forName的含义
Class.forName(xxx.xx.xx) 返回的是一个类, .newInstance() 后才创建一个对象 Class.forName(xxx.xx.xx);的作用是要求JVM查找并加载指定的类，也就是说JVM会执行该类的静态代码段 Class aClass = Class.forName(xxx.xx.xx);Object anInstance = aClas
2016-08-20 20:57:11
583
转载 hive内置操作符与函数
第一部分：关系运算Hive支持的关系运算符•常见的关系运算符•等值比较: =•不等值比较: •小于比较: •小于等于比较: •大于比较: >•大于等于比较: >=•空值判断: IS NULL•非空判断: IS NOT NULL•LIKE比较: LIKE•JAVA的LIKE操作: RLIKE•REGEXP操作: REGEXP•等
2016-08-18 22:55:34
449
转载 hive函数参考手册
原文见：https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF1.内置运算符1.1关系运算符运算符类型说明A = B所有原始类型如果A与B相等,返回TRUE,否则返回FALSEA == B无失败，因为无效的语
2016-08-18 22:50:53
561
转载 Hive 优化
优化时，把hive sql当做map reduce程序来读，会有意想不到的惊喜。理解hadoop的核心能力，是hive优化的根本。这是这一年来，项目组所有成员宝贵的经验总结。 长期观察hadoop处理数据的过程，有几个显著的特征:1.不怕数据多，就怕数据倾斜。2．对jobs数比较多的作业运行效率相对比较低，比如即使有几百行的表，如果多次关联多次汇总，产生十几
2016-08-18 22:26:55
686
1
转载 MFC中ON_COMMAND, ON_MESSAGE, ON_NOTIFY它们的区别(转载
ON_COMMAND是菜单和工具栏项处理消息的宏ON_MESSAGE是处理自定义消息的宏ON_NOTIFY 是控件向其父窗口发送消息处理的宏对这几个消息的理解要先了解一下Window消息的背景。在Windows3.1里，控件会将mouse, keybord等等的消息通知它的父窗口， 使用的消息就只有WM_COMMAND, 事件种类和控件ID被包含在wParam中， 控
2016-08-18 14:36:07
623
转载 hive参数hive.mapred.mode分析
Hive配置中有个参数hive.mapred.mode，分为nonstrict，strict，默认是nonstrict如果设置为strict，会对三种情况的语句在compile环节做过滤：1. 笛卡尔积Join。这种情况由于没有指定reduce join key，所以只会启用一个reducer，数据量大时会造成性能瓶颈 ?12
2016-08-18 12:49:43
2413
转载 hive 中 Order by, Sort by ,Dristribute by,Cluster By 的作用和用法
order byorder by 会对输入做全局排序，因此只有一个reducer（多个reducer无法保证全局有序）只有一个reducer，会导致当输入规模较大时，需要较长的计算时间。set hive.mapred.mode=nonstrict; (default value / 默认值)set hive.mapred.mode=strict; order b
2016-08-18 12:41:57
457
转载 理解Spark的核心RDD
与许多专有的大数据处理平台不同，Spark建立在统一抽象的RDD之上，使得它可以以基本一致的方式应对不同的大数据处理场景，包括MapReduce，Streaming，SQL，Machine Learning以及Graph等。这即Matei Zaharia所谓的“设计一个通用的编程抽象（Unified Programming Abstraction）。这正是Spark这朵小火花让人着迷的地方。要
2016-08-17 21:05:20
774
转载 hive--删除表中的数据truncate
delect:用于删除特定行条件,你可以从给定表中删除所有的行TRUNCATE:truncate用于删除所有的行，这个行为在hive元存储删除数据是不可逆的DROP:删除hive中的表truncate 不能删除外部表！因为外部表里的数据并不是存放在Hive中的warehouse中truncate table table_name;例子：t
2016-08-15 20:38:40
12313
转载 Hadoop Hive sql语法详解
Hive 是基于Hadoop 构建的一套数据仓库分析系统，它提供了丰富的SQL查询方式来分析存储在Hadoop 分布式文件系统中的数据，可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行，通过自己的SQL 去查询分析需要的内容，这套SQL 简称Hive SQL，使不熟悉mapreduce 的用户很方便的利用SQL 语言
2016-08-14 22:38:39
589
转载 Hadoop数据操作系统YARN全解析
Hadoop 2.0引入YARN，大大提高了集群的资源利用率并降低了集群管理成本。其在异构集群中是怎样应用的？Hulu又有哪些成功实践可以分享？更多大数据内容敬请关注大数据杂谈【ID ：BigdataTina2016】Hadoop YARN的生态系统为了能够对集群中的资源进行统一管理和调度，Hadoop 2.0引入了数据操作系统YARN。YARN的引入，大大提高了集群的资源利用率，并降低了集群管理
2016-08-14 17:11:17
960
转载 人工智能与深度学习最好的入门资源
来源：blog.digitalmind译者：胡祥杰此列表包含了人工智能和深度学习最好的入门资源，对初学者和想要进入这一领域但又不知道如何开始的人最为有用。机器学习机器学习领域的最佳入门介绍，可以在coursera 上观看吴恩达（Andrew Ng）的机器学习课程。这门课程解释了最基本的概念，让你对最重要的算法有一个很好的理解。简而言之，如果想对高水平的机器学习算法有一个概览，可以观看在线课程“Ma
2016-08-14 14:46:02
3157
转载 大数据竞赛平台——Kaggle 入门
大数据竞赛平台——Kaggle 入门篇这篇文章适合那些刚接触Kaggle、想尽快熟悉Kaggle并且独立完成一个竞赛项目的网友，对于已经在Kaggle上参赛过的网友来说，大可不必耗费时间阅读本文。本文分为两部分介绍Kaggle，第一部分简单介绍Kaggle，第二部分将展示解决一个竞赛项目的全过程。如有错误，请指正！1、Kaggle简介Kaggle是一
2016-08-14 14:10:05
1195
转载 Java Lambda表达式入门
原文链接: Start Using Java Lambda Expressions下载示例程序 Examples.zip 。原文日期: 2014年4月16日翻译日期: 2014年4月27日翻译人员: 铁锚简介(译者注:虽然看着很先进，其实Lambda表达式的本质只是一个"语法糖",由编译器推断并帮你转换包装为常规的代码,因此你可以使用更少的代码来实现同样的功能。本人
2016-08-08 23:52:55
1147
转载 hadoop运行mapreduce作业无法连接0.0.0.0/0.0.0.0:10020
14/04/04 17:15:12 INFO mapreduce.Job: map 0% reduce 0%14/04/04 17:19:42 INFO mapreduce.Job: map 41% reduce 0%14/04/04 17:19:53 INFO mapreduce.Job: map 64% reduce 0%14/04/04 17:19:55 INF
2016-08-06 13:14:35
2334
转载 如何精通MFC-----CObject类的理解
1， 应用程序中的“窗口”概念 从程序设计人员的角度看，窗口就是一个GUI句柄，以这个句柄作为一系列API函数的参数，就可以对窗口进行各种操作。MFC一般把窗口句柄封装成了一个CWnd的类，因此，对MFC程序员来说，窗口就是一个CWnd的对象。 从操作系统的角度看，窗口就是内存中的一块普通的内存。在这个内存中保存了一个叫WNDCLASS的结构体类型数据结构。所以说
2016-08-05 12:36:46
5486
转载 浅谈依赖注入
http://www.cnblogs.com/yangecnu/p/Introduce-Dependency-Injection.html好文，可以看看原文下读者的提问最近几天在看一本名为Dependency Injection in .NET 的书，主要讲了什么是依赖注入，使用依赖注入的优点，以及.NET平台上依赖注入的各种框架和用法。在这本书的开头，讲述了软件工程中
2016-08-04 22:47:01
477
转载 PowerDesigner 中 dependency与 link/ExtendedDependency的区别
dependency 主键link/extended dependency 外键cdm中使用
2016-08-02 11:01:39
5199
转载 LNK1123: 转换到 COFF 期间失败: 文件无效或损坏
连接器LNK是通过调用cvtres.exe完成文件向coff格式的转换的，所以出现这种错误的原因就是cvtres.exe出现了问题。在电脑里面搜索一下cvtres.exe，发现存在多个文件，使用最新的cvtres.exe替换老的文件即可，替换之前记得备份一下，如果不对，可以替换回来。例如：我的电脑里面安装了vs2010,最近更新了系统，打了一些补丁，结果就出
2016-08-01 16:23:09
246
转载 CArchive 详解
CArchive没有基类CArchive允许以一个永久二进制（通常为磁盘存储）的形式保存一个对象的复杂网络，它可以在对象被删除时，还能永久保存。可以从永久存储中装载对象，在内存中重新构造它们。使得数据永久保留的过程就叫作“串行化”。可以把一个归档对象看作一种二进制流。像输入/输出流一样，归档与文件有关并允许写缓冲区以及从硬盘读出或读入数据。输入/输出流处理一系列ASCII字符，
2016-08-01 13:49:44
797
转载 java—读写锁ReadWriteLock
from URL ： http://hi.baidu.com/zhizhesky/blog/item/cabcbb515b9b6808377abe5f.html在上文中提到了Lock接口以及对象，使用它，很优雅的控制了竞争资源的安全访问，但是这种锁不区分读写，称这种锁为普通锁。为了提高性能，Java提供了读写锁，在读的地方使用读锁，在写的地方使用写锁，灵活控制，如果没有写锁的情况下，读是无
2016-08-01 13:45:02
935
转载 GetClassLong()、SetClassLong()、SetWindowLong()、GetWindowLong()
GetWindowLong/SetWindowLong是是读取和设置一个窗口的相关属性的，而GetClassLong/SetClassLong是读取/设置窗口类属性的，前者只是对一个窗口起作用，而后者则对所有从这个窗口类中创建的窗口都起作用。
2016-08-01 13:37:49
1949
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人