<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[onlyForCloud的专栏]]></title><description><![CDATA[导航页标签，分类知识专栏。]]></description><link>https://blog.csdn.net/onlyForCloud</link><language>zh-cn</language><generator>https://blog.csdn.net/</generator><copyright><![CDATA[Copyright &copy; onlyForCloud]]></copyright><item><title><![CDATA[ranger控制数据访问权限]]></title><link>https://blog.csdn.net/onlyForCloud/article/details/69257684</link><guid>https://blog.csdn.net/onlyForCloud/article/details/69257684</guid><author>onlyForCloud</author><pubDate>Wed, 05 Apr 2017 15:30:35 +0800</pubDate><description><![CDATA[ranger的特点就是，自己可以帮你去干你不能干的事情。
比如你这个用户没有hdfs某个目录下某个文件的读权限，但是你在ranger里面配了可以访问这个文件，你访问时ranger就帮你拿回来给你
 
一，hbase权限 （OK）
【前置】
Ranger上配置了HBase的所有表都只能由hbase用户和ambari-qa用户来访问


 
【实际】
1、我们使用hive用户执行h]]></description><category></category></item><item><title><![CDATA[关于制作rpm包的patch的方法]]></title><link>https://blog.csdn.net/onlyForCloud/article/details/53765071</link><guid>https://blog.csdn.net/onlyForCloud/article/details/53765071</guid><author>onlyForCloud</author><pubDate>Tue, 20 Dec 2016 16:45:42 +0800</pubDate><description><![CDATA[原文链接 http://blkart.blog.51cto.com/1142352/1542533



（1）准备工作：
    安装rpm-build软件包
（2）生成rpmbuild目录
    以root用户登陆，执行命令：
    # rpmbuild -ba abc.spec
    命令会提示错误，不必关心
    此时，再/root目录下会自动生成名为rpmbu]]></description><category></category></item><item><title><![CDATA[在Hive中使用Avro]]></title><link>https://blog.csdn.net/onlyForCloud/article/details/50175391</link><guid>https://blog.csdn.net/onlyForCloud/article/details/50175391</guid><author>onlyForCloud</author><pubDate>Fri, 04 Dec 2015 15:10:50 +0800</pubDate><description><![CDATA[http://www.iteblog.com/archives/1007




为了解析Avro格式的数据，我们可以在Hive建表的时候用下面语句：







01

hive>
 CREATE EXTERNAL TABLE tweets









02

    >
 COMMENT "A table backed by A]]></description><category></category></item><item><title><![CDATA[用Hadoop AVRO进行大量小文件的处理]]></title><link>https://blog.csdn.net/onlyForCloud/article/details/50174861</link><guid>https://blog.csdn.net/onlyForCloud/article/details/50174861</guid><author>onlyForCloud</author><pubDate>Fri, 04 Dec 2015 14:40:47 +0800</pubDate><description><![CDATA[http://blog.csdn.net/zuochanxiaoheshang/article/details/9123273




使用 使用使用 使用 HDFS 保存大量小文件的缺点：
1.Hadoop NameNode 在内存中保存所有文件的“元信息”数据。据统计，每一个文件需要消耗 NameNode600 字节内存。如果需要保存大量的小文件会对NameNode 造成极大的压力]]></description><category></category></item><item><title><![CDATA[RPC框架系列——Avro]]></title><link>https://blog.csdn.net/onlyForCloud/article/details/50174471</link><guid>https://blog.csdn.net/onlyForCloud/article/details/50174471</guid><author>onlyForCloud</author><pubDate>Fri, 04 Dec 2015 14:18:50 +0800</pubDate><description><![CDATA[http://blog.csdn.net/neutrojan/article/details/9816159




RPC框架系列——Avro

Posted on 2011/09/09
by Jeoygin
in 网络, 计算机技术
浏览次数：5,067
1.下载与安装
　　官方网站：http://avro.apache.org/
　　下载地址：http://labs]]></description><category></category></item><item><title><![CDATA[Apache Avro使用入门指南]]></title><link>https://blog.csdn.net/onlyForCloud/article/details/50174053</link><guid>https://blog.csdn.net/onlyForCloud/article/details/50174053</guid><author>onlyForCloud</author><pubDate>Fri, 04 Dec 2015 13:54:36 +0800</pubDate><description><![CDATA[http://www.iteblog.com/archives/1008




　Avro有C, C++, C#, Java, PHP, Python, and Ruby等语言的实现，本文只简单介绍如何在Java中使用Avro进行数据的序列化（data serialization）。本文使用的是Avro 1.7.4，这是写这篇文章时最新版的Avro。读完本文，你将会学到如何使用Avro]]></description><category></category></item><item><title><![CDATA[Linux NTP配置详解 (Network Time Protocol)]]></title><link>https://blog.csdn.net/onlyForCloud/article/details/50128445</link><guid>https://blog.csdn.net/onlyForCloud/article/details/50128445</guid><author>onlyForCloud</author><pubDate>Tue, 01 Dec 2015 13:48:07 +0800</pubDate><description><![CDATA[http://blog.csdn.net/iloli/article/details/6431757


Network Time Protocol (NTP) 也是RHCE新增的考试要求. 学习的时候也顺便复习了一下如何设置Linux的时间,现在拿出来和大家分享

设置NTP服务器不难但是NTP本身是一个很复杂的协议. 这里只是简要地介绍一下实践方法
和上次一样,下面的实验都在RHE]]></description><category></category></item><item><title><![CDATA[一共81个，开源大数据处理工具汇总（下），包括日志收集系统/集群管理/RPC等]]></title><link>https://blog.csdn.net/onlyForCloud/article/details/50070987</link><guid>https://blog.csdn.net/onlyForCloud/article/details/50070987</guid><author>onlyForCloud</author><pubDate>Fri, 27 Nov 2015 15:38:50 +0800</pubDate><description><![CDATA[http://www.36dsj.com/archives/25042




一共81个，开源大数据处理工具汇总（下），包括日志收集系统/集群管理/RPC等

 诺蓝 2015-03-12 9:40:22 大数据工具 评论(0)



作者：大数据女神-诺蓝（微信公号：dashujunvshen）。本文是36大数据专稿，转载必须标明来源36大数据。
接上一部分：一共81个]]></description><category></category></item><item><title><![CDATA[一共81个，开源大数据处理工具汇总（上）]]></title><link>https://blog.csdn.net/onlyForCloud/article/details/50070935</link><guid>https://blog.csdn.net/onlyForCloud/article/details/50070935</guid><author>onlyForCloud</author><pubDate>Fri, 27 Nov 2015 15:37:36 +0800</pubDate><description><![CDATA[http://www.36dsj.com/archives/24852




一共81个，开源大数据处理工具汇总（上）

 Optimus Prime 2015-03-11 12:01:28 大数据工具 评论(0)



作者：大数据女神-诺蓝（微信公号：dashujunvshen）。本文是36大数据专稿，转载必须标明来源36大数据。
本文一共分为上下两部分。我们将针对大]]></description><category></category></item><item><title><![CDATA[eclipse编译调试tomcat7.0.65]]></title><link>https://blog.csdn.net/onlyForCloud/article/details/50000259</link><guid>https://blog.csdn.net/onlyForCloud/article/details/50000259</guid><author>onlyForCloud</author><pubDate>Mon, 23 Nov 2015 20:22:01 +0800</pubDate><description><![CDATA[一，编译
下载


JDK1.6 (本版本的tomcat只支持1.6。1.7及以后会报错）



tomcat7.0.65源码




安装


  apache-tomcat-7.0.65-src/build.properties.default 重命名为 build.properties。修改build.properties的base.path=d:\tomca]]></description><category></category></item><item><title><![CDATA[cdh5.4.7 sqoop使用]]></title><link>https://blog.csdn.net/onlyForCloud/article/details/49782167</link><guid>https://blog.csdn.net/onlyForCloud/article/details/49782167</guid><author>onlyForCloud</author><pubDate>Wed, 11 Nov 2015 15:33:54 +0800</pubDate><description><![CDATA[sqoop导入hive



1，为了连接mysql，
    首先在10.0.4.24 (CDH001)上 sudo apt-get install libmysql-java


    
2，sqoop list-databases --connectjdbc:mysql://10.0.3.218:3306/ --username directory --password ]]></description><category></category></item><item><title><![CDATA[hbase整合hive]]></title><link>https://blog.csdn.net/onlyForCloud/article/details/49778397</link><guid>https://blog.csdn.net/onlyForCloud/article/details/49778397</guid><author>onlyForCloud</author><pubDate>Wed, 11 Nov 2015 10:28:18 +0800</pubDate><description><![CDATA[用途


HBase属于Nosql不能使用HQL来进行查询，整合hive后，便于操作。


基本过程


参考原文链接 HBaseIntegration


与已存在的HBase的‘test’表建立整合关系：]]></description><category></category></item><item><title><![CDATA[cdh5.4.7 flume使用]]></title><link>https://blog.csdn.net/onlyForCloud/article/details/49678797</link><guid>https://blog.csdn.net/onlyForCloud/article/details/49678797</guid><author>onlyForCloud</author><pubDate>Fri, 06 Nov 2015 09:31:36 +0800</pubDate><description><![CDATA[一，如何使用flume


flume的原理和使用



二，关于配置文件






可以知道， cloudera-monitor.properties里配置agent_name来使用。flume.conf里面设置具体的agent信息。]]></description><category></category></item><item><title><![CDATA[安装Windows下 CDH5开发环境]]></title><link>https://blog.csdn.net/onlyForCloud/article/details/49642253</link><guid>https://blog.csdn.net/onlyForCloud/article/details/49642253</guid><author>onlyForCloud</author><pubDate>Wed, 04 Nov 2015 20:32:00 +0800</pubDate><description><![CDATA[一，cloudera


http://archive-primary.cloudera.com/cdh5/



二，下载源码包
http://archive-primary.cloudera.com/cdh5/cdh/5/



我在此页面下下载了hadoop-2.6.0-cdh5.4.7-src.tar.gz 与运行环境的版本匹配。


三，]]></description><category></category></item><item><title><![CDATA[跨语言通信方案的比较—Thrift、Protobuf和Avro]]></title><link>https://blog.csdn.net/onlyForCloud/article/details/49589191</link><guid>https://blog.csdn.net/onlyForCloud/article/details/49589191</guid><author>onlyForCloud</author><pubDate>Mon, 02 Nov 2015 17:10:11 +0800</pubDate><description><![CDATA[http://www.bubuko.com/infodetail-605556.html


常用的跨语言通信方案：

基于SOAP消息格式的WebService基于JSON消息格式的RESTful 服务

以上两种方案的弊端：

XML体积太大，解析性能极差JSON体积相对较小，解析相对较快，但表达能力较弱

现在比较流行的跨语言通信方案：

Google protob]]></description><category></category></item><item><title><![CDATA[Kafka+Spark Streaming+Redis实时计算整合实践]]></title><link>https://blog.csdn.net/onlyForCloud/article/details/49513641</link><guid>https://blog.csdn.net/onlyForCloud/article/details/49513641</guid><author>onlyForCloud</author><pubDate>Fri, 30 Oct 2015 16:42:02 +0800</pubDate><description><![CDATA[x]]></description><category></category></item><item><title><![CDATA[ZooKeeper典型应用场景一览]]></title><link>https://blog.csdn.net/onlyForCloud/article/details/49508799</link><guid>https://blog.csdn.net/onlyForCloud/article/details/49508799</guid><author>onlyForCloud</author><pubDate>Fri, 30 Oct 2015 11:34:30 +0800</pubDate><description><![CDATA[http://www.coder4.com/archives/3856


这篇文章写的非常贴近实际，比官方好！

ZooKeeper是一个高可用的分布式数据管理与系统协调框架。基于对Paxos算法的实现，使该框架保证了分布式环境中数据的强一致性，也正是基于这样的特性，使得ZooKeeper解决很多分布式问题。网上对ZK的应用场景也有不少介绍，本文将结合作者身边的项目例子，系统地对ZK的]]></description><category></category></item><item><title><![CDATA[hadoop生态系统组件目前的理解（先记录，有些地方理解不正确，后面修改）]]></title><link>https://blog.csdn.net/onlyForCloud/article/details/49508345</link><guid>https://blog.csdn.net/onlyForCloud/article/details/49508345</guid><author>onlyForCloud</author><pubDate>Fri, 30 Oct 2015 11:20:21 +0800</pubDate><description><![CDATA[一，yarn
ResourceManager、Nodemanager、App Master。


ResourceManager拿到任务后，根据掌握的各个NodeManager的资源情况，决定在哪些主机上创建App Master。


各个App Master与本机的NodeManager申请Container后，在本机运行启动多个map和reduce。


二，hdfs]]></description><category></category></item><item><title><![CDATA[window下连接hadoop集群基础超详细版]]></title><link>https://blog.csdn.net/onlyForCloud/article/details/49492243</link><guid>https://blog.csdn.net/onlyForCloud/article/details/49492243</guid><author>onlyForCloud</author><pubDate>Thu, 29 Oct 2015 15:32:12 +0800</pubDate><description><![CDATA[http://blog.csdn.net/lifuxiangcaohui/article/details/39500131


1、Hadoop开发环境简介

1.1 Hadoop集群简介


　　Java版本：jdk-6u31-linux-i586.bin

　　Linux系统：CentOS6.0

　　Hadoop版本：hadoop-1.0.0.tar.gz

1.]]></description><category></category></item><item><title><![CDATA[Windows下使用Hadoop2.6.0-eclipse-plugin插件]]></title><link>https://blog.csdn.net/onlyForCloud/article/details/49428441</link><guid>https://blog.csdn.net/onlyForCloud/article/details/49428441</guid><author>onlyForCloud</author><pubDate>Mon, 26 Oct 2015 19:15:02 +0800</pubDate><description><![CDATA[http://my.oschina.net/muou/blog/408543


摘要 经历过痛苦的过程，在windows下终于可以使用eclipse的hadoop2.6.0插件进行远程调试Mapreduce了，本文大部分内容是摘自其余的博客，但是后续也有补充完整自己在整个过程中遇到的其余问题，希望本文能够比较完善的解决hadoop2.6.0在eclipse运行的问题。本人没有经过重新编译，]]></description><category></category></item></channel></rss>