hadoop
文章平均质量分 58
jameswangcnbj
这个作者很懒,什么都没留下…
展开
-
MPP VS HADOOP场景分析
1.节点 MPP,这里以Greenplum为代表,不超过100节点,不过这里说的100节点是说100台机器还是100个节点,按照实际部署,一台物理机器其实不会只部署一个节点的,这里我严重怀疑是100台机器,因为我在实际中已经用3台物理机做出了10节点的情况(6台虚拟机,1master5segment,双节点双网卡) 因此,如果部署节点数在100下,用GP没问题,在实际中小型企业中,超过1原创 2016-03-04 17:10:36 · 6195 阅读 · 0 评论 -
HDB IN ACTION(1)
一、SQL on Hadoop 我们需要知道业界很多产品如hive、Presto、Drill、SparkSQL、Impala等均在发力sql on hadoop,如果谈及这个话题,需要很多的篇幅, 我们这里只需要知道hawq是开源的一款sql on hadop的产品,具体它的优势,请另行查询,熟悉greenplum的用户应该知道mpp数据库的强劲性能 而hawq2.0是将mpp和had原创 2017-04-25 16:14:24 · 452 阅读 · 0 评论 -
hadoop原生版安装部署---4.snappy
snappy的介绍就不多说,我们只需要知道它是一个压缩库在hadoop中有着很广泛的使用,具体详见http://www.infoq.com/cn/news/2011/04/Snappy/环境:hadoop4台测试环境,详见之前文章1.安装包yum install gcc c++ autoconf automake libtool gcc+ gcc-c++2.安装maven3cd /usr/local原创 2017-02-15 16:20:25 · 407 阅读 · 0 评论 -
hadoop原生版安装部署---1.集群规划和准备
1.集群规划 主机 安装软件 进程 c9test91 jdk hadoop zk NameNode、DFSZKFailoverController、JournalNode、QuorumPeerMain c9test92 jdk hadoop zk NameNode、DFSZKFailoverController、JournalNode、QuorumPeerMain原创 2017-02-15 14:53:17 · 348 阅读 · 0 评论 -
hadoop原生版安装部署---3.hdfs
1.下载安装 tar xzvf hadoop-2.2.0.tar.gz -C ../ mv hadoop-2.2.0/ hadoop/2.bash_profilesu - hadoop export HADOOP_PREFIX="/home/hadoop/hadoop" export HADOOP_MAPRED_HOME=$HADOOP_PREFIX export HADOOP_COM原创 2017-02-15 15:46:55 · 346 阅读 · 0 评论 -
hadoop原生版安装部署---2.zookeeper
zookeeper需要部署在c9test91、c9test92、c9test93共3台机器上1.软件下载和安装 su - hadoop mkdir software tar xzvf zookeeper-3.4.5.tar.gz -C ../ mv ../zookeeper-3.4.5 ../zookeeper/2.目录准备 mkdir /home/hadoop/zookeeper/原创 2017-02-15 15:14:25 · 244 阅读 · 0 评论 -
hadoop原生版安装部署---5.hbase
按照之前的规划,一共4台虚拟机c9tet91 c89test92 c9test93 c9test94 如未加特殊说明,以下操作均在hadoop用户下进行 1.规划 91 HMaster 92 backupmaster 93 HRegionServer 94 HregionServer 2.安装部署 2.1 找到原创 2017-02-23 15:02:25 · 439 阅读 · 0 评论 -
Alluxio初探
Alluxio的使用场景:如果你感觉在spark或者其他Hadoop的上层应用去操作hdfs的时候性能不理想,可以在应用和底层文件之间加入这个内存级别的框架,或者简单我们理解为缓存,其实这层的操作和hdfs的操作极为相似,对上层的影响很小,性能应该会有比较明显的提升。 国内很多厂商已经在使用了,比如华为等知名企业,而且目前已经支持了阿里的OSS,感觉这个产品的切入点很好,大家应该持续关注一下。原创 2016-09-26 17:32:47 · 2091 阅读 · 0 评论 -
Spark1.6 onYARN 安装手记
在现在的环境中hadoop+spark+mpp的OLAP的场景越来越多,学习spark需要的第一步就是搭建测试环境。 一、前提准备 spark或者说hadoop集群的最小机器就是3台,分别如下:192.168.206.27 master192.168.206.33 slave1 192.168.203.19 slave2 1.修改机器名vi /etc/sysconfig/network原创 2016-03-18 15:49:40 · 702 阅读 · 0 评论 -
HDB IN ACTION(2)
五、命令行安装HDB2.2 1.系统参数vi /etc/sysctl.conf #modify kernel.sysrq = 1 net.ipv4.tcp_syncookies = 0 #added for hawq kernel.shmmni = 4096 kernel.sem = 250 512000 100原创 2017-04-25 16:57:15 · 425 阅读 · 0 评论