Hadoop
关注
分享
扫一扫
哈天奇不奇
这个作者很懒，什么都没留下…
展开
-
Hadoop生态圈
什么是Hadoop？The Apache™ Hadoop® project develops open-source software for reliable, scalable, distributed computing. 特点：扩容能力（Scalable）：能可靠地（reliably）存储和处理千兆字节（PB）数据。成本低（Economical）：可以通过普通机器...原创 2016-02-24 22:36:41 · 160 阅读 · 0 评论 -
Kafka集群搭建
原创转载请注明出处：http://agilestyle.iteye.com/blog/2292260 前期准备zookeeper集群搭建完毕 Kafka配置创建Kafka日志文件夹mkdir kafkaLogs 修改config目录下的server.propertiesvi server.properties 修改broker.id（hadoo...原创 2016-04-19 12:09:32 · 71 阅读 · 0 评论 -
Storm集群搭建
原创转载请注明出处：http://agilestyle.iteye.com/blog/2292067 前期准备zookeeper集群搭建完毕storm环境变量export JAVA_HOME=/home/hadoop/app/jdk1.8.0_77 export HADOOP_HOME=/home/hadoop/app/hadoop-2.6.4 export H...原创 2016-04-18 14:35:38 · 77 阅读 · 0 评论 -
HBase集群搭建
原创转载请注明出处：http://agilestyle.iteye.com/blog/2291600 前期准备Hadoop HA Cluster搭建完毕 HBase配置修改conf目录下的hbase-env.sh —— vi hbase-env.shexport JAVA_HOME=/home/hadoop/app/jdk1.8.0_77export HBASE...原创 2016-04-17 22:03:16 · 108 阅读 · 0 评论 -
Hadoop HA Cluster
原创转载请注明出处：http://agilestyle.iteye.com/blog/2291823 前期准备：修改Linux主机名，IP，SSH无密登录，JDK安装，环境变量配置等，统统省略。 集群规划：hostnameIPSoftwareProcesshadoop-0000192.168.5.2...原创 2016-04-16 21:51:15 · 208 阅读 · 0 评论 -
Hive元数据库MySQL安装配置
Hive默认的元数据库是Derby，诸多不便，所以换成MySQL数据库首先在Ubuntu上安装MySQLsudo apt-get update && sudo apt-get dist-upgradesudo apt-get install mysql-server mysql-client一路默认即可，中间会有要求设置root账号的密码，安装成功后，使用如下命...原创 2016-04-14 16:42:25 · 156 阅读 · 0 评论 -
Hive启动Error：Found class jline.Terminal, but interface was expected
Error Cause —— Hadoop里面有老版本的jline Solutioncp jline-2.12.jar /home/hadoop/app/hadoop-2.6.4/share/hadoop/yarn/librm /home/hadoop/app/hadoop-2.6.4/share/hadoop/yarn/lib/jline-0.9.94.jar 重...原创 2016-04-14 10:18:38 · 284 阅读 · 0 评论 -
zookeeper集群搭建
原创转载请注明出处：http://agilestyle.iteye.com/blog/2290649 Zookeeper介绍Zookeeper是Hadoop下的一个子项目，它是一个针对大型分布式系统的可靠的协调系统，提供的功能包括配置维护、名字服务、分布式同步、组服务等。ZooKeeper是可以集群复制的，集群间通过Zab(Zookeeper Atomic Broadcast)协议...原创 2016-04-13 12:30:22 · 110 阅读 · 0 评论 -
Hadoop HDFS CRUD
Maven Dependency<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apa...2016-04-08 17:53:42 · 213 阅读 · 0 评论 -
Hadoop上传、下载以及word count简单示例
首先看一个hadoop自带的example1.启动 start-dfs.sh 启动start-yarn.sh2.输入http://hadoop-0000:50070/，查看HDFS 3. 上传一个文件，比如JDKhadoop fs -put jdk-8u77-linux-x64.tar.gz hdfs://hadoop-0000:9000/ 4.查看H...2016-04-08 15:20:51 · 323 阅读 · 0 评论 -
Hadoop环境搭建
1.给hadoop用户赋予和root用户同样的权限sudo vim /etc/sudoers 2.修改hostnamesudo vi /etc/hostname 3.修改hostssudo vi /etc/hosts 4.重启Ubuntu（重启之后，可以尝试ping hostname，比如ping hadoop-0000）sudo reboot ...原创 2016-04-08 14:18:02 · 142 阅读 · 0 评论 -
Hadoop 2.x RPC框架通讯
1.Project DirectoryServer端Client端服务端和客户端所在包(就是项目内路径:比如org.fool.hadoop.rpc)必须一致，否则会出现如下错误 2. Maven Dependency<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://ww...原创 2016-03-23 11:10:34 · 81 阅读 · 0 评论 -
Missing artifact jdk.tools:jdk.tools:jar:1.6
Issue： Solution：在pom.xml加入如下依赖即可<dependency> <groupId>jdk.tools</groupId> <artifactId>jdk.tools</artifactId> <version>1.8</version> <scope原创 2016-03-22 20:26:07 · 165 阅读 · 0 评论 -
Hadoop集群搭建无密码登录
两台服务器，hadoop-001和hadoop-0031.讲hadoop-001的公钥远程拷贝到hadoop-003scp id_rsa.pub hadoop-003:/home/hadoop 2. 切换到hadoop-003，追加hadoop-001的公钥到authorized_keys中cat ../id_rsa.pub >> ./authorized_ke...原创 2016-03-06 16:35:57 · 79 阅读 · 0 评论 -
Ubuntu和Windows搭建Hadoop之VMware参数配置
使用VMware搭建Ubuntu环境，作为Hadoop服务器VMware设置Ubuntu和Windows网络参数 查看Ubuntu的IP 查看Windows的IP VMware参数配置 好了，具体就这么几张图，配置好网络参数，就可以进行Hadoop集群的搭建了。顺便吐槽一下狗日的微软的垃圾Win10操作系统，浪费老子3天的时间在那两个破服务进程上，一个D...原创 2016-03-01 22:08:31 · 108 阅读 · 0 评论 -
What are the differences between Apache Kafka and RabbitMQ?
转自：https://www.quora.com/What-are-the-differences-between-Apache-Kafka-and-RabbitMQ Kafka is a general purpose message broker, like RabbItMQ, with similar distributed deployment goals, but with ...原创 2017-02-19 22:22:35 · 150 阅读 · 0 评论