![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
哈天奇不奇
这个作者很懒,什么都没留下…
展开
-
Hadoop生态圈
什么是Hadoop? The Apache™ Hadoop® project develops open-source software for reliable, scalable, distributed computing. 特点: 扩容能力(Scalable):能可靠地(reliably)存储和处理千兆字节(PB)数据。 成本低(Economical):可以通过普通机器...原创 2016-02-24 22:36:41 · 129 阅读 · 0 评论 -
Kafka集群搭建
原创转载请注明出处:http://agilestyle.iteye.com/blog/2292260 前期准备 zookeeper集群搭建完毕 Kafka配置 创建Kafka日志文件夹 mkdir kafkaLogs 修改config目录下的server.properties vi server.properties 修改broker.id(hadoo...原创 2016-04-19 12:09:32 · 61 阅读 · 0 评论 -
Storm集群搭建
原创转载请注明出处:http://agilestyle.iteye.com/blog/2292067 前期准备 zookeeper集群搭建完毕 storm环境变量 export JAVA_HOME=/home/hadoop/app/jdk1.8.0_77 export HADOOP_HOME=/home/hadoop/app/hadoop-2.6.4 export H...原创 2016-04-18 14:35:38 · 63 阅读 · 0 评论 -
HBase集群搭建
原创转载请注明出处:http://agilestyle.iteye.com/blog/2291600 前期准备 Hadoop HA Cluster搭建完毕 HBase配置 修改conf目录下的hbase-env.sh —— vi hbase-env.sh export JAVA_HOME=/home/hadoop/app/jdk1.8.0_77 export HBASE...原创 2016-04-17 22:03:16 · 91 阅读 · 0 评论 -
Hadoop HA Cluster
原创转载请注明出处:http://agilestyle.iteye.com/blog/2291823 前期准备: 修改Linux主机名,IP,SSH无密登录,JDK安装,环境变量配置等,统统省略。 集群规划: hostname IP Software Process hadoop-0000 192.168.5.2...原创 2016-04-16 21:51:15 · 188 阅读 · 0 评论 -
Hive元数据库MySQL安装配置
Hive默认的元数据库是Derby,诸多不便,所以换成MySQL数据库 首先在Ubuntu上安装MySQL sudo apt-get update && sudo apt-get dist-upgrade sudo apt-get install mysql-server mysql-client 一路默认即可,中间会有要求设置root账号的密码,安装成功后,使用如下命...原创 2016-04-14 16:42:25 · 123 阅读 · 0 评论 -
Hive启动Error:Found class jline.Terminal, but interface was expected
Error Cause —— Hadoop里面有老版本的jline Solution cp jline-2.12.jar /home/hadoop/app/hadoop-2.6.4/share/hadoop/yarn/lib rm /home/hadoop/app/hadoop-2.6.4/share/hadoop/yarn/lib/jline-0.9.94.jar 重...原创 2016-04-14 10:18:38 · 244 阅读 · 0 评论 -
zookeeper集群搭建
原创转载请注明出处:http://agilestyle.iteye.com/blog/2290649 Zookeeper介绍 Zookeeper是Hadoop下的一个子项目,它是一个针对大型分布式系统的可靠的协调系统,提供的功能包括配置维护、名字服务、分布式同步、组服务等。ZooKeeper是可以集群复制的,集群间通过Zab(Zookeeper Atomic Broadcast)协议...原创 2016-04-13 12:30:22 · 72 阅读 · 0 评论 -
Hadoop HDFS CRUD
Maven Dependency <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apa...2016-04-08 17:53:42 · 182 阅读 · 0 评论 -
Hadoop上传、下载以及word count简单示例
首先看一个hadoop自带的example 1.启动 start-dfs.sh 启动start-yarn.sh 2.输入http://hadoop-0000:50070/,查看HDFS 3. 上传一个文件,比如JDK hadoop fs -put jdk-8u77-linux-x64.tar.gz hdfs://hadoop-0000:9000/ 4.查看H...2016-04-08 15:20:51 · 281 阅读 · 0 评论 -
Hadoop环境搭建
1.给hadoop用户赋予和root用户同样的权限 sudo vim /etc/sudoers 2.修改hostname sudo vi /etc/hostname 3.修改hosts sudo vi /etc/hosts 4.重启Ubuntu(重启之后,可以尝试ping hostname,比如ping hadoop-0000) sudo reboot ...原创 2016-04-08 14:18:02 · 128 阅读 · 0 评论 -
Hadoop 2.x RPC框架通讯
1.Project Directory Server端 Client端 服务端和客户端所在包(就是项目内路径:比如org.fool.hadoop.rpc)必须一致,否则会出现如下错误 2. Maven Dependency <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://ww...原创 2016-03-23 11:10:34 · 71 阅读 · 0 评论 -
Missing artifact jdk.tools:jdk.tools:jar:1.6
Issue: Solution:在pom.xml加入如下依赖即可 <dependency> <groupId>jdk.tools</groupId> <artifactId>jdk.tools</artifactId> <version>1.8</version> <scope原创 2016-03-22 20:26:07 · 134 阅读 · 0 评论 -
Hadoop集群搭建无密码登录
两台服务器,hadoop-001和hadoop-003 1.讲hadoop-001的公钥远程拷贝到hadoop-003 scp id_rsa.pub hadoop-003:/home/hadoop 2. 切换到hadoop-003,追加hadoop-001的公钥到authorized_keys中 cat ../id_rsa.pub >> ./authorized_ke...原创 2016-03-06 16:35:57 · 65 阅读 · 0 评论 -
Ubuntu和Windows搭建Hadoop之VMware参数配置
使用VMware搭建Ubuntu环境,作为Hadoop服务器 VMware设置Ubuntu和Windows网络参数 查看Ubuntu的IP 查看Windows的IP VMware参数配置 好了,具体就这么几张图,配置好网络参数,就可以进行Hadoop集群的搭建了。顺便吐槽一下狗日的微软的垃圾Win10操作系统,浪费老子3天的时间在那两个破服务进程上,一个D...原创 2016-03-01 22:08:31 · 94 阅读 · 0 评论 -
What are the differences between Apache Kafka and RabbitMQ?
转自:https://www.quora.com/What-are-the-differences-between-Apache-Kafka-and-RabbitMQ Kafka is a general purpose message broker, like RabbItMQ, with similar distributed deployment goals, but with ...原创 2017-02-19 22:22:35 · 134 阅读 · 0 评论