Hadoop
文章平均质量分 75
Agile牧
最重要的,拥有跟随内心与直觉的勇气,你的内心与直觉多少已经知道你真正想要成为什么样的人。任何其它事物都是次要的。
展开
-
Hadoop生态圈
原创 2016-02-24 22:36:41 · 145 阅读 · 0 评论 -
Java连接Kafka
"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/原创 2017-09-21 15:07:47 · 284 阅读 · 0 评论 -
Kafka常用命令
2>&1 & 停止Kafka./kafka-server-stop.sh 停止zookeeper./zkServer.sh stop 创建topic./kafka-topics.sh --create --zookeeper hadoop-0004:2181 --replication-factor 3 --partitions 1 --topic test 展示topic./kafka-topics.sh --原创 2017-09-21 14:36:16 · 94 阅读 · 0 评论 -
What are the differences between Apache Kafka and RabbitMQ?
t with very different assumptions on message model semantics. I would be skeptical of the "AMQP is more mature" argument and look at the facts of how either solution solves your problem.TL;DR, a) Use Kafka if you have a fire hose of events (100原创 2017-02-19 22:22:35 · 110 阅读 · 0 评论 -
Kafka集群搭建
g目录下的server.propertiesvi server.properties 修改broker.id(hadoop-0000上为0,hadoop-0001上为1,hadoop-0002上为2) 修改delete.topic.enable,设置为true 修改log.dirslog.dirs=/home/hadoop/app/kafka_2.11-0.9.0.1/kafkaLogs 修改zookeeper.connect改为自定义的zookeeperzook原创 2016-04-19 12:09:32 · 90 阅读 · 0 评论 -
Storm集群搭建
OP_HOME=/home/hadoop/app/hadoop-2.6.4 export HIVE_HOME=/home/hadoop/app/apache-hive-1.2.1-bin export HBASE_HOME=/home/hadoop/app/hbase-1.1.4 export STORM_HOME=/home/hadoop/app/apache-storm-1.0.0export ZOOKEEPER_HOME=/home/hadoop/app/zookeeper-3.原创 2016-04-18 14:35:38 · 216 阅读 · 0 评论 -
Hadoop HA Cluster
原创 2016-04-16 21:51:15 · 94 阅读 · 0 评论 -
HBase集群搭建
export JAVA_HOME=/home/hadoop/app/jdk1.8.0_77export HBASE_MANAGES_ZK=false 修改conf目录下的hbase-site.xml —— vi hbase-site.xml<configuration> <property> <name>hbase:rootdir</name>原创 2016-04-17 22:03:16 · 94 阅读 · 0 评论 -
Hive元数据库MySQL安装配置
ver mysql-client一路默认即可,中间会有要求设置root账号的密码,安装成功后,使用如下命令检查是否安装成功netstat -tap | grep mysql 修改my.cnf的bind-addresssudo vi /etc/mysql/my.cnf重启sudo restart mysql 配置hive-site.xml文件,cd到hive目录下的conf文件夹vim hive-site.xml<configuration>原创 2016-04-14 16:42:25 · 135 阅读 · 0 评论 -
Hive启动Error:Found class jline.Terminal, but interface was expected
ine-0.9.94.jar 重新启动Hive原创 2016-04-14 10:18:38 · 138 阅读 · 0 评论 -
zookeeper集群搭建
,提供的功能包括配置维护、名字服务、分布式同步、组服务等。ZooKeeper是可以集群复制的,集群间通过Zab(Zookeeper Atomic Broadcast)协议来保持数据的一致性。该协议看起来像是Paxos协议的某种变形,该协议包括两个阶段:leader election阶段和Atomic broadcas阶段。集群中将选举出一个leader,其他的机器则称为follower,所有的写操作都被传送给leader,并通过broadcas将所有的更新告诉follower。当leader崩溃或者lead原创 2016-04-13 12:30:22 · 119 阅读 · 0 评论 -
Hadoop HDFS CRUD
che.org/xsd/maven-4.0.0.xsd"> <modelVersion>4.0.0</modelVersion> <groupId>org.fool.hadoop</groupId> <artifactId>hadoop</artifactId> <version&am2016-04-08 17:53:42 · 88 阅读 · 0 评论 -
Hadoop上传、下载以及word count简单示例
7-linux-x64.tar.gz hdfs://hadoop-0000:9000/ 4.查看HDFS5.下载一个文件hadoop fs -get hdfs://hadoop-0000:9000/jdk-8u77-linux-x64.tar.gz 6. 创建两个目录hadoop fs -mkdir /wordcounthadoop fs -mkdir /wordcount/input 7.新建一个文件,输入一些数据,保存上传hadoop fs -put2016-04-08 15:20:51 · 187 阅读 · 0 评论 -
Hadoop环境搭建
可以尝试ping hostname,比如ping hadoop-0000)sudo reboot 5. Alt + P, put JDK & Hadoop 6. 解压JDK & Hadoopsudo tar zxvf jdk-8u77-linux-x64.tar.gz -C app/sudo tar zxvf hadoop-2.6.4.tar.gz -C app/ 7.配置JAVA_HOME & HADOOP_HOMEs原创 2016-04-08 14:18:02 · 83 阅读 · 0 评论 -
Hadoop 2.x RPC框架通讯
;project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd"> <mo原创 2016-03-23 11:10:34 · 119 阅读 · 0 评论 -
Missing artifact jdk.tools:jdk.tools:jar:1.6
ion> <scope>system</scope> <systemPath>${JAVA_HOME}/lib/tools.jar</systemPath></dependency>原创 2016-03-22 20:26:07 · 318 阅读 · 0 评论 -
Hadoop集群搭建无密码登录
zed_keys中cat ../id_rsa.pub >> ./authorized_keys 3. 从hadoop-001登录到hadoop-003(无需密码)ssh hadoop-003 是不是感觉很麻烦,实际上有一个最快捷的方法ssh-copy-id hadoop-0001原创 2016-03-06 16:35:57 · 127 阅读 · 0 评论 -
Ubuntu和Windows搭建Hadoop之VMware参数配置
原创 2016-03-01 22:08:31 · 101 阅读 · 0 评论 -
流式计算和批量计算
原创 2017-09-29 15:02:18 · 1665 阅读 · 0 评论