hadoop体系
文章平均质量分 81
萝卜地里的兔子
爱吃胡萝卜的兔子
展开
-
hadoop2.4.2集群搭建及hive与mysql集成文档记录
1.修改Linux主机名2.修改IP3.修改主机名和IP的映射关系######注意######如果你们公司是租用的服务器或是使用的云主机(如华为用主机、阿里云主机等)/etc/hosts里面要配置的是内网IP地址和主机名的映射关系4.关闭防火墙5.ssh免登陆6.安装JDK,配置环境变量等集群规划:主机名 IP安装的软件 运行的进程weeke原创 2016-09-07 14:05:54 · 4948 阅读 · 0 评论 -
flume通过tcp/udp采集数据并存到kafka配置及操作方式
/*官方提供的kafka sink*/a1.sinks.k1.channel = c1a1.sinks.k1.type = org.apache.flume.sink.kafka.KafkaSinka1.sinks.k1.kafka.topic = mytopica1.sinks.k1.kafka.bootstrap.servers = localhost:9092a1.sin原创 2016-11-03 16:44:20 · 14474 阅读 · 2 评论 -
zookeeper锁测试
package mpc.test;import java.util.concurrent.CountDownLatch;import java.util.concurrent.ExecutorService;import java.util.concurrent.Executors;import java.util.concurrent.TimeUnit;import org.apa原创 2016-11-01 11:57:12 · 6744 阅读 · 0 评论 -
hbase的mapreduce程序小抄
package cn.itcast.bigdata.hbase;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.conf.Configured;import org.apache.hadoop.hbase.HBaseConfiguration;原创 2016-11-02 14:05:30 · 3420 阅读 · 0 评论 -
zkCli使用手册
zkClient命令笔记connect host:port 连接到其他的zk服务器,例:connect 192.168.174.222:2181-------------------------------------------------------------------------------------------------------get path [w原创 2016-12-02 17:46:03 · 6398 阅读 · 0 评论 -
Hadoop64位版本安装后遇到的警告处理
在使用hadoop的过程中,会遇到一个警告,内容如下:WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable对于这个问题网上很多说法是由于系统位数和所下载的hadoop的位数不原创 2017-01-13 14:58:57 · 10111 阅读 · 0 评论 -
修改hadoop中yarn的webui中显示的任务时间为中国时间
在${HADOOP_HOME}\share\hadoop\yarn目录下找到hadoop-yarn-common-x.x.x.jar,然后用winRAR打开;打开以后结构如下:进入webapps/static/目录,然后修改yarn.dt.plugins.js;做出如下修改:(1)给js文件中添加如下代码:Date.prototype.Format = fu原创 2017-03-14 10:37:52 · 6199 阅读 · 1 评论 -
线程池的方式构建hbase的connection
package normal.dao;import java.io.IOException;import java.util.concurrent.ExecutorService;import java.util.concurrent.Executors;import org.apache.hadoop.conf.Configuration;import org.apache.had原创 2016-11-10 17:37:21 · 11272 阅读 · 6 评论