Hadoop系列
Hadoop系列
怪异收集者
喜欢唱、跳、乱踢
展开
-
在windows下使用IDEA远程连接linux集群进行mapreduce调试
在windows下使用IDEA远程连接linux集群进行mapreduce调试改用户名,administrator改为hadoop,即改为linux集群的用户名,我的为hadoop将hadoop.tar.gz解压至windows下,添加系统变量跟环境变量 HADOOP_HOME,添加PATH追加上HADOOP_HOME\bin;HADOOP_HOME...原创 2017-02-24 08:14:06 · 375 阅读 · 0 评论 -
由主节点配置从节点从而构建集群
主节点操作改名字,改为master,hosts改hadoop的slaves加四个xmlslaves是加一个节点就要改一次从节点操作新建hadoop用户,修改权限,赋予权限ALL =…改好主机名,按node01 node02……规则配好ssh,保证可以通信关防火墙,iptables stop关selinux自ssh可以,主对从可以免密s...原创 2017-02-18 22:00:19 · 217 阅读 · 0 评论 -
VMware虚拟机相关问题
主机连不上VMware,ping不通,分析:与linux能不能上网没有关系,是VMware软件设置出错可能原因1.服务。打开服务,查看VM的各项服务是否为启动状态【首先要确定】2.同一网段。拿NAT来说,①打开Vmware的虚拟网络编辑器,找到NAT对应的NAT设置,记下相应的网关和子网IP地址②使用的是虚拟网卡VMnet8,去网络共享中心的...原创 2016-10-30 10:52:26 · 186 阅读 · 0 评论 -
CentOS集群相关问题
centos ssh连不上出现22端口拒绝访问等问题确保安装相关软件可以用yum search 来查找相关ssh的软件包要安装 openssh,openssh-servers,openssh-clients然后启动ssh,要用service sshd start注意要将防火墙关闭,可以直接将iptables stop现在ssh local...原创 2016-11-01 10:52:46 · 90 阅读 · 0 评论 -
zkp,kfk,stm联通的问题
要注意source的使用;在root下使用之后有时需要在hadoop用户下再source一次才可以;注意各个组件的配置文件zookeeper:zookeeper/conf/zoo.cfg运行参数的配置文件zookeeper/data 自定义工作目录内有myid version-2 zookeeper_server.pid,version-2里有...原创 2017-02-27 22:48:56 · 139 阅读 · 0 评论 -
Spark的RDDs相关内容
RDDs的介绍Driver programmain()方法,RDDs的定义和操作管理很多节点,称作executorsSparkContextDriver programs通过SparkContext对象访问SparkSparkContext对象代表和一个集群的连接在Shell中SparkContext是自动创建好的,即sc//使用一...原创 2017-11-28 07:05:37 · 142 阅读 · 0 评论 -
Kafka集群常用命令
kafka常用命令以下是kafka常用命令行总结:1、kafka服务启动./kafka-server-start.sh -daemon ../config/server.properties <!-- more -->2、创建topic./kafka-topics.sh --create --zookeeper hadoop01:2181 ...原创 2017-02-28 23:23:03 · 157 阅读 · 0 评论 -
Hadoop集群运行时问题
Hadoop Copy-copyFromLocal 相当于复制-moveFromLocal 本地会删除,相当于剪切-getmerge 合并, 源目录 -> 目的目录-mkdir-rmr-ls-copyToLocal 从hadoop下文件,不过通常用 -get(类似于-put)hadoop fs -lsr运行hadoop实例的顺序首先,开...原创 2016-11-05 09:59:32 · 129 阅读 · 0 评论 -
Hadoop常用命令
启动Hadoop 进入HADOOP_HOME目录。 执行sh bin/start-all.sh关闭Hadoop 进入HADOOP_HOME目录。 执行sh bin/stop-all.sh1、查看指定目录下内容hadoop dfs –ls [文件目录]eg: [hadoop@hadoop-1 test]$ hadoop fs -...原创 2017-04-25 10:13:13 · 93 阅读 · 0 评论 -
Kettle对接Hadoop
.wp-r{ font-size: 20px!important; font-weight: 700!important; } ???? 留下您对该文章的评价 ???? ...原创 2017-05-12 12:08:37 · 106 阅读 · 0 评论 -
Kafka初使用
[hadoop@hadoop01 bin]$ kafka-topics.sh --create --zookeeper hadoop01,hadoop02,hadoop03 --replication-factor 1 --partitions 3 --topic hadoop01Created topic "hadoop01".[hadoop@hado...原创 2017-02-28 14:34:49 · 88 阅读 · 0 评论 -
kafka的使用
kafka的使用Kafka是一个消息系统,原本开发自LinkedIn,用作LinkedIn的活动流(Activity Stream) 和运营数据处理 管道(Pipeline)的基础活动流数据是几乎所有站点在对其网站使用情况做报表时都要用到的数据中最常规的部分。活动数据包括页面访问量(PageView)、被查看内容方面的信息以及搜索情况等内容。这种数据通...原创 2017-02-22 09:10:47 · 94 阅读 · 0 评论 -
CentOS安装JDK
centos 安装jdk目的是使用hadoop不要使用openjdk,要使用更完整的jdk,Oracle官网首先卸载当前已有的jdk【root下进行】java-version显示当前jdkrpm -qa | grep java将本机全部的jdk查找出来然后挨个卸载之rpm -e --nodeps java-1.x.x-openjdk-xxx...原创 2016-10-27 14:31:54 · 74 阅读 · 0 评论 -
Flume接收数据的几种方式
2017-3-16 使用flume完成数据的接收标签: 有道云笔记备份使用flume完成数据的接收 场景:source是通过tcp发送,chnnel处理过滤字段,sink存在集群中适合①[注意,syslog需要特定环境,也可用telnet发送数据]source[syslogtcp],sink[hdfs]a1.sources = r1a1.sinks = k1a1.channels = c1#原创 2017-11-03 17:56:17 · 1776 阅读 · 0 评论