cdh
mllhxn
这个作者很懒,什么都没留下…
展开
-
cloudera httpd 安装
Ssh 同步时间同步 关闭seLinux #vi /etc/selinux/config (将SELINUX改为disabled) 关闭防火墙 #service iptables stop /status 关闭iptables启动级别 # chkconfigiptables off chkconfig --listipt原创 2015-11-22 14:52:49 · 794 阅读 · 0 评论 -
flume-ng性能优化与架构设计
转:http://blog.csdn.net/hijk139/article/details/22861667如图1所示,一个flume-ng agent主要包括source,channel和sink三部分,三部分运行在java JVM中,JVM一般运行在linux'操作系统上,因此,这些因素都可能影响最终的性能。flume-ng性能优化与架构设计,简单来讲,也主要包括以上部分转载 2016-04-21 21:12:57 · 326 阅读 · 0 评论 -
ClouderaManager修改集群的IP
转 :http://www.it165.net/admin/html/201509/6648.html1、业务需求说明:由于公司网络进行了整改,随之而来的就是对应的ip网段发生了变化,其中我的hadoop的集群各主机的ip也相应的发生了改变,因此需要对各主机进行修改ip。2、具体操作: 首先停止cdh各组件的服务,修改各主机的ip。修改完后,本以为完事儿了,启动Cloudera Managemen转载 2016-05-09 17:02:40 · 676 阅读 · 0 评论 -
Flume 收集Nginx日志 tail-to-avro avro-to-file
转:http://blog.csdn.net/luyee2010/article/details/22171157nginx,access.log日志约1.6w条/s,每1000w条数据约2000M,需要10mintail-to-avroagent1.sources = source1agent1.sinks = sink1agent1.channels = channel转载 2016-07-16 11:41:17 · 404 阅读 · 0 评论 -
flume 监控
转:http://www.cnblogs.com/sunxucool/p/3906525.htmlFlume本身提供了http, ganglia的监控服务,而我们目前主要使用zabbix做监控。因此,我们为Flume添加了zabbix监控模块,和sa的监控服务无缝融合。另一方面,净化Flume的metrics。只将我们需要的metrics发送给zabbix,避免 zabbix se转载 2016-07-17 12:12:10 · 494 阅读 · 0 评论 -
Oozie-4.0.0-CDH 安装部署
转:http://blog.csdn.net/u010967382/article/details/41355953下载解压下载安装过程需要的相关文件:oozie4.0.0安装包http://archive.cloudera.com/cdh5/cdh/5/oozie-4.0.0-cdh5.2.0.tar.gzext2.2包ht转载 2016-08-02 13:31:26 · 748 阅读 · 0 评论 -
cloudera 离线安装
1.1 设置ip地址service network restart验证: ifconfig1.2 关闭防火墙service iptables stop验证: service iptables status1.3 关闭防火墙的自动运行chkconfig iptables offchkconfig --list iptables验证: chkconfig --list | grep iptabl原创 2016-06-03 15:23:13 · 588 阅读 · 0 评论 -
sqoop+hive+shell+oozie 示例
create.qcreate external table IF NOT EXISTS default.SYS_ACCOUNT( account_id double, account_name string, account_password string, status int, last_logi原创 2015-12-11 15:55:14 · 3851 阅读 · 3 评论 -
cdh 问题
1: solrcloud集群搭建完毕之后,进入web界面,总是提示there exists no core with name”*” 不要使用IE内核的浏览器2: [root@localhost ~]# service mysqld restart Stopping mysqld: [ OK ]原创 2015-12-23 09:39:57 · 5613 阅读 · 0 评论 -
一些收藏网站
https://github.com/endymecy/spark-ml-source-analysishttp://lxw1234.com/archives/2016/01/605.htmhttps://www.iteblog.com/原创 2016-10-31 17:29:16 · 270 阅读 · 0 评论 -
CDH5.X安装配置kerberos认证过程
https://www.cloudera.com/documentation/enterprise/latest/topics/cm_sg_kdc_def_domain_s2.html 安装过程(需要如下8个步骤)Configuring a Kerberos 5 ServerWhen setting up Kerberos, install the KDC first. I转载 2017-04-11 14:51:27 · 1248 阅读 · 0 评论 -
CDH-LZO配置
下载和CDH版本对应的hadoop-lzo版本如下: 下载地址:http://archive.cloudera.com/gplextras5/parcels/需要下载如下三个文件:GPLEXTRAS-5.4.0-1.cdh5.4.0.p0.27-el6.parcelGPLEXTRAS-5.4.0-1.cdh5.4.0.p0.27-el6.parcel转载 2017-04-27 18:57:39 · 1146 阅读 · 0 评论 -
ganglia cdh 配置
找个源码 找ganglia相关类里都有hbase# for Ganglia 3.7*.sink.ganglia.class=org.apache.hadoop.metrics2.sink.ganglia.GangliaSink31 *.sink.ganglia.period=10 hbase.sink.ganglia.period=10 hbase.sink.ganglia.serve原创 2016-04-26 10:54:40 · 761 阅读 · 0 评论 -
Ganglia安装
1.前期准备1.1.节点准备修改主机名、ip、iptables关闭;时间同步 关闭防火墙 service iptables stop 查看防火墙开机启动状态 chkconfig iptables –list 关闭防火墙的开机启动 chkconfig iptables off1.2.软件准备ganglia-3.7.1.tar.gz、ganglia-web-3.7.0.tar.gz 地址:h原创 2016-04-25 15:59:58 · 1073 阅读 · 0 评论 -
Flume-ng 高级功能配置
转:http://my.oschina.net/guol/blog/413642?utm_source=tuicool&utm_medium=referral看看flume的高级功能:1 flume channel selectors 如果没有特殊说明,则默认是replicating模式。 还有Multiplexing、Custom模转载 2016-04-07 18:14:37 · 664 阅读 · 0 评论 -
cloudera 卸载
一、卸载CM:(CM主机执行)1、移除所有服务 先在Cloudera Manager管理端停止集群所有组件服务,然后删除所有服务。 2、删除Manager Server(一直选yes. 卸载不成功执行步骤3) 到CM所安装的主机上执行如下命令,需要root权限: sudo /usr/share/cmf原创 2015-11-25 14:48:35 · 2669 阅读 · 0 评论 -
cdh agent 安装
准备环境略添加cloudera manager service数据库:启动MySQL:sudo service mysqld start登陆MySQL控制台: mysql –u root -pcreate database amon DEFAULT CHARACTER SET utf8;create database rman DEFAULT CHARACTER原创 2015-08-30 22:50:14 · 1348 阅读 · 0 评论 -
cdh PostgreSQL
centos用yum安装postgresql的路径为 /var/lib/pgsql/中。1.安装postgresql9.0 yum 仓库 rpm -i http://yum.postgresql.org/9.2/redhat/rhel-6-x86_64/pgdg-redhat92-9.2-7.noarch.rpm2.安装新版本的Postgresql yum install postgres原创 2016-01-30 18:46:59 · 2785 阅读 · 0 评论 -
Cloudera 重启
/etc/init.d/ntpd start /etc/init.d/postgresql start /etc/init.d/mysqld start service cloudera-scm-server start原创 2016-02-16 10:45:20 · 1998 阅读 · 0 评论 -
MR table
MRtablepackage mapreduce;import java.io.IOException;import java.net.URI;import org.apache.commons.lang.StringUtils;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Fil原创 2015-04-15 01:11:46 · 613 阅读 · 0 评论 -
Redis
redispackage redis;import java.util.ArrayList;import java.util.Iterator;import java.util.List;import java.util.Set;import redis.clients.jedis.Jedis;import redis.clients.jedis.JedisPool;impo转载 2015-04-14 23:44:32 · 317 阅读 · 0 评论 -
MR topN
mapreduce topNpackage mr.topN;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.IntWritable;import原创 2015-04-14 23:41:46 · 840 阅读 · 0 评论 -
MR Multiple
mapreduce Multiplepackage mr.mulit;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.Text;import o原创 2015-04-14 23:38:21 · 416 阅读 · 0 评论 -
flume 案例
1)案例1:Avro Avro可以发送一个给定的文件给Flume,Avro 源使用AVRO RPC机制。 a)创建agent配置文件root@m1:/home/hadoop#vi /home/hadoop/flume-1.5.0-bin/conf/avro.confa1.sources = r1a1.sinks = k1a1.channels = c1# Describe/confi转载 2015-05-26 00:27:15 · 759 阅读 · 1 评论 -
node-zk-browser 安装配置
1,cd /usr/local 下载nodejs,wget https://github.com/joyent/node/archive/v0.8.14.zip 解压,unzip v0.8.14.zip编译nodejscd node-0.8.14./configure –prefix=/usr/local/nodejs/nodejs-0.8.14makesudo make install设置环转载 2016-01-27 18:43:53 · 850 阅读 · 0 评论 -
kafka tools
kafka tools开关kafka Serverbin/kafka-server-start.sh config/server.properties bin/kafka-server-stop.sh JMX_PORT=9999 nohup topic相关 bin/kafka-topics.sh –create –zookeeper localhost:2181 –replication-fac转载 2015-04-28 01:21:55 · 872 阅读 · 0 评论 -
杂记 优化
集群安装设置节点角色分配集中式Master,将SPOF单点集中到一起NameNode,JobTracker / ResourceManagerHive Metastore,HiveServer2Impala StateStore,Catalog ServerSpark Master节点内核参数–ulimit,/etc/security原创 2015-10-06 15:37:14 · 574 阅读 · 0 评论 -
宝藏智能硬件DIY网站:OneEase
OneEase网站为技术人员提供了丰富的资源和实际项目,帮助我们在实践中提升技能。无论你是刚开始接触智能硬件,还是希望在已有的基础上进一步提升,OneEase的项目都能满足你的需求。通过这些项目,我们不仅能学到新的技术,还能亲手实现自己的创意,这对我们技术人员来说是非常宝贵的体验。原创 2018-07-18 17:48:44 · 502 阅读 · 1 评论