- 博客(265)
- 收藏
- 关注
RSS订阅原创 Hadoop2.6.0自动化部署脚本（一）---神算子
1 概述最近自己写了一个Hadoop自动化部署脚本，包括Hadoop集群自动化部署脚本和Hadoop增加单节点自动化部署脚本。需要快速部署Hadoop集群的童鞋可以使用该脚本。这些脚本我在用5台虚拟机进行了测试，如果在使用中还有bug，欢迎指出。本文主要介绍Hadoop集群自动化部署脚本，安装的Hadoop版本为2.6.0。2 依赖安装Hadoop2.6.0集群需要依赖JDK和Zookeeper。本
2015-10-21 15:31:34
4760
2
转载 Hbase1.0 客户端api---神算子
最近在试用Hbase1.0的客户端API，发觉变化还是挺大（以前版本也不熟）。到处都是deprecated。现在应该是这样子：Configuration conf = HBaseConfiguration.create();conf.set("hbase.zookeeper.quorum", "quorum1,quorum2,quorum3");conf.set("h
2015-10-07 15:18:49
489
转载 远程调试hadoop各组件
远程调试对应用程序开发十分有用。例如，为不能托管开发平台的低端机器开发程序，或在专用的机器上（比如服务不能中断的 Web 服务器）调试程序。其他情况包括：运行在内存小或 CUP 性能低的设备上的 Java 应用程序（比如移动设备），或者开发人员想要将应用程序和开发环境分开，等等。为了进行远程调试，必须使用 Java Virtual Machine (JVM) V5.0 或更新版本。JP
2015-10-05 19:00:32
385
转载 源代码制作成RPM包
由于自动化运维的需求，需要把所有的源代码打成RPM包，方便以后运维安装管理，一般来说源代码制作成RPM一般需要一下的步骤即可。1，确定Linux 环境中安装了gcc rpmbuild make install等2，从源代码中找到spec文件，用来控制包建立的过程3，打包4，查看制作完成的RPM包以下是一个实例：[html] view plaincopy1
2015-10-05 19:00:07
3243
转载 校验码检验
客户端上传数据或DataNode从其他DataNode上接收数据时，都会检查校验和，把真实数据的校验和同datanode上的校验和进行比较。每创建一个文件filename.txt时，就会在同目录下创建.filename.txt.crc检验和文件，默认情况下，每512个字节就会生成一个32位的校验和，可以在core-site.xml文件中修改默认值： io.bytes.per.checksu
2015-10-05 18:59:40
427
转载 探讨LoadRunner的并发用户和集合点
近来跟踪一个项目，发现同事们在执行性能测试时，比较热衷于使用集合点，从概念上认为要得到并发用户就必须设置集合点，认为在执行一个压力测试脚本时，设置了集合点才算是有效的并发用户，没有设置结合点，就认为可能这个就不能准确的代表并发用户数。当前我并反对这个观点，不过却让我有一种疑虑，促使我想更深入的理解并发用户和集合点，我相信大多数进入性能测试研究领域的朋友都应该有疑惑，主要原因我觉得还是由于不能深入理
2015-10-05 18:58:35
351
转载 使用zookeeper管理多个hbase集群
zookeeper是hbase集群的"协调器"。由于zookeeper的轻量级特性，因此我们可以将多个hbase集群共用一个zookeeper集 群，以节约大量的服务器。多个hbase集群共用zookeeper集群的方法是使用同一组ip，修改不同hbase集群 的"zookeeper.znode.parent"属性，让它们使用不同的根目录。比如cluster1使用/hbase-c1,cluster
2015-10-05 18:57:58
746
转载 让你快速认识flume及安装和使用flume1.5传输数据(日志)到hadoop2.2
本帖最后由 pig2 于 2014-7-16 02:56 编辑问题导读：1.什么是flume？2.如何安装flume？3.flume的配置文件与其它软件有什么不同？一、认识flume1.flume是什么？这里简单介绍一下，它是Cloudera的一个产品2.flume是干什么的？收集日志的3.flume如何搜集日志？我们把flume比作
2015-10-05 18:57:18
457
转载 对称与非对称加密
1、非对称加密：（用颜色形状区分不同的公钥私钥）1、 把私钥比喻成钥匙，钥匙的底部是一个凹下去的刚戳。2、 把公钥比喻成锁头，与对用私钥相对应。3、 明文用私钥签名，比喻成用私钥底部的戳盖了个凹下去的刚戳（类似于咱们玩游戏中，密码山洞中凹下去的那种锁），签名后，你手头可能有不同的公钥，找到能放进去的对应公钥，不仅可以打开密文文件，还可以知道是哪个私钥加的密。4、
2015-10-05 18:56:16
521
转载 动态代理
代码如下： Java代码 package cn.xiaolu; import java.lang.reflect.InvocationHandler; import java.lang.reflect.Method; import java.lang.reflect.Proxy; /** * 动态代理类使用到了一个接口InvocationHandler和
2015-10-05 18:54:54
307
转载 常用监控命令总结
监控web应用脚本#!/bin/bash result=`curl -s http://192.168.1.220:8080/inote/selfcheck/check.html` if [[ $result = *ok* ]]; then echo 'success' else echo 'error' fi监控CPU的load值（队列中的线程数）：不大于
2015-10-05 18:54:28
398
转载 常用端口
著名端口端口号码 / 层名称注释1tcpmuxTCP 端口服务多路复用5rje远程作业入口7echoEcho 服务9discard用于连接测试的空服务11systat用于列举连接了的端口的系统状态
2015-10-05 18:53:33
669
转载 zookeeper的领导者选举和原子广播
目录： 1、工作原理概述 2、Fast Leader选举算法（领导者选举） 3、Leader与Follower同步数据（原子广播）1、工作原理概述link：http://www.codedump.info/?p=207zookeeper3.3.3源码分析(一)工作原理概述阅读时参考的版本是3.3.3.简单的说
2015-10-05 18:52:58
274
转载 wordcount学习
昨天在自己的电脑上配置了hadoop，也运行了第一个MapReduce程序WordCount程序。但是对mapreduce的编程还很不清楚，在网上转了一段对wordcount的解释，转载学习下。Wordcount的输入是文件夹，文件夹内是多个文件，内容是以空格作分隔符的单词序列，输出为单词，以及他们的数量。首先，在mapreduce程序中，程序会按照setInputFormat中设
2015-10-05 18:51:17
447
转载 window7使用eclipse提交Hadoop作业到Hadoop集群运行方法
Hadoop集群：Hadoop2.6.0，系统：windows7，开发环境：eclipseEclipse调用Hadoop运行MapReduce程序其实就是普通的java程序可以提交MR任务到集群执行而已。1、首先需要配置环境变量：在系统变量中新增：然后再Path中增加：%HADOOP_HOME%\bin;2、需要在开发的MapReduce的m
2015-10-05 18:50:37
2862
转载 window7使用eclipse环境本地运行MapReduce程序方法-----源自网站“神算子”：www.wangsenfeng.com
一、编写目的 开发的MapReduce在提交到Hadoop集群运行之前，测试是否有bug，希望能在本地使用启动main方法的形式查看是否有错误存在，方便程序的检查和修改。本文档主要针对Windows环境下进行MapReduce开发。二、环境 系统：Windows7 开发环境：eclipse Hadoop版本：2.6.0
2015-10-05 18:49:47
3352
转载 vi 显示行号-----源自网站“神算子”：www.wangsenfeng.com
添加行号：在VI的命令模式下输入“:set nu”或者修改vi配置文件“vi ~/.vimrc”，在其中添加“set nu”在VI的命令模式下输入“:set nu”，就有行号了。但是想将这个设置写进VI的配置文件，就# vi ~/.vimrc在这个文件中，添加set nu就行了set nu -- to display line noset n
2015-10-05 18:49:13
642
转载 swap--源自网站“神算子”：www.wangsenfeng.com
简介Linux中Swap（即：交换分区），类似于Windows的虚拟内存，就是当内存不足的时候，把一部分硬盘空间虚拟成内存使用,从而解决内存容量不足的情况。Android是基于Linux的操作系统，所以也可以使用Swap分区来提升系统运行效率[1] 。交换分区，英文的说法是swap，意思是“交换”、“实物交易”。它的功能就是在内存不够的情况下，操作系统先把内存中暂时不用的数据，存到硬盘的交
2015-10-05 18:48:45
4452
转载 shell小节--源自网站“神算子”：www.wangsenfeng.com
1、shell中，获取一个命令的执行结果a=`ps -ef | grep tomcat`注意：“ ` ”这个符号不是单引号，而是esc下面的那个小撇2、读取配置文件[root@master local]# vi host.conf master="192.168.56.200 master" slave1="192.168.56.201 slave1" slav
2015-10-05 18:48:18
925
转载 shell介绍--源自网站“神算子”：www.wangsenfeng.com
shell介绍： #为什么使用shell脚本？shell脚本实现自动化运维 可以自动化管理系统 #查看系统中支持的所有shell类型#cat /etc/shells#chsh -l #如何切换shell直接输入shell的名字例： #bash切换到bashsh，bash，nologin，tcsh
2015-10-05 18:47:52
745
转载 shell脚本---源自网站“神算子”：www.wangsenfeng.com
shift 作用：使位置参数向左移动，默认移动1位，可以使用shift 2exit 退出整个程序break 结束当前循环，或跳出本层循环continue 忽略本次循环剩余的代码，直接进行下一次循环文件的第一行：#!/bin/sh注释以#开头的句子表示注释，直到这一行的结束。局部变量 #!/bin/
2015-10-05 18:47:23
1391
转载 setuid,setgid,sticky
setGid命令用法:与setUid类似,使得使用者在执行该文件时,都绑定了文件所有组的权限,单独setGid的文件非常少用,通常都是即setUid又setGid.chmod 2755 your_programsetUid and setGid命令用法:通常不是用来提升权限的,而是为了绑定某个特殊用户及其组的特殊权限.chmod 6755 your_prog
2015-10-05 18:46:48
332
转载 secondarynamenode配置使用总结
一、环境Hadoop 0.20.2、JDK 1.6、Linux操作系统二、背景上周五的时候，由于操作系统的原因，导致JDK出现莫名的段错误。无论是重启机器还是JDK重装都无济于事。更可悲的是，出问题的机器就是Master。当时心里就凉了半截，因为secondarynamenode配置也是在这个机器上（默认的，没改过）。不过万幸的是这个集群是测试环境，所以问题不大。借这个缘由
2015-10-05 18:46:07
1399
转载 redis3.0
redis-cluster也就是redis的3.0版本，该版本集成redis集群功能。首先到该地址下载一个压缩包，百度云盘：http://pan.baidu.com/s/1ntr6e4T1、 将压缩包放置到Linux机器的/opt目录下2、 使用cd命令进入到/opt/redis/need/目录，安装目录里的软件。ruby-2.1.3步骤如下： 1）、cd ruby-2
2015-10-05 18:45:33
334
转载 redis 添加访问密码
linux版本1. 更改redis.conf配置# requirepass foobared 去掉注释，foobared改为 自己的password , 我测试的时候用的是默认的 foobared2.启动redis/usr/local/redis/src/redis-server -p 63713.测试/usr/local/redis/src/red
2015-10-05 18:45:12
744
转载 nutch + hbase 安装部署
nutch安装安装软件准备安装环境：centos 6.5nutch：v2.2.1hbase:v0.94.18本篇重点讲述nutch的安装和nutch与hbase的集成，hbase的安装请参考其他资料；安装步骤：安装ant：因编译nutch源码，需要ant工具，下载apache-ant 设置 系统变量写道[hadoop@master nutch]$ vim
2015-10-05 18:44:47
278
转载 new DMS
Client.jar从zookeeper中获取可用的nameNode。从nameNode上获取可用的dataNode列表。获取dataNode列表后，设置监听，任何一个dataNode节点发生变化，重新获取dataNode列表，初始化hash环（大map）。用DataNode列表初始化hash环的大treeMap，并作虚拟节点。存储数据时，把key做hash，去treeMap中取ip，通过
2015-10-05 18:44:19
423
转载 mapreduce的debug
步骤：书的171页1、选一台tasktracker，修改mapred-site.xml文件添加如下配置： mapred.child.java.opts -agentlib:jdwp=transport=dt_socket,address=8883,server=y,suspend=y 2、关闭所有的tasktracker，只
2015-10-05 18:43:53
439
转载 mahout探索推荐引擎内部的秘密
最近要用到协同过滤的算法来解决工作中的问题，先学习，以后再把自己的收获总结下来。转自：http://www.ibm.com/developerworks/cn/web/1103_zhaoct_recommstudy1/“探索推荐引擎内部的秘密”系列将带领读者从浅入深的学习探索推荐引擎的机制，实现方法，其中还涉及一些基本的优化方法，例如聚类和分类的应用。同时在理论讲解的基础上，还会结
2015-10-05 18:43:23
464
转载 mahout 返回主页 WEB系统架构与底层研发
mahout learning 代码示例一， Introductionpackage mia.recommender.ch02;//=分析导入包可以看出mahout的包分为主要类以及它们的实现类=import org.apache.mahout.cf.taste.impl.model.file.*;import org.apache.mahout.cf.taste.
2015-10-05 18:42:44
683
转载 linux之cut用法
cut是一个选取命令，就是将一段数据经过分析，取出我们想要的。一般来说，选取信息通常是针对“行”来进行分析的，并不是整篇信息分析的。（1）其语法格式为：cut [-bn] [file] 或 cut [-c] [file] 或 cut [-df] [file]使用说明cut 命令从文件的每一行剪切字节、字符和字段并将这些字节、字符和字段写至标准输出。如果不指定 Fi
2015-10-05 18:42:07
335
转载 linux虚拟机配置双网卡
1、需要配置桥接和hostonly双网卡。建议第一块网卡为桥接，第二块为hostonly。2、虚拟机如果只有一块网卡，关闭虚拟机后在设置里再次添加一块，启动虚拟机即可。3、如果配置的第一块网卡是hostonly，hostonly则不要设置默认网关，否则两块网卡不能同时正常上网。hostonly配置 （第二块情况）桥接都是默认即可。4、桥接网卡
2015-10-05 18:39:55
1935
转载 linux命令
进入 home/itcast 目录cd /home/itcastls 显示目录内容：ls mkdir 创建一个目录 家庭A：mkdir familyA cd 切换目录 进入familyA 目录：cd familyA touch 新建空文件 touch father.txt 家庭A中有一个父亲to
2015-10-05 18:38:59
450
转载 linux开机启动
linux设置开机服务自动启动 [root@localhost ~]# chkconfig --list 显示开机可以自动启动的服务 [root@localhost ~]# chkconfig --add *** 添加开机自动启动***服务 [root@localhost ~]# chkconfig --del *** 删除开机自动启动***服务
2015-10-05 18:38:27
347
转载 linux 下tomcat开机自启动
1、把下面的代码保存为tomcat文件vi /etc/init.d/tomcat#!/bin/bash# /etc/rc.d/init.d/tomcat# init script for tomcat precesses## processname: tomcat# description: tomcat is a j2se server
2015-10-05 18:37:58
485
转载 kafka系列介绍 — 核心API介绍及实例
一 PRODUCER的API1.Producer的创建，依赖于ProducerConfigpublic Producer(ProducerConfig config);2.单个或是批量的消息发送public void send(KeyedMessage message);public void send(List> messages);3.关闭Producer到
2015-10-05 18:37:26
526
转载 kafka分布式消息系统
Kafka[1]是linkedin用于日志处理的分布式消息队列，linkedin的日志数据容量大，但对可靠性要求不高，其日志数据主要包括用户行为（登录、浏览、点击、分享、喜欢）以及系统运行日志（CPU、内存、磁盘、网络、系统及进程状态）。 当前很多的消息队列服务提供可靠交付保证，并默认是即时消费（不适合离线）。高可靠交付对linkedin的日志不是必须的，故可通过降低可靠性来提高性
2015-10-05 18:36:54
262
转载 kafka java示例
我使用的kafka版本是：0.7.2jdk版本是：1.6.0_20http://kafka.apache.org/07/quickstart.html官方给的示例并不是很完整，以下代码是经过我补充的并且编译后能运行的。Producer Code[java] view plaincopyimport java.util.*; import k
2015-10-05 18:36:20
355
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人