yinbucheng的博客

转载 hadoop2.4.1集群搭建

hadoop2.0已经发布了稳定版本了，增加了很多特性，比如HDFS HA、YARN等。最新的hadoop-2.4.1又增加了YARN HA注意：apache提供的hadoop-2.4.1的安装包是在32位操作系统编译的，因为hadoop依赖一些C++的本地库，所以如果在64位的操作上安装hadoop-2.4.1就需要重新在64操作系统上重新编译（建议第一次安装用32位的系统，

转载 Zookeeper搭建

1.上传zk安装包2.解压3.配置（先在一台节点上配置）3.1添加一个zoo.cfg配置文件$ZOOKEEPER/confmv zoo_sample.cfg zoo.cfg3.2修改配置文件（zoo.cfg）dataDir=/itcast/zookeeper-3.4.5/dataserver.1=itcast05:2888:3888ser

转载 ssh免密码登入

大家可以配置成密论认证的方式首先生成密钥，用命令ssh-keygen –t rsa     运行后可以一直空格，生成密钥，id_rsa和id_rsa.pub文件 ，默认放在/root/.ssh/下，.ssh文件是隐藏的，要显示隐藏文件才看得到     在/home/admin下创建.ssh活页夹，把id_rsa.pub文件copy 到/home/admin/.ssh活页夹下，改变文件名

转载 HBase的配置

1.上传hbase安装包2.解压3.配置hbase集群，要修改3个文件（首先zk集群已经安装好了）注意：要把hadoop的hdfs-site.xml和core-site.xml 放到hbase/conf下3.1修改hbase-env.shexport JAVA_HOME=/usr/java/jdk1.7.0_55//告诉hbase使用外部的zkexp

转载 hive安装

Hive只在一个节点上安装即可1.上传tar包2.解压tar -zxvf hive-0.9.0.tar.gz -C /cloud/3.配置mysql metastore（切换到root用户）配置HIVE_HOME环境变量rpm -qa | grep mysqlrpm -e mysql-libs-5.1.66-2.el6_3.i686 --nodeps

转载 hadoop在启动时报错如何定位到错误

在hadoop目录下有个logs目录里面会记录你的操作日志。比如我是root用户在进行 journalnode失败我查看的日志是less hadoop-root-journalnode-hadoop5.log

原创 zookeeper中启动出现闪退

原因是：zoo.cfg中的dataDir配置有问题，当在巧命令./zkServer.sh start没有报错就是启动后马上闪退。如果出现这样的情况先看下自己的配置是否正确。是否有data目录中又myid1

转载 hive中使用map和array

create table table1 (a array, b array) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' COLLECTION ITEMS TERMINATED BY ',';load data local inpath "/files/arraytest.txt"  overwrite into table tab

转载 ZooKeeper Watcher注意事项

ZooKeeper Watcher注意事项zookeeper watch的定义如下：watch事件是一次性触发器，当watch监视的数据发生变化时，通知设置了该watch的client，即watcher。需要注意三点：1.一次性触发器client在一个节点上设置watch，随后节点内容改变，client将获取事件。当节点内容再次改变，client不会获取

转载 Zookeeper Api(java)入门与应用(转)

Zookeeper Api(java)入门与应用(转)如何使用Zookeeper 作为一个分布式的服务框架，主要用来解决分布式集群中应用系统的一致性问题，它能提供基于类似于文件系统的目录节点树方式的数据存储，但是 Zookeeper 并不是用来专门存储数据的，它的作用主要是用来维护和监控你存储的数据的状态变化。通过监控这些数据状态的变化，从而可以达到基于数据的集群管理，后面将会详细

转载 Zookeper中java代码中的API

Zookeeper的API接口String create(String path, byte[] data, List acl, CreateMode createMode) Stat exists(String path, boolean watch) void delete(String path, int version) List getChildren(Str

转载 Zookeeper概念

Zookeeper的核心是原子广播，这个机制保证了各个server之间的同步。实现这个机制的协议叫做Zab协议。Zab协议有两种模式，它们分别是恢复模式和广播模式。当服务启动或者在领导者崩溃后，Zab就进入了恢复模式，当领导者被选举出来，且大多数server的完成了和leader的状态同步以后，恢复模式就结束了。状态同步保证了leader和server具有相同的系统状态。一旦leader已经和

转载 Linux下安装mysql数据库

1、下载地址 wget http://downloads.mysql.com/archives/get/file/mysql-5.6.27-linux-glibc2.5-x86_64.tar.gz2、安装说明 http://dev.mysql.com/doc/refman/5.6/en/binary-installation.html3、安装步骤：shell> groupadd mysql

转载 在hadoop中常用的linux中shell用法

mv 文件  文件夹/ （../文件夹） 移动文件mv 文件  文件  重命名文件rm  -rf 文件 删除文件echo 3 > myid在当前目录下创建一个文件叫myid内容为3scp -r 文件夹名称/  weekend03:/home/hadoop/app/ 将当前目录下（文件夹）东西复制到 hostName为 weeken

转载 hadoop递归实现列出所有文件

@Testpublic void listFiles() throws Exception {// listFiles列出的是文件信息，而且提供递归遍历RemoteIterator files = fs.listFiles(new Path("hdfs://hadoop0:9000/flow"), true);while (files.hasNext()) {L

转载 hadoop中文件操作

public class HdfsUtil {FileSystem fs = null;@Beforepublic void init() throws Exception{//读取classpath下的xxx-site.xml 配置文件，并解析其内容，封装到conf对象中Configuration conf = new Configuration();

转载 HBase在java代码中的使用

public class HbaseDao {          @Test//创建表    public void createTable throws Exception {Configuration conf =  HBaseConfiguration.create();conf.set("hbase.zookeeper.quorum", "weekend05:2

转载 HBse中Shell

进入hbase命令行./hbase shell显示hbase中的表list创建user表，包含info、data两个列族create 'user', 'info1', 'data1'create 'user', {NAME => 'info', VERSIONS => '3'}向user表中插入信息，row key为rk0001，列族info中添

转载 Spring 定时任务之 @Scheduled cron表达式

一个cron表达式有至少6个（也可能7个）有空格分隔的时间元素。按顺序依次为秒（0~59）分钟（0~59）小时（0~23）天（月）（0~31，但是你需要考虑你月的天数）月（0~11）天（星期）（1~7 1=SUN 或 SUN，MON，TUE，WED，THU，FRI，SAT）7.年份（1970－2099）其中每个元素可以是一

转载 SpringTask任务案例源码实现

写在开始一般来说，无论是生活中或者项目中都会用到定时任务。比如我自己来说，每天晚上写一篇博客，当然这个任务的时间点可能不是那么准时。更多的例子，比如我们项目中数据的统计，文件或者数据库的定时备份等等。举个特别常见的例子，比如一些大型网站，首页的一些数据展示。有时候并不是实时展示的，可能是十分钟或者更久更新一次，来呈现给用户。任务介绍就目前自己接触的定时人来来说，这里简单的聊

转载 HQL（Hive query language）常用语句

set hive.cli.print.header=true;CREATE TABLE page_view(viewTime INT, userid BIGINT,     page_url STRING, referrer_url STRING,     ip STRING COMMENT 'IP Address of the User') COMMENT 'This i

转载 hive连数据库配置

在hive-->config-->中创建一个hive-site.txtjavax.jdo.option.ConnectionURLjdbc:mysql://weekend07:3306/hive?createDatabaseIfNotExist=truejavax.jdo.option.ConnectionDriverNamecom.mysql.jdbc.D

转载 如何配置window下的linux虚拟机使其可以相互ping

1.准备Linux环境1.0点击VMware快捷方式，右键打开文件所在位置 -> 双击vmnetcfg.exe -> VMnet1 host-only ->修改subnet ip 设置网段：192.168.1.0 子网掩码：255.255.255.0 -> apply -> ok回到windows --> 打开网络和共享中心 -> 更改适配器设置 -> 右键VMnet1 -> 属性 ->

转载 hadoop中的Mapper实现类中map方法获取文件名时报错

FileSplit split =(FileSplit) context.getInputSplit(); String fileName = split.getPath().getName();正确的导报是import org.apache.hadoop.mapreduce.lib.input.FileSplit;（再将工程重写编译下clean）Error: java

转载 hadoop图解说明

转载 使用hadoop进行排序时报错 Error: java.lang.ClassCastException

使用hadoop进行排序时报如下错误：Error: java.lang.ClassCastException: class cn.itcast.mytest.FlowBean        at java.lang.Class.asSubclass(Class.java:3165)        at org.apache.hadoop.mapred.JobConf.getOu

转载 hadoop中常用的shell命令

hadoop fs -mkdir /wc  创建目录hadoop fs -mkdir /wc/srcdata   创建多目录hadoop fs -put 文件 /wc/srcdata  将文件上传到hadoop服务器指定的目录下hadoop fs -ls /wc/output    列出hadoop指定目录下的文件们hadoop fs -cat /wc/output/文件   编辑

转载 class com.sun.jersey.core.impl.provider.entity.XMLJAXBElementProvider$Text

class com.sun.jersey.core.impl.provider.entity.XMLJAXBElementProvider$Text标签： eclipsehadoopmapreducejar2014-02-26 14:43 3208人阅读 评论(2) 收藏 举报 分类：hadoop（35） 版权声明：本文为博主原创文章，未经博

转载 手写一个简单的RPC

public class MyRPC {private static ExecutorService threadTool = Executors.newFixedThreadPool(5);// 客户端public static Object getProxy(Class clazz, String ip, int port)throws Exception {//

转载 Hadoop中RPC使用

具体程序如下：服务端：需要至少2个类1个接口public LoginService{  public static final long  versionID = 1L;  public String login(String name);}实现类public  LoginServiceImpl implements LoginService{    pub

转载 hadoop2.2.0伪分布搭建

1.准备Linux环境1.0点击VMware快捷方式，右键打开文件所在位置 -> 双击vmnetcfg.exe -> VMnet1 host-only ->修改subnet ip 设置网段：192.168.1.0 子网掩码：255.255.255.0 -> apply -> ok回到windows --> 打开网络和共享中心 -> 更改适配器设置 -> 右键VMnet1 -> 属性 ->

转载 hadoop1.2.1伪分布搭建

0.使用host-only方式将Windows上的虚拟网卡改成跟Linux上的网卡在同一网段注意：一定要将widonws上的WMnet1的IP设置和你的虚拟机在同一网段，但是IP不能相同1.Linux环境配置（windows下面的防火墙也要关闭）1.1修改主机名vim /etc/sysconfig/network1.2修改IPvim /etc/sysconfig/net

转载 hadoop2.4.1中伪分布搭建

1.准备Linux环境1.0点击VMware快捷方式，右键打开文件所在位置 -> 双击vmnetcfg.exe -> VMnet1 host-only ->修改subnet ip 设置网段：192.168.1.0 子网掩码：255.255.255.0 -> apply -> ok回到windows --> 打开网络和共享中心 -> 更改适配器设置 -> 右键VMnet1 -> 属性 ->

转载 CentOs安装的eclipse双击无反应

CentOS安装的eclipse双击无反应可能原因：1、软件包位数与系统位数不符，系统32位，软件包要32位，系统64位，软件包要64位；2、eclipse的版本选择错了，如果你用的版本是eclipse-jee-luna-SR1a就会出错，请选用eclipse-jee-indigo-SR2-Linux-gtk版本进行安装；3、其它；

转载 使用Maven搭建Hadoop开发环境

使用Maven搭建Hadoop开发环境2015-01-02 09:10 22464人阅读 评论(1) 收藏 举报 分类：Hadoop（6） 版权声明：本文为博主原创文章，未经博主允许不得转载。关于Maven的使用就不再啰嗦了，网上很多，并且这么多年变化也不大，这里仅介绍怎么搭建Hadoop的开发环境。1. 首先创建工程

转载 el表达试中三元用法

Java中的三元运算符为：条件?条件为true值:条件为false的值EL也有一样的运算符，用EL的三元运算符有时可以代替c:choose标签，为我们的工作省下很大力气。比如gender为0显示男，其余显示女，我们可以这么写： test="${gender eq 0}">男女但是不是显得太麻烦了？其实我们这里就可以使用EL表达式中的三元运算符了，上面

转载 Hadoop环境搭建

对于Hadoop来说，最主要的是两个方面，一个是分布式文件系统HDFS，另一个是MapReduce计算模型，下面讲解下我在搭建Hadoop 环境过程。Hadoop 测试环境共4台测试机，1台namenode 3台datanode  OS版本：RHEL 5.5 X86_64 Hadoop：0.20.203.0 Jdk：jdk1.7.0  角色        ip地址 namenode 

转载 about云之hadoop零基础

about云之hadoop零基础链接: http://pan.baidu.com/s/1i5cu2kX 密码: d3iq百度网盘地址：2、实施Hadoop集群(1)链接: http://pan.baidu.com/s/1c0kYSrY 密码: 7vim2、实施Hadoop集群(2)链接: http://pan.baidu.com/s/1hqj4OLY 密码:

转载 Iterator的源码解析

Java里面的数组数据可以通过索引来获取，那么对象呢？也是通过索引吗？今天我们就来分析一下Java集合中获取集合对象的方法迭代-Iterator。本篇文章主要分析一下Java集合框架中的迭代器部分，Iterator，该源码分析基于JDK1.8，分析工具，AndroidStudio，文章分析不足之处，还请指正！一、简介我们常常使用 JDK 提供的迭代接口进行 Java 集合的

转载 企业应用hadoop视频教程多套合集--百度网盘下载

1、Hadoop2.X大数据平台V3视频教程（14周全） http://pan.baidu.com/s/1qW4rPSg 密码: 7ohd 2、Hadoop&Spark企业应用实战 链接: http://pan.baidu.com/s/1pJt4LGB 密码: yrrc 3、Hadoop应用开发实战案例培训视频教程（15周全） 链接: http://pan.baidu.