zju小新-CSDN博客

转载 HDFS工作原理

深入理解一个技术的工作机制是灵活运用和快速解决问题的根本方法，也是唯一途径。对于HDFS来说除了要明白它的应用场景和用法以及通用分布式架构之外更重要的是理解关键步骤的原理和实现细节。在看这篇博文之前需要对HDFS以及分布式系统有一些了解。请参考这篇博客。

2017-08-15 21:11:33 536

原创 hadoop中map分片信息的源码分析

之前大家对于hadoop中map输入的分片不是很了解，直接认为map输入的分片数是由文件的个数和是否大于block_size来决定map的个数，这样是不准确的，的确在默认的情况下是这样的，但是实际优化过程中，并不是文件越多就起的map就越多，因为小文件太多的话，这样处理会影响系统效率，当然大文件的切分也不一定是按照block_size来切分，

2017-08-06 18:59:30 909

原创关于mapreduce读取文件分片会不会断行

大家在接触mapreduce时，对于一个文件要分片，在分片末尾会不会有一条记录被拆开，从而导致map端在输入的时候，会不会有一行记录是不完整的疑惑

2017-08-06 00:03:10 2300 2

原创 IDEA远程调试mapreduce程序

之前很多人跑mapreduce任务只知道在在本地打成jar，提交到hadoop集群上去跑任务，如果出现错误往往很难定位错误，所以远程debug是开发中不可或缺的技能。通常大家都是在本地写好mapreduce任务，希望能在window环境下运行。

2017-07-23 21:09:26 5775 1

原创关于sqoop的一些命令

以前用的一些sqoop的常用命令一直容易忘，今天整理了一些实例供大家参考。

2017-07-22 12:04:16 428

原创关于配置flume-ng负载均衡

在实际项目中，为了减轻一次性向hdfs上写数据，往往采用分层写入的功能，以减少负载

2017-07-21 15:46:12 988

原创 hadoop中namenode HA起不了的问题解决

原先的自己的namenode HA的机器坏了，我就新加了一台机器作为namenodeHA，改了一些配置，还有配了一下免登陆，之后重启了一下集群，发现nn的HA没有起来

2017-07-16 11:19:21 2362 1

原创 storm supervisor报[ERROR] Error when processing event的解决方法

今天在准备启动strom服务的，nimbus启动成功，但是起supervisor的时候，没有起来，命令是： nohup ./strom supervisor 1>/dev/null 2>&1 &,但是jps没有supervisor进程，，strom UI上也没有supervisor的信息，查看supervisor的日志

2017-07-14 10:01:38 1806

原创 Flume整合mysql碰到的自定义source表名问题

flume与mysql整合的自定义source的解决方法

2017-07-09 18:11:00 1187

原创使用hdfsclient遇到的kerberos解决方法

这几天忙着测试批量文件上传通过hdfsclient上传hdfs上，刚到第一步就卡住了，遇到了所有程序员几乎都不可避免遇到的问题那就是认证问题，这里我的集群的hdfs连接要认证kerberos，kerberos我就不加介绍了，可以去别的博客上看。当时我是按照跟别的博客一样的写法：上传本地文件到hdfs上： Configuration

2017-06-23 14:23:04 12351

原创 java之面向对象的三个特性

1.继承子类的对象拥有父类的全部属性与方法，称作子类对父类的继承。Java中父类可以拥有多个子类，但是子类只能继承一个父类，称为单继承。继承实现了代码的复用。Java中所有的类都是通过直接或间接地继承java.lang.Object类得到的。子类不能继承父类中访问权限为private的成员变量和方法。子类可以重写父类的方法，即命名与父类同名的成员变量。Java中通过super

2017-05-08 10:39:37 399

转载谈谈java中的行为型模式：责任链模式

责任链（Chain of Responsibility）模式：责任链模式是对象的行为模式。使多个对象都有机会处理请求，从而避免请求的发送者和接受者直接的耦合关系。将这些对象连成一条链，沿着这条链传递该请求，直到有一个对象处理它为止。责任链模式强调的是每一个对象及其对下家的引用来组成一条链，利用这种方式将发送者和接收者解耦，类图如下：通过上图可以看出责任链模式有两个角色：抽

2017-05-08 10:11:26 312

原创实现动态代理的两种方式

常见的实现代理的两种方式：（1）JDK动态代理（2）使用cglib产生代理这两种方法各有好坏。jdk动态代理是由java内部的反射机制生成字节码并生成对象来实现的，而cglib代理底层是借助asm来实现的，这个asm就是一个java字节码操纵框架，它能用来动态生成类或者增强类的功能，ASM从类文件中读入信息后，改变类的行为，分析类的信息，这就跟aop实现方式中的静态织入的是一样的，就是相当

2017-05-03 20:14:17 6692

转载 MySQL绑定变量的简单介绍

绑定变量这个就是Java里面的PreparedStatement了。PreparedStatement pstmt = con.prepareStatement("UPDATE table4 SET m = ? WHERE x = ?");pstmt.setString(1, "Hi");for (int i = 0; i pstmt.setInt(2, i);int rowC

2017-04-27 16:50:41 4168

原创关于mysql触发器的介绍

1．触发器的介绍触发器是一个特殊的存储过程，不同的是存储过程要用CALL来调用，而触发器不需要使用CALL也不需要手工启动，只要当一个预定义的事件发生的时候，就会被MYSQL自动调用。触发器可以让你在执行INSERT,UPDATE或者DELETE的时候，执行一些特定的操作，可以在MYSQL中指定实在SQL语句执行前触发还是执行后出发。比如说记录用户每次修改一次数据库的日志。就可以创建

2017-04-27 15:39:34 3201 2

原创 Spring中IOC与AOP的理解

关于IOC我们知道是Spring中很重要的组合部分，下面就IOC的理解写一点自己的心得：1.IOC是什么？IOC也称控制反转，其实是和依赖注入的含义是一样的，就是把原先控制代码对象的生产由代码转换到IOC容器中去实现。作用是为了解耦，降低类之间的耦合度，其设计思想就是设计模式的工厂模式，不懂什么是工厂模式的点击此：。。。。。，我们并不需要知道其生产的具体过程，我们只要其产出的对象即可。其工

2017-04-26 17:51:48 13362 1

zju小新的博客