weixin_38737789的博客

排序：
默认
按更新时间
按访问量
RSS订阅

原 流：简单的压缩和解压流程

package guidang;/** * Created by Administrator on 2017/7/29. */ public class TestArchive { public static void main(String[] args) { Arc...

2017-07-29 20:14:29

阅读数 118

评论数 0

原 流总结

FileOutputStream(File file,boolean append)可以追加文件 filereader、filewriter无法更改字符集 package com.it18zhang.java.test;import com.it18zhang.java.util.DataUtil...

2017-07-29 16:29:42

阅读数 81

评论数 0

转 sqoop

sqoop导入 hdfs: sqoop import –connect jdbc:mysql://s201/mydb1 –username sqoop –password sqoop –table emp –m 1sqoop导入 hive: sqoop import –connect jdbc...

2017-07-25 23:17:53

阅读数 157

评论数 0

原 flume的普通配置

批量收集 监控一个文件夹，静态文件 收集完之后，会重新命名成新文件.compeleted.采集需求：某服务器的某特定目录下，会不断产生新的文件，每当有新文件出现，就需要把文件采集到HDFS中去Flume 事件事件作为Flume内部数据传输的最基本单元.它是由一个转载数据的字节数组(该数据组是从...

2017-07-20 20:02:12

阅读数 211

评论数 0

转 hive基本操作

Hive基本操作与案例 创建数据库，切换数据库 create database testdb2; use testdb2; 创建管理表 按 Ctrl+C 复制代码create table emp( empno int, empname string, job string, mgr i...

2017-07-17 21:46:17

阅读数 175

评论数 0

原 MapReduce阶段map的setup() 和cleanup()

setup() 此方法被MapReduce框架仅且执行一次，在执行Map任务前，进行相关变量或者资源的集中初始化工作。若是将资源初始化工作放在方法map()中，导致Mapper任务在解析每一行输入时都会进行资源初始化工作，导致重复，程序运行效率不高！ cleanup() 此方法被Map...

2017-07-17 09:42:03

阅读数 352

评论数 0

原 MapReduce中Combiner方法使用

Combiner 会继承Reducer，它是一种mr的优化，用于减少服务器之间网络带宽的压力，它是在map结束后在每台服务器中都算出一个值，再传到shuffle中。适合于求和等每台服务器算出的值对最后结果没有影响的业务中，但是像求平均值等功能会带来误差所以不能使用。Combiner会在map结束后...

2017-07-16 23:42:31

阅读数 264

评论数 0

原 多个MR一起执行的Driver代码

package com.it18zhang.day05.flow5;import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.Text; import ...

2017-07-16 23:32:22

阅读数 289

评论数 0

原 MapReduce 只有Map阶段，写出到pc端

package ProOrder2;import java.io.BufferedReader; import java.io.FileInputStream; import java.io.FileReader; import java.io.IOException; import java.i...

2017-07-16 23:29:36

阅读数 729

评论数 0

原 MapReduce 类的封装思想

要有把需要的信息当成类的思想package ProvinceMR;import java.io.DataInput; import java.io.DataOutput; import java.io.IOException; import org.apache.hadoop.io.Writabl...

2017-07-16 23:25:47

阅读数 285

评论数 0

原 时间格式转换

时间格式转换

2017-07-16 23:10:24

阅读数 284

评论数 0

原 用eclipse在HADOOP中的一些系统指令操作

import java.io.ByteArrayInputStream; import java.io.ByteArrayOutputStream; import java.io.FileNotFoundException; import java.io.IOException; import j...

2017-07-09 12:46:27

阅读数 91

评论数 0

原 perparestatement在mysql中的普通使用

perparestatement在mysql中的普通使用：package perparestatement;import java.sql.Connection; import java.sql.PreparedStatement; import java.sql.ResultSet;public...

2017-06-28 19:48:15

阅读数 1012

评论数 0

原 properties配置文件的使用

jdbc.properties：driverclass=com.mysql.jdbc.Driver url=jdbc:mysql:///mydb1 username=root password=rootJDBCTools.java：主要看静态代码块的应用import java.sql.Connec...

2017-06-28 19:46:09

阅读数 94

评论数 0

原 单例模式的饿汉和懒汉

单例模式就是要确保类在内存中只有一个对象，该实例必须自动创建爱你，并且对外提供。 优点：在系统内存中只存在一个对象，一次可以节约系统资源，对于一些需要频繁创建和销毁的对象单例模式无疑可以提高系统的性能。 缺点：1.没有抽象层，因此扩展很难。2.指责过重，在一定程序上违背了单一职责。饿汉式和懒汉...

2017-06-23 17:00:57

阅读数 122

评论数 0

原 工厂模式

简单工厂模式：又叫静态方法工厂模式。 优点：客户端不需要在负责对象的创建，明确了各个类的职责。 缺点：这个静态工厂负责所有对象的创建，有新对象增加，或者某些对象的创建方式不同，就需要不断地修改工厂类，不利于后期维护。public class AnimalFactory { private...

2017-06-23 12:52:20

阅读数 91

评论数 0

原 流

下面这篇对io流整体的文章讲的不错 Java IO流分析整理字节流：一次读入或读出是8位二进制。 字符流：一次读入或读出是16位二进制。 public static void main(String[] args) { // File f = new File("e...

2017-06-23 09:43:14

阅读数 80

评论数 0

原 泛型

泛型： 可以把类型当作参数一样传递过来， 在传递过来之前我不明确， 但是在使用的时候我就用明确了。 (早期的 Object 类型可以接收任意的对象类型， 但是在实际的使用中， 会有类型转换的问题。) 也就存在这隐患， 所以 Java 提供了泛型来解决这个安全问题。泛型通配符《?》 (<...

2017-06-23 08:54:56

阅读数 86

评论数 0

原 集合

面向对象语言对事物的体现都是以对象的形式，所以为了方便对多个对象的操作，Java就提供了集合类。数组Array和集合的区别：(1)数组中可以存储基本数据类型也可以存储对象；集合只能存储对象。 (2)数组虽然也可以存储对象，但长度是固定的；集合是可变长。 (3)若程序时不知道究竟需要多少对象，需...

2017-06-21 22:19:12

阅读数 86

评论数 0

转 java中值类型和引用类型的区别

java中值类型和引用类型的区别篇一 　　值类型通常被分配在栈上，它的变量直接包含变量的实例，使用效率比较高。 　　java中值类型和引用类型的区别篇二 　　引用类型分配在托管堆上，引用类型的变量通常包含一个指向实例的指针，变量通过该指针来引用实例。 　　java中值类型和引用类型的区别篇...

2017-06-21 21:35:33

阅读数 887

评论数 0

提示
确定要删除当前文章？
取消 删除
关闭
关闭