2016年10月_张章章Sam

原创大数据之Hive笔记(一)

笔记 Hadoop 是一个适合于海量数据的分布式存储和分布式计算的框架。两大核心 HDFS(hadoop distributed file system) 分布式存储 MapReduce 分布式计算 Hadoop的访问方式 WebGUI 50070–>查看hdfs数据，以及查看namenode，da

2016-10-31 21:00:33 4379

原创大数据之hadoop[序列化与压缩]

Hadoop的序列化序列化：数据从内存中的到输出流，比如磁盘，网络，也就是说数据出内存的过程就是序列化的过程。反序列化：数据从输入流到内存缓冲区，比如从磁盘、网络，也就是说数据进入内存的过程就是发序列化的过程，和序列化互为逆过程。 Hadoop自定义序列化类的案例需求：是电信一段日志记录的表结构，现需要统计每一个手机号码的upPackNum、

2016-10-26 18:31:43 4182

原创大数据之hadoop[MapReduce]学习笔记

默认block.size=128M 一、MR的执行步骤：一）、Map 1、block块被InputSplit的实现类切割成一个个的split分片，默认情况下：一个block–>1split 2、每一个split分片中的数据由RecoderReader的实现类切割成一行一行的数据，这每一行的数据一个,这个一个k-v就是我们在Map阶段的k1，v1，

2016-10-25 21:17:21 4421

原创大数据之hadoop[zookeeper] javaCRUD

java crud 操作 package com.uplooking.bigdata.zookeeper;import org.apache.zookeeper.*; import org.apache.zookeeper.data.Stat; import org.junit.After; import org.junit.Before; import org.junit.Test;import

2016-10-24 20:00:07 3964

原创大数据之hadoop【hdfs】

目录 1、HDFS体系结构 2、HDFS Shell操作 3、HDFS Java API 4、HDFS和RPC 5、HDFS High Availability 6、HDFS数据回收和简单运维==============================================================Hadoop HDFS

2016-10-22 14:39:40 5921

原创分布式存储与分布式计算

分布式存储与分布式计算

2016-10-20 15:26:31 6125

原创 Hadoop各个核心项目架构

hdfs 的数据写的过程HDFS2的架构负责对数据的分布式存储，主从结构主节点——namenode 可以有2个，负责内容： 1)接收用户的请求操作，使用户操作的入口 2)维护文件系统的目录结构，称为命名空间从节点——datanode 至少一个，只干一件事：存储数据Yarn的架构是一个资源的调度和管理平台，也是主从结构主节点——R

2016-10-20 15:19:36 5312

原创 Hadoop和Spark 基础框架图

Hadoop的简介Hadoop是适合于海量数据的分布式存储和分布式计算的框架两大核心： HDFS(Hadoop Distributed File Sytem hadoop分布式文件系统)：分布式存储 MapReduce:用于分布式计算（批处理离线计算）分布式存储把一个整体文件拆分成多个模块，存储在不同的主机上，通过对不同主机的上文件块（block）在内存中的映射

2016-10-20 15:11:57 6772

原创 centos ntfs-3g挂载U盘

在将硬盘插到Linux系统上，打开硬盘时一直提示:unknown filesystem type ‘ntfs’.在尝试网上的方法也遇到了一些问题。下面按照遇到的问题，按照正确的方式注意操作从而避免问题的出现。 1，首先安装gcc，这个主要是用于第二步中我们下载的ntfs-3g中下载的源码提供编辑环境。 yum -y install gcc 2，接着是安装ntfs-3g。wget http:

2016-10-20 15:00:57 4188

原创 Java 泛型的类型与参数传递

泛型的类型泛型的参数的传递过程

2016-10-19 15:18:29 9144

原创 Maven 入门篇

文章源地址：http://www.oracle.com/technetwork/cn/community/java/apache-maven-getting-started-1-406235-zhs.html作者：George Ma写这个 maven 的入门篇是因为之前在一个开发者会的动手实验中发现挺多人对于 maven 不是那么了解，所以就有了这个想法。这个入门篇分上下两篇。本文着重动手，用

2016-10-17 15:41:15 3939

转载 CentOS系统挂载NTFS移动硬盘

有时候做大数据量迁移时，为了快速迁移大数据，有可能在Linux服务器上临时挂载NTFS格式的移动硬盘，一般情况下，Linux是识别不了NTFS格式移动硬盘的（需要重编译Linux核心才能，加挂NTFS分区），这时候为了能让Linux服务器能够识别NTFS的移动硬盘，就必须安装ntfs-3g（Third Generation Read/Write NTFS Driver）的包。NTFS-3G介绍

2016-10-14 10:25:43 7612 1

转载配置 yum 源的两种方法

配置 yum 源的两种方法由于 redhat的yum在线更新是收费的，如果没有注册的话不能使用，如果要使用，需将redhat的yum卸载后，重启安装，再配置其他源，以下为详细过程： 1.删除redhat原有的yum rpm -aq|grep yum|xargs rpm -e –nodeps 2.下载yum安装文件 wget http://mirrors.163.com/centos/6/os

2016-10-14 10:24:29 4408

转载 CentOS6.5系统挂载NTFS分区的移动硬盘

CentOS6.5系统挂载NTFS分区的移动硬盘　　作为IT的工作者，避免不了使用Linux系统，我比较喜欢CentOS，为了锻炼自己对CentOS的熟练操作，就把自己的笔记本装了CentOS，强制自己使用，使自己在平时的工作中逐渐掌握Linux的学习。我现在使用的系统是CentOS6.5 64位版本，但是插入移动硬盘没有办法识别。通过下面三步就可以使CentOS识别NTFS分区的移动硬盘。　　第一

2016-10-14 10:23:31 3823

转载 Java中由substring方法引发的内存泄漏

现在自己还写不出自己满意的博文，所以最近不打算写原创博文，现在喜欢找一些有研究性的博文，每当遇到这些优秀的博文内心总是一阵欢喜，下面看一篇关于1.6之前，substring 引发的一个内存泄露的问题在Java中我们无须关心内存的释放，JVM提供了内存管理机制，有垃圾回收器帮助回收不需要的对象。但实际中一些不当的使用仍然会导致一系列的内存问题，常见的就是内存泄漏和内存溢出内存溢出（out of

2016-10-12 11:36:25 1009

转载 org.hibernate.LazyInitializationException: could not initialize proxy - no Session

异常：org.hibernate.LazyInitializationException: could not initialize proxy - no Sessionat org.hibernate.proxy.AbstractLazyInitializer.initialize(AbstractLazyInitializer.java:57)at org.hibernate.proxy.A

2016-10-11 11:27:19 452

原创 spring 事务操作声明方式

<?xml version="1.0" encoding="UTF-8"?><beans xmlns="http://www.springframework.org/schema/beans" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://www.spri

2016-10-10 16:19:37 312

原创 spring 事务操作编程方式

传统的jdbc 流程 1.加载驱动程序 2.获取一个链接 3.预编译一个陈述 4.开启一个事务 5.操作 6.关闭陈述 7.关闭链接<?xml version="1.0" encoding="UTF-8"?><beans xmlns="http://www.springframework.org/schema/beans" xmlns:xsi="http://www.w

2016-10-10 12:05:51 305

原创 Spring AOP

public class After implements AfterReturningAdvice { @Override public void afterReturning(Object o, Method method, Object[] objects, Object o1) throws Throwable { System.out.println("th

2016-10-09 15:47:28 229

原创 JAVA动态代理

public interface ISay { public void say(); public void say1();}public class Person implements ISay{ public void say(){ System.out.println("say"); } public void say1(){

2016-10-09 15:44:00 208

原创 Spring不同类型的注入方式