- 博客(22)
- 资源 (1)
- 收藏
- 关注
原创 大数据之Hive笔记(一)
笔记 Hadoop 是一个适合于海量数据的分布式存储和分布式计算的框架。 两大核心 HDFS(hadoop distributed file system) 分布式存储 MapReduce 分布式计算 Hadoop的访问方式 WebGUI 50070–>查看hdfs数据,以及查看namenode,da
2016-10-31 21:00:33 4380
原创 大数据之hadoop[序列化与压缩]
Hadoop的序列化 序列化:数据从内存中的到输出流,比如磁盘,网络,也就是说数据出内存的过程就是序列化的过程。 反序列化:数据从输入流到内存缓冲区,比如从磁盘、网络,也就是说数据进入内存的过程就是发序列化的过程,和序列化互为逆过程。 Hadoop自定义序列化类的案例 需求: 是电信一段日志记录的表结构,现需要统计每一个手机号码的upPackNum、
2016-10-26 18:31:43 4182
原创 大数据之hadoop[MapReduce]学习 笔记
默认block.size=128M 一、MR的执行步骤: 一)、Map 1、block块被InputSplit的实现类切割成一个个的split分片,默认情况下:一个block–>1split 2、每一个split分片中的数据由RecoderReader的实现类切割成一行一行的数据,这每一行的数据一个,这个一个k-v就是我们在Map阶段的k1,v1,
2016-10-25 21:17:21 4421
原创 大数据之hadoop[zookeeper] javaCRUD
java crud 操作 package com.uplooking.bigdata.zookeeper;import org.apache.zookeeper.*; import org.apache.zookeeper.data.Stat; import org.junit.After; import org.junit.Before; import org.junit.Test;import
2016-10-24 20:00:07 3964
原创 大数据之hadoop【hdfs】
目录 1、HDFS体系结构 2、HDFS Shell操作 3、HDFS Java API 4、HDFS和RPC 5、HDFS High Availability 6、HDFS数据回收和简单运维==============================================================Hadoop HDFS
2016-10-22 14:39:40 5921
原创 Hadoop各个核心项目架构
hdfs 的数据写的过程HDFS2的架构负责对数据的分布式存储,主从结构 主节点——namenode 可以有2个,负责内容: 1)接收用户的请求操作,使用户操作的入口 2)维护文件系统的目录结构,称为命名空间 从节点——datanode 至少一个,只干一件事:存储数据Yarn的架构是一个资源的调度和管理平台,也是主从结构 主节点——R
2016-10-20 15:19:36 5312
原创 Hadoop和Spark 基础框架图
Hadoop的简介Hadoop是适合于海量数据的分布式存储和分布式计算的框架两大核心: HDFS(Hadoop Distributed File Sytem hadoop分布式文件系统):分布式存储 MapReduce:用于分布式计算(批处理 离线计算)分布式存储 把一个整体文件拆分成多个模块,存储在不同的主机上,通过对不同主机的上文件块(block)在内存中的映射
2016-10-20 15:11:57 6772
原创 centos ntfs-3g挂载U盘
在将硬盘插到Linux系统上,打开硬盘时一直提示:unknown filesystem type ‘ntfs’.在尝试网上的方法也遇到了一些问题。 下面按照遇到的问题,按照正确的方式注意操作从而避免问题的出现。 1,首先安装gcc,这个主要是用于第二步中我们下载的ntfs-3g中下载的源码提供编辑环境。 yum -y install gcc 2,接着是安装ntfs-3g。wget http:
2016-10-20 15:00:57 4188
原创 Maven 入门篇
文章源 地址:http://www.oracle.com/technetwork/cn/community/java/apache-maven-getting-started-1-406235-zhs.html作者:George Ma写这个 maven 的入门篇是因为之前在一个开发者会的动手实验中发现挺多人对于 maven 不是那么了解,所以就有了这个想法。 这个入门篇分上下两篇。本文着重动手,用
2016-10-17 15:41:15 3939
转载 CentOS系统挂载NTFS移动硬盘
有时候做大数据量迁移时,为了快速迁移大数据,有可能在Linux服务器上临时挂载NTFS格式的移动硬盘, 一般情况下,Linux是识别不了NTFS格式移动硬盘的(需要重编译Linux核心才能,加挂NTFS分区),这时候为了能让Linux服务器能够识别NTFS的移动硬盘,就必须安装ntfs-3g(Third Generation Read/Write NTFS Driver)的包。NTFS-3G介绍
2016-10-14 10:25:43 7612 1
转载 配置 yum 源的两种方法
配置 yum 源的两种方法由于 redhat的yum在线更新是收费的,如果没有注册的话不能使用,如果要使用,需将redhat的yum卸载后,重启安装,再配置其他源,以下为详细过程: 1.删除redhat原有的yum rpm -aq|grep yum|xargs rpm -e –nodeps 2.下载yum安装文件 wget http://mirrors.163.com/centos/6/os
2016-10-14 10:24:29 4408
转载 CentOS6.5系统挂载NTFS分区的移动硬盘
CentOS6.5系统挂载NTFS分区的移动硬盘 作为IT的工作者,避免不了使用Linux系统,我比较喜欢CentOS,为了锻炼自己对CentOS的熟练操作,就把自己的笔记本装了CentOS,强制自己使用,使自己在平时的工作中逐渐掌握Linux的学习。我现在使用的系统是CentOS6.5 64位版本,但是插入移动硬盘没有办法识别。通过下面三步就可以使CentOS识别NTFS分区的移动硬盘。 第一
2016-10-14 10:23:31 3823
转载 Java中由substring方法引发的内存泄漏
现在自己还写不出自己满意的博文,所以最近不打算写原创博文,现在喜欢找一些有研究性的博文,每当遇到这些优秀的博文内心总是一阵欢喜,下面看一篇关于1.6之前,substring 引发的一个内存泄露的问题 在Java中我们无须关心内存的释放,JVM提供了内存管理机制,有垃圾回收器帮助回收不需要的对象。但实际中一些不当的使用仍然会导致一系列的内存问题,常见的就是内存泄漏和内存溢出内存溢出(out of
2016-10-12 11:36:25 1009
转载 org.hibernate.LazyInitializationException: could not initialize proxy - no Session
异常:org.hibernate.LazyInitializationException: could not initialize proxy - no Sessionat org.hibernate.proxy.AbstractLazyInitializer.initialize(AbstractLazyInitializer.java:57)at org.hibernate.proxy.A
2016-10-11 11:27:19 452
原创 spring 事务操作 声明方式
<?xml version="1.0" encoding="UTF-8"?><beans xmlns="http://www.springframework.org/schema/beans" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://www.spri
2016-10-10 16:19:37 312
原创 spring 事务操作 编程方式
传统的jdbc 流程 1.加载驱动程序 2.获取一个链接 3.预编译一个陈述 4.开启一个事务 5.操作 6.关闭陈述 7.关闭链接<?xml version="1.0" encoding="UTF-8"?><beans xmlns="http://www.springframework.org/schema/beans" xmlns:xsi="http://www.w
2016-10-10 12:05:51 305
原创 Spring AOP
public class After implements AfterReturningAdvice { @Override public void afterReturning(Object o, Method method, Object[] objects, Object o1) throws Throwable { System.out.println("th
2016-10-09 15:47:28 229
原创 JAVA动态代理
public interface ISay { public void say(); public void say1();}public class Person implements ISay{ public void say(){ System.out.println("say"); } public void say1(){
2016-10-09 15:44:00 208
原创 Spring不同类型的注入方式
<?xml version="1.0" encoding="UTF-8"?><beans xmlns="http://www.springframework.org/schema/beans" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://www.spri
2016-10-08 15:30:32 429
原创 struts2+hibernate改造考勤系统备忘录(一)
注释:/这是一个逐步分析的过程,前半场存在分析定义错误,后半场后对前面 的分析进行颠覆的分析与定义问题描述:登陆操作发生 Messages: www.hibernate.org Nested exception: www.hibernate.org Could not parse configuration: hibernate.cfg.xml Method “ex
2016-10-06 09:22:53 658
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人