- 博客(89)
- 资源 (31)
- 收藏
- 关注
RSS订阅原创 Maven详解之仓库------本地仓库、远程仓库
在Maven中，任何一个依赖、插件或者项目构建的输出，都可以称之为构件。Maven在某个统一的位置存储所有项目的共享的构件，这个统一的位置，我们就称之为仓库。（仓库就是存放依赖和插件的地方）任何的构件都有唯一的坐标，Maven根据这个坐标定义了构件在仓库中的唯一存储路径，解读Maven在仓库中的存储路径：1.基于groupId准备路径，将句点分隔符转成路径分隔符，就
2017-10-31 21:00:51
713
原创 Hadoop HA QJM 与RM的自动容灾 以及hbase与Hadoop HA的 配置ha后hive修改
近日，在搭建Hadoop HA QJM集群的时候，出现一个问题，如本文标题。网上有很多HA的博文，其实比较好的博文就是官方文档，讲的已经非常详细。所以，HA的搭建这里不再赘述。本文就想给出一篇org.apache.hadoop.ipc.Client: Retrying connect to server错误的解决的方法。因为在搜索引擎中输入了错误问题，没有找到一篇解决问题的
2017-10-31 11:30:26
1666
原创 毕向东Java知识总结
Java基础知识总结（超级经典）写代码：1，明确需求。我要做什么？2，分析思路。我要怎么做？1,2,3。3，确定步骤。每一个思路部分用到哪些语句，方法，和对象。4，代码实现。用具体的java语言代码把思路体现出来。学习新技术的四点：1，该技术是什么？2，该技术有什么特点(使用注意)：3，该技术怎么使用。demo4，该技
2017-10-30 10:06:21
2082
原创 Hadoop必备
论坛：zookeeper : http://www.aboutyun.com/forum-149-1.htmlhadoop : http://www.aboutyun.com/forum-143-1.htmlhttp://www.aboutyun.com/forum-143-1.htmlhive:http : //www.aboutyun.com/thread-75
2017-10-27 21:27:02
286
原创 Java 常用工具类 Collections 源码分析
Collections 和 Arrays 是 JDK 为我们提供的常用工具类，方便我们操作集合和数组。这次之所以总结这个，是因为在一次面试中被问到一个细节，回答地不太好，这里补一下吧。由于两个都是工具类，我们就放在一起学习。读完本文你将了解：文章出处Collections提供的多种内部类不可变集合同步的集合有类型检查的集合空集合只
2017-10-27 21:11:08
338
原创 ArrayList自动扩容解析
探索ArrayList自动改变size真相ArrayList的列表对象实质上是存储在一个引用型数组里的，有人认为该数组有“自动增长机制”可以自动改变size大小。正式地说，该数组是无法改变大小的，实际上它只是改变了该引用型数组的指向而已。下面，让我们来看看java是怎样实现ArrayList类的。一、ArrayList类的实质 ArrayList底层采用Ob
2017-10-27 15:05:12
445
原创 浅析java内存模型--JMM(Java Memory Model)
在并发编程中，多个线程之间采取什么机制进行通信（信息交换），什么机制进行数据的同步？ 在Java语言中，采用的是共享内存模型来实现多线程之间的信息交换和数据同步的。 线程之间通过共享程序公共的状态，通过读-写内存中公共状态的方式来进行隐式的通信。同步指的是程序在控制多个线程之间执行程序的相对顺序的机制，在共享内存模型中，同步是显式的，程序员必须显式指定某个方法/代码块需要在多线
2017-10-27 14:58:41
343
原创 Hadoop HDFS原理
1 HDFS的运行机制HDFS集群中的节点分为两种角色，一种角色负责管理整个集群的元数据，是名称节点（name node）；另一种角色负责存储文件数据块和管理文件数据块，是数据节点(datanode)。1.1 NameNode 1.1.1名称节点负责响应客户端的请求，负责管理整个文件系统的元数据。 1.1.2HDFS的内部工作机制对客户端是透明
2017-10-27 14:40:50
461
原创 Java reflect proxy 源码
概述 软件包 类 使用 树 已过时 索引 帮助 JavaTM PlatformStandard Ed. 6 上一个类 下一个类框架 无框架 所有类摘要： 嵌套 | 字段 | 构造方法 | 方法详细信息： 字段 | 构造方法 | 方法java.lang.reflect
2017-10-25 21:21:52
313
原创 Java动态代理
java动态代理的类和接口（jdk1.6源码）1，java.lang.reflect.Proxy：动态代理机制的主类，提供一组静态方法为一组接口动态的生成对象和代理类。// 方法 1: 该方法用于获取指定代理对象所关联的调用处理器public static InvocationHandler getInvocationHandler(Object proxy) // 方法 2
2017-10-25 20:02:47
219
原创 当前版本Hadoop RPC
什么是RPC?1、RPC(Remote Procedure Call）远程过程调用，它允许一台计算机程序远程调用另外一台计算机的子程序，而不用去关心底层的网络通信细节，对我们来说是透明的。经常用于分布式网络通信中。2、Hadoop的进程间交互都是通过RPC来进行的，比如Namenode与Datanode之间，Jobtracker与Tasktracker之间等。RPC协议假定
2017-10-25 10:45:09
459
原创 以前版本Hadoop RPC
一、RPC基础概念1.1 RPC的基础概念 RPC，即Remote Procdure Call，中文名：远程过程调用； （1）它允许一台计算机程序远程调用另外一台计算机的子程序，而不用去关心底层的网络通信细节，对我们来说是透明的。因此，它经常用于分布式网络通信中。RPC协议假定某些传输协议的存在，如TCP或UDP，为通信程序之间携带信息数据。在OSI网络通信模型
2017-10-25 10:43:02
300
原创 Java线程池补充
文章中其实说明了外部的使用方式，但是没有说内部是如何实现的，为了加深对实现的理解，在使用中可以放心，我们这里将做源码解析以及反馈到原理 上，Executors工具可以创建普通的线程池以及schedule调度任务的调度池，其实两者实现上还是有一些区别，但是理解了ThreadPoolExecutor，在看ScheduledThreadPoolExecutor就非常轻松了，后面的文章中也会专门介绍这块，
2017-10-25 10:39:48
164
原创 Hadoop笔记详解
Hadoop 本机集群机器：211 212 215 216 四台对应s100 s101 s102 s103 s104 Ubuntu204-server-64-2-00 100 s100 211 node1 Ubuntu204-server-64-2-01 101 s101 212 node2 Ubuntu204-server-64-2-02 10
2017-10-24 15:47:11
722
原创 crontab 详解
cron 是一个可以用来根据时间、日期、月份、星期的组合来调度对重复任务的执行的守护进程。cron 假定系统持续运行。如果当某任务被调度时系统不在运行，该任务就不会被执行。要使用 cron 服务，你必须安装了 vixie-cron RPM 软件包，而且必须在运行crond 服务。要判定该软件包是否已安装，使用 rpm -q vixie-cron 命令。要判定该服务是否在运行，使
2017-10-24 08:34:43
3404
原创 Hadoop 在Windows7操作系统下使用Eclipse来搭建hadoop开发环境
网上有一些都是在Linux下使用安装Eclipse来进行hadoop应用开发，但是大部分Java程序员对linux系统不是那么熟悉，所以需要在windows下开发hadoop程序，所以经过试验，总结了下如何在windows下使用Eclipse来开发hadoop程序代码。 1、 需要下载hadoop的专门插件jar包hadoop版本为2.3.0，hadoop集群搭建在cent
2017-10-23 17:07:01
463
转载 Hadoop 调试第一个mapreduce程序过程详细记录总结以及权限问题 Permission denied: user=dr.who
1，程序代码如下：package wc;import java.io.IOException;import java.util.StringTokenizer;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.h
2017-10-23 17:05:45
6700
原创 Hadoop笔记
去IOE-------------IBM //ibm小型机.Oracle //oracle数据库服务器 RACEMC //EMC共享存储设备。Cluster----------------集群。1T = 1024G1P = 1024T1E = 1024P1Z = 1024E1Y = 1024Z1N = 1024Y海
2017-10-20 19:14:57
1578
原创 Hadoop伪分布式，分布式搭建
伪分布式：虚拟机命名规则：全名：neworigin用户名：neworigin密码：123456确认密码：123456虚拟机名称：ubuntu-desktop-2-00位置：F:\vmware-systems\ubuntu-desktop-2-00192.168.134.99192.168.134.254子网掩码：255.255.255.0子网
2017-10-19 21:11:42
513
原创 HttpServletRequest对象
一、HttpServletRequest介绍 HttpServletRequest对象代表客户端的请求，当客户端通过HTTP协议访问服务器时，HTTP请求头中的所有信息都封装在这个对象中，通过这个对象提供的方法，可以获得客户端请求的所有信息。二、Request常用方法2.1、获得客户机信息 getRequestURL方法返回客户端发出请求时的完整URL。
2017-10-19 16:20:33
227
原创 hadoop安全模式
hadoop安全模式在分布式文件系统启动的时候，开始的时候会有安全模式，当分布式文件系统处于安全模式的情况下，文件系统中的内容不允许修改也不允许删除，直到安全模式结 束。安全模式主要是为了系统启动的时候检查各个DataNode上数据块的有效性，同时根据策略必要的复制或者删除部分数据块。运行期通过命令也可以进入 安全模式。在实践过程中，系统启动的时候去修改和删除文件也会有安全模式不允许修改的
2017-10-19 13:26:25
297
原创 Hadoop 常见问题总结
出现问题以后先查看日志，以下是常见的错误情况1 地址占用org.apache.hadoop.hdfs.server.namenode.NameNode: Address already in use查找被占用的端口号对应的PID : netstat -tunlpkill -9 PID实在不行就killall -9 java2
2017-10-19 13:22:54
483
原创 Ubuntu下Hadoop环境的配置
1：jdk的配置。详情请看jdk的配置 http://www.linuxidc.com/Linux/2012-11/74190.htm2：hadoop的安装 下载地址 http://labs.xiaonei.com/apache-mirror/hadoop/core/hadoop-0.20.2/hadoop-0.20.2.tar.gz 1、安装java和ssh
2017-10-19 13:18:33
582
原创 Hadoop的datanode新建异常处理
Hadoop新部署一个节点。部署完毕后，启动datanode,没起来,错误如下：STARTUP_MSG: Starting DataNodeSTARTUP_MSG: host = node-128-99/192.168.1.99STARTUP_MSG: args = []STARTUP_MSG: version = 1.1.2STARTUP_MSG: build =
2017-10-19 13:16:22
277
原创 Hadoop集群所有的DataNode都启动不了解决办法
首先会出现几种情况，才会出现启动不了datanode的情况。1.首先修改过master那台的配置文件，2.多次Hadoop namenode -format这种不好的习惯。一般会出现一下报错：java.io.IOException: Cannot lock storage /usr/hadoop/tmp/dfs/name. The directory is alre
2017-10-19 13:14:07
1256
原创 深入体验JavaWeb开发内幕之Response对象操作实例之通过Response实现重定向和刷新跳转并跳转页面
通过Response对象实现重定向的两种方式：index.jsp[java] view plain copy"java" import="java.util.*" pageEncoding="UTF-8"%> String path = request.getContextPath(); String basePa
2017-10-18 21:21:33
2830
原创 response向浏览器写随机数，汉字以及资源下载
import java.awt.Color;import java.awt.Font;import java.awt.Graphics;import java.awt.Graphics2D;import java.awt.image.BufferedImage;import java.io.IOException;import java.io.PrintWriter;i
2017-10-18 20:25:16
244
原创 常用汉字的unicode 编码
包含汉字：的一是了我不人在他有这个上们来到时大地为子中你说生国年着就那和要她出也得里后自以会家可下而过天去能对小多然于心学么之都好看起发当没成只如事把还用第样道想作种开美总从无情己面最女但现前些所同日手又行意动方期它头经长儿回位分爱老因很给名法间斯知世什两次使身者被高已亲其进此话常与活正感见明问力理尔点文几定本公特做外孩相西果走将月十实向声车全信重三机工物气每并别真打太新比才便夫再书部水像
2017-10-18 19:42:25
25957
原创 JAVA中常用IO流类：FileInputStream和FileOutputStream
FileInputStream 用于读取本地文件中的字节数据，继承自InputStream类构造方法摘要FileInputStream(File file) 通过打开一个到实际文件的连接来创建一个FileInputStream，该文件通过文件系统中的 File 对象 file 指定。FileInputStream(FileDe
2017-10-18 16:27:37
199
原创 servletconfig对象+servletcontext对象
HttpServletRequest:请求对象：获取请求信息HttpServletResponse:响应对象：设置响应对象ServletConfig对象：servlet配置对象ServletContext对象：servlet的上下文对象 ServletConfig对象作用：主要用于加载servlet的初始化参数，在一个web应用中可以存在多个Serv
2017-10-18 14:38:43
906
原创 Hadoop MapReduce执行过程详解（带hadoop例子）
分析MapReduce执行过程 MapReduce运行的时候，会通过Mapper运行的任务读取HDFS中的数据文件，然后调用自己的方法，处理数据，最后输出。Reducer任务会接收Mapper任务输出的数据，作为自己的输入数据，调用自己的方法，最后输出到HDFS的文件中。整个流程如图：Mapper任务的执行过程详解每个Mapper任务是一个java进程，它会读取HDFS中
2017-10-18 08:59:03
1415
原创 史上最难的一道Java面试题 (分析篇)以及properties补充
题目如下：public class TestSync2 implements Runnable { int b = 100; synchronized void m1() throws InterruptedException { b = 1000; Thread.sleep(500); //6 System
2017-10-17 19:34:51
500
原创 MyEclipse中配置struts.xml自动提示的方法
1、首先打开MyEclipse的窗口，选择“Window”菜单下的“Preferences”选项，如图所示：2、再打开的“Preferences”对话框中，选择左边的“XML”选项下的“XML Catalog”选项，然后选择右边的“Add”按钮，打开如下的对话框，如图所示：3、在打开的对话框中，在“location”中输入struts.xml文件所对应的dtd文件的所在位置
2017-10-17 19:30:27
281
原创 Eclipse输入Java和XML代码自动提示功能最简单的方法
Eclipse输入Java和XML代码自动提示功能1、设置 java 文件的代码提示功能打 开 Eclipse 依次选择 Window > Preferences > Java > Editor - Content Assist > Auto activation triggers for Java ，设置框中默认是一个点，现在将它改为：以下为引用内容： .abcdefghij
2017-10-17 19:27:33
821
原创 Servlet常见注意事项
tips：值越小优先级越高一般我们访问静态网页时，服务器有一个默认的缺省Servlet。查看端口号：web.xml中的内容修改不需要重新发布。
2017-10-17 17:58:06
632
原创 XML和Schema命名空间详解
XML和Schema具有无关平台,技术厂商,简单,规范统一等特点,极具开放性,所以使用极为广泛,而且使用简单,在XML和Schema和,个人认为比较不好理解的一点是其命名空间问题,在这篇博客里详细进行理解。 名称空间是W3C推荐标准提供的一种统一命名XML文档中的元素和属性的机制。使用名称空间可以明确标识和组合XML文档中来自不同标记词汇表的元素和属性，避免了名称之间的冲突。
2017-10-17 08:40:48
304
原创 Java回顾之ORM框架
1. 什么是ORM?对象-关系映射（Object-Relational Mapping，简称ORM），面向对象的开发方法是当今企业级应用开发环境中的主流开发方法，关系数据库是企业级应用环境中永久存放数据的主流数据存储系统。对象和关系数据是业务实体的两种表现形式，业务实体在内存中表现为对象，在数据库中表现为关系数据。内存中的对象之间存在关联和继承关系，而在数据库中，关系数据无法直接表达多对多
2017-10-17 08:20:33
456
原创 hive表信息查询：查看表结构、表操作等
问题导读：1.如何查看hive表结构？2.如何查看表结构信息？3.如何查看分区信息？4.哪个命令可以模糊搜索表？1.hive模糊搜索表 show tables like '*name*';2.查看表结构信息 desc formatted table_name; desc table_name;3.查看分区信息 sh
2017-10-16 21:21:22
474
原创 Hive安装及基本命令整理超详细超详细超详细重要的事情说三遍以及连接错误问题处理
问题导读1、如何加载分区表数据？2、Hive中如何查询使用多少个MapReduce作业 ？3、查看数组、map、结构？创建表：hive> CREATE TABLE pokes (foo INT, bar STRING); Creates a table called pokes with two columns, the
2017-10-16 21:20:39
732
hadoop-eclipse-plugin
2017-10-23
hadoop_dll_winutil_2.7.1.zip
2017-10-20
机器学习实战
2017-10-11
python基础教程
2017-10-11
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人