- 博客(71)
- 收藏
- 关注
RSS订阅原创 回归技术路线，继续提升自己
工作N年后，成功总工，曾经做过架构师，但最近发现各项目的技术架构太杂，自己也非架构“老鸟”，所以决定继续走技术架构这条路，希望自己能坚持下去。架构设计是为了解决软件复杂度。...
2019-07-25 11:10:07
218
原创 hive常用命令
进入hive目录后执行hive命令进入命令模式：#创建新表hive> CREATE TABLE t_hive (a int, b int, c int) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t';#导入数据t_hive.txt到t_hive表hive> LOAD DATA LOCAL INPATH '/home/c
2016-03-24 17:37:05
632
转载 JAVA 基础之 异常机制
在Java中,异常分为受检查的异常,与运行时异常. 两者都在异常类层次结构中.下面的图展示了Java异常类的继承关系.粉红色的是受检查的异常(checked exceptions),其必须被 try{}catch语句块所捕获,或者在方法签名里通过throws子句声明.受检查的异常必须在编译时被捕捉处理,命名为 CHecked Exception 是因为Java编译器要进行检查,
2016-02-29 15:04:31
773
原创 Java的IO操作
Java的IO操作中有面向字节(Byte)和面向字符(Character)两种方式。面向字节的操作为以8位为单位对二进制的数据进行操作，对数据不进行转换，这些类都是InputStream和OutputStream的子类。面向字符的操作为以字符为单位对数据进行操作，在读的时候将二进制数据转为字符，在写的时候将字符转为二进制数据，这些类都是Reader和Writer的子类。总结：以In
2016-02-22 10:21:02
439
原创 Spark核心RDD的研究
1背景介绍现今分布式计算框架像MapReduce和Dryad都提供了高层次的原语，使用户不用操心任务分发和错误容忍，非常容易地编写出并行计算程序。然而这些框架都缺乏对分布式内存的抽象和支持，使其在某些应用场景下不够高效和强大。RDD(Resilient Distributed Datasets弹性分布式数据集)模型的产生动机主要来源于两种主流的应用场景：Ø 迭代式算法：迭代式机器
2016-02-18 10:38:02
640
原创 Hive hiveserver2
1：运行命令行模式:hive --service hiveserver2 --hiveconf hive.server2.thrift.port=10001服务模式：hiveserver2 start[plain] view plain copy [jifeng@feng01 conf]$ hive --s
2016-01-29 10:56:45
912
原创 数据从HDFS导入hive
由于很多数据在hadoop平台，当从hadoop平台的数据迁移到hive目录下时，由于hive默认的分隔符是\,为了平滑迁移，需要在创建表格时指定数据的分割符号，语法如下： create table test(uid string,name string)row format delimited fields terminated by '\t'；通过这种方式，完成分隔符的指定
2016-01-25 17:15:20
1839
原创 Hive 1.2.1部署(hadoop2.6.0 hive 1.2.1)
hive部署有三种模式：内嵌模式：元数据保持在内嵌的derby模式，只允许一个会话连接本地独立模式：在本地安装Mysql，吧元数据放到mySql内远程模式：元数据放置在远程的Mysql数据库1、内嵌模式：(1)、修改/home/lin/hadoop/apache-hive-1.2.1-bin/bin/hive-config.sh
2016-01-21 14:13:31
1136
原创 ORA-01691：Lob 段 无法通过8192
USERS表空间不足的问题：描述 = ORA-01691: Lob 段SFZXP.SYS_LOB0000030381C00004$$无法通过8192（在表空间USERS中）扩展。下面的方法是为表空间增加一个'D:/oracle/product/10.2.0/oradata/orcl/users02.dbf'文件，以扩大表空间，增加的文件users02.dbf'的大小为30048M，
2015-12-30 17:03:58
4197
原创 用sqoop导入大表的问题
用sqoop全量地往HDFS中导入一张大表，大概30G左右。运行的过程总是不成功，抓了日志分析，发现是sqoop运行时候抛出了MySQL的异常：java.sql.SQLException: Incorrect key file for table '/tmp/#sql_f27_0.MYI'; try to repair it再分析，发现是sqoop解析SQL语句后，会组装出一条边界确认
2015-12-21 16:25:14
3902
原创 ORACLE性能调优之执行计划的使用
一段SQL代码写好以后，可以通过查看SQL的执行计划，初步预测该SQL在运行时的性能好坏，尤其是在发现某个SQL语句的效率较差时，我们可以通过查看执行计划，分析出该SQL代码的问题所在。 关于执行计划的一些知识：* Full Table Scans 全表扫描* Rowid Scans rowid扫描* Index Scans 索引扫描* Index Unique Scans
2015-12-21 16:19:37
561
原创 mybatis缓存机制
一、MyBatis缓存介绍 正如大多数持久层框架一样，MyBatis 同样提供了一级缓存和二级缓存的支持一级缓存: 基于PerpetualCache 的 HashMap本地缓存，其存储作用域为 Session，当 Session flush 或 close 之后，该Session中的所有 Cache 就将清空。 2. 二级缓存与一级缓存其机制相同，默认也是采用 Perp
2015-12-11 16:33:58
550
原创 myBatis的动态SQL之标签的使用
当sql语句where条件中，需要一些安全判断，例如按某一条件查询时如果传入的参数是空，此时查询出的结果很可能是空的，也许我们需要参数为空时，是查出全部的信息。使用Oracle的序列、mysql的函数生成Id。这时我们可以使用动态sql。1 selectKey 标签 在insert语句中，在Oracle经常使用序列、在MySQL中使用函数来自动生成插入表的主键，而且需要方法能返回这
2015-12-02 14:23:21
1467
原创 mybatis常用jdbcType数据类型
Mybatis中javaType和jdbcType对应关系JDBC Type Java TypeCHAR StringVARCHAR StringLONGVARCHAR StringNUMERIC java.math.BigDecimalDECIMAL java.math.BigDecimalBIT booleanBOOLEAN boo
2015-12-01 10:33:15
483
原创 Mybatis传多个参数解析
一、单个参数：public List getXXBeanList(String xxCode); select t.* from tableName t where t.id= #{id} 其中方法名和ID一致，#{}中的参数名与方法中的参数名一直， 我这里采用的是XXXBean是采用的短名字,select 后的字段列表要和bean中的属性名一致， 如果不一致的
2015-12-01 10:30:51
498
转载 Scrum敏捷开发实践之有道云笔记
1. Scrum不是万能药，要在时机成熟时推行。什么时候算时机成熟呢？我们的经验是需要两点：一、团队有三名或以上的研发工程师 ；二、 团队内有一名合适的Scrum Master 。刚开始的时候，一个开发团队可能只有一名或者两名研发工程师。这时候并没有全面推行scrum的必要 ，而可以借鉴scrum中的一些做法。比如有道云笔记的Web团队最初就是这个情况。当Web团队只有一名研发工程师时，我
2015-11-24 09:38:05
731
原创 hbase 新旧API对比
1.org.apache.hadoop.hbase.client.Put 取消了无参的构造方法 Put类不再继承Writable类 0.94.6时public class Put extends Mutation implements HeapSize, Writable, Comparable 0.96.0时public class Pu
2015-11-19 17:09:32
4895
原创 通过mapreduce操作Hbase
package man.ludq.hbase;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.HBaseConfiguration;import org.apache.hadoop.hbase.client.Put;import
2015-11-19 17:04:18
648
原创 Sqoop1.4.6 增量导入HDFS
一、 增量导入模式简介Sqoop提供将新数据导入，而已经导入的数据不再执行导入操作，即增量导入操作。使用以下参数：--check-column (col)指定一个“标志列”用于判断增量导入的数据范围，该列不能是字符型，最好是数字或者日期型（这个很好理解吧）。--incremental (mode)指定增量模式，包含“追加模式” append
2015-11-10 16:12:49
2265
转载 sqoop1 命令说明
1. 概述本文档主要对SQOOP的使用进行了说明，参考内容主要来自于Cloudera SQOOP的官方文档。为了用中文更清楚明白地描述各参数的使用含义，本文档几乎所有参数使用说明都经过了我的实际验证而得到。2. codegen将关系数据库表映射为一个java文件、java class类、以及相关的jar包，作用主要是两方面：1、 将数据库表映射为一
2015-11-09 17:06:10
2472
2
原创 sqoop1.99.4安装与应用
1. 版本信息:hadoop版本:2.4.0,sqoop版本:sqoop-1.99.4-bin-hadoop2002. 首先将下载好的sqoop-1.99.4-bin-hadoop200.tar.gz解压,并放到常用程序安装目录:/usr3. 修改环境变量：sudo /etc/profile:添加如下内容：#sqoopexport SQOOP_HOME=/usr/sq
2015-11-09 16:57:39
720
原创 sqoop1.4.6实现Mysql与HDFS/Hbase的数据迁移
简介 Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导入到Hadoop的HDFS中，也可以将HDFS的数据导入到关系型数据库中。http://sqoop.apache.org/环境 当调试过程出现IncompatibleC
2015-11-09 16:45:14
2456
原创 CentOS 6桥接网卡配置
安装KVM虚拟机软件，需要配置一个桥接网卡，以便客户机获取到跟真实系统同一网段的IP，本文实验环境基于CentOS 6 64bit，记录一下，本文所有命令均是在真实系统里操作，而非在客户机操作。1，准备工作关闭NetworkManager服务，启用network服务[root@localhost ~]# service NetworkManager stop[root@localh
2015-11-06 17:23:05
4105
原创 CentOS linux下安装Oracle客户端
1.下载以下包，但是需要一个oracle的OTN的注册帐号（免费）：到oracle官网下载(需要账号)：http://www.oracle.com/technetwork/topics/linuxx86-64soft-092277.htmloracle-instantclient11.2-basic-11.2.0.3.0-1.x86_64.rpm oracle-instantclien
2015-11-06 15:47:34
1078
原创 linux下配置 tomcat7 自动启动
我的Tomcat安装位置：/usr/local/apache-tomcat-7.0.11Java安装位置：/usr/local/jdk1.6.0_241) 编辑/etc/profile，在文件末尾添加jdk路径#vi /etc/profile文件最后内容如下export JAVA_HOME=/usr/local/jdk1.6.0_24expo
2015-11-05 16:43:15
565
原创 判断字符串为空的方法
字符串为空有两种情况：1、"" 2 、null String string= ""; //方法一 为""返回true 负责返回false 此处返回true System.out.println(string.isEmpty()); //方法二 为""返回true 负责返回false 此处返回true System.out.println(string.equals(
2015-10-29 14:48:53
676
原创 log4j日志信息输出文件配置
1、配置根Logger 其语法为： log4j.rootLogger = [ level ] , appenderName1, appenderName2, … level : 是日志记录的优先级，分为OFF、FATAL、ERROR、WARN、INFO、DEBUG、ALL或者您定义的级别。Log4j建议只使用四个级别，优先级从高到低分别是ERRO
2015-10-28 09:55:15
585
原创 hadoop本地库不一致的解决方案
15/06/25 00:14:04 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable解决办法：增加调试信息[hadoop@master001 native]$ export HA
2015-10-27 17:14:35
7090
原创 WebService报错:org.apache.cxf.interceptor.Fault: No such operation
2015-10-19 16:07:55 WARN LogUtils[LogUtils.java:369] - Interceptor for {http://impl.ws.platform.zbxsoft.com/}payService has thrown exception, unwinding noworg.apache.cxf.interceptor.Fault: No such
2015-10-27 16:25:58
14762
原创 Tomcat 7最大并发连接数的配置
在tomcat配置文件server.xml中的配置中，和连接数相关的参数有： minProcessors：最小空闲连接线程数，用于提高系统处理性能，默认值为10maxProcessors：最大连接线程数，即：并发处理的最大请求数，默认值为75acceptCount：允许的最大连接数，应大于等于maxProcessors，默认值为100enableLookups：是否反查域名，
2015-10-23 17:11:32
3941
原创 Tomcat内存设置详解
Java内存溢出详解 一、常见的Java内存溢出有以下三种：1. java.lang.OutOfMemoryError: Java heap space ----JVM Heap（堆）溢出JVM在启动的时候会自动设置JVM Heap的值，其初始空间(即-Xms)是物理内存的1/64，最大空间(-Xmx)不可超过物理内存。可以利用JVM提供的-Xmn
2015-10-23 17:06:14
374
转载 Hadoop安装遇到的各种异常及解决办法(1)
异常一:2014-03-13 11:10:23,665 INFO org.apache.Hadoop.ipc.Client: Retrying connect to server: Linux-hadoop-38/10.10.208.38:9000. Already tried 0 time(s); retry policy is RetryUpToMaximumCountWithFi
2015-10-19 16:18:51
908
原创 URL编码与解码
//step1String code= "Oc0PEwKrLzHqT25hYLhWP5wlk5HROPJoWC3chlqMHBoxLQ/WUcbKwsamjy+N2RsBDwFnFegg1tQXmuvWUcuxIMKwMC8RCjWjgVVCH385LBiXkGLM+q9hhlfEMjavM0vHfvx02/Af+njixF7M2yuVmf6lhH2BnQ2j4sR12HvfRHbDnzKQb
2015-10-19 15:18:14
446
原创 centos6.6离线安装ftp服务
1、查看是否安装vsftprpm -qa | grep vsftpd? 如果出现vsftpd-2.0.5-21.el5，说明已经安装 vsftp 2、下载vsftpd：ftp://rpmfind.net/linux/centos/6.7/os/x86_64/Packages/vsftpd-2.2.2-14.el6.x86_64.
2015-10-12 17:50:20
2425
原创 hadoop2.6.0集群HA搭建
环境配置：4台虚拟机centOS 6.6 NNDNZKZKFCJNnode1111node211111node3111node411NN：namenodeDN：datanode
2015-09-29 18:10:34
442
原创 oracle 存储过程的基本语法
1.基本结构 CREATE OR REPLACE PROCEDURE 存储过程名字( 参数1 IN NUMBER, 参数2 IN NUMBER) IS变量1 INTEGER :=0;变量2 DATE;BEGINEND 存储过程名字2.SELECT INTO STATEMENT 将select查询的结果存入到变量中，可以同时将多个列存
2015-09-22 18:06:32
319
原创 hbase 0.98.14集群部署
1. 安装与配置1.1. 前置条件确保已经安装了hadoop并保证hadoop运行正常。配置环境变量：HBASE_HOME=/usr/local/hbasePATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HBASE_HOME/binexport PATH1
2015-09-21 11:13:48
415
原创 zookeeper集群部署
1， 安装准备 1.1 下载http://mirror.bjtu.edu.cn/apache/zookeeper/zookeeper-3.3.3/zookeeper-3.3.3.tar.gz1.2 安装jdk : 我的是jdk-1.6.0_14-fcs1.3 系统： linux :centos-5.41.4 hadoop安装配置： 192.16
2015-09-18 18:08:24
451
原创 Linux永久关闭防火墙 vsftp 开机自启动
永久打开或则关闭 chkconfig iptables on chkconfig iptables off 即时生效：重启后还原 service iptables start service iptables stop 开机默认VSFTP服务自动启动: 方法一:(常用\方便) [root@localhost etc]# chkconfig --list|grep
2015-09-18 17:06:07
1318
原创 linux中某个端口拒绝远程主机连接原因及解决方法
问题描述： 比如在本机telent到192.168.8.170 主机的9000 端口，被拒绝。 [zhu@hadoop log]$ telnet 192.168.8.170 9000Trying 192.168.8.170...telnet: connect to address 192.168.8.170: Connection refused 原因：1. 被防火墙拦截。
2015-09-18 16:56:33
13951
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人