2017年07月_tiny@ant

转载 CM NTP问题

按照Cloudera 的官方建议，所有的CDH节点和Cloudea Manager节点都需要启动ntpd服务。要不然会报如下错误： 1）此角色的主机的运行状况为不良。以下运行状况测试不良：时钟偏差.2）The host’s NTP service is not synchronized to any remote server.解决方法如下：先配置一台NTP服务，然后所有

2017-07-20 13:49:23 2204 1

转载 Linux NTP配置详解 (Network Time Protocol)

摘要：watch ntpq -p 查看ntp时钟同步详细信息ntpstat 查看ntp向哪台服务器同步时间ntpdate 服务器地址（需要先将服务器停掉）向服务器同步时间设置NTP服务器不难但是NTP本身是一个很复杂的协议. 这里只是简要地介绍一下实践方法和上次一样,下面的实验都在RHEL5上运

2017-07-20 13:43:14 499

转载 Linux系统中进程查看命令的使用

1. ps 命令用于查看当前正在运行的进程。grep 是搜索例如： ps -ef | grep java表示查看所有进程里 CMD 是 java 的进程信息ps -aux | grep java-aux 显示所有状态ps2. kill 命令用于终止进程例如： kill -9 [PID]-9 表示强迫进程立即停止通常用 ps 查看进程 PID ，用 kill

2017-07-17 13:10:39 1632

UDF用户自定义函数（user defined function)–针对单条记录。创建函数流程 1、自定义一个Java类2、继承UDF类 3、重写evaluate方法 4、打成jar包 6、在hive执行add jar方法7、在hive执行创建模板函数 8、hql中使用Demo01: 自定义一个Java类打成jar包UDFTest.jar 在hive执行add jar方法在hive创建一个bi...

2017-07-17 11:25:14 779

转载 Linux中查看各文件夹大小命令du -h --max-depth=1

du [-abcDhHklmsSx] [-L ][-X ][--block-size][--exclude=] [--max-depth=][--help][--version][目录或文件]常用参数：-a或-all 为每个指定文件显示磁盘使用情况，或者为目录中每个文件显示各自磁盘使用情况。-b或-bytes 显示目录或文件大小时，以byte为单位。-c或–tota

2017-07-14 16:08:09 527

转载配ssh免密登陆

ssh-keygen 产生公钥与私钥对. ssh-copy-id 将本机的公钥复制到远程机器的authorized_keys文件中，ssh-copy-id也能让你有到远程机器的home, ~./ssh , 和 ~/.ssh/authorized_keys的权利第一步:在本地机器上使用ssh-keygen产生公钥私钥对jsmith@local-host$ [Note: Yo

2017-07-14 10:45:22 245

转载 expect的源码安装方法

expect是在tcl基础上创建起来的，它提供了一些tcl所没有的命令,如果是源码安装的话首先需要安装tcl。spawn命令激活一个Unix程序来进行交互式的运行。send命令向进程发送字符串，expect 命令等待进程的某些字符串。下载tcl源码包wget http://prdownloads.sourceforge.net/tcl/tcl8.4.20-src.tar.gz

2017-07-14 09:02:57 2457

转载 expect----提供用户名和密码的ssh自动登录

使用VPN，每次都要在Terminal上重复输入命令：ssh -D port user@host出来密码提示符后，把复杂的密码拷贝下来，然后粘贴到Terminal，敲回车... 终于忍受不了这样的重复了，于是用Shell写一个可以自动登录的脚本：Shell script代码 #!/usr/bin/expect -f set

2017-07-13 18:08:52 518

转载 impala与hbase整合

我们知道，HBase是一个基于列的NoSQL数据库，它可以实现的数据的灵活存储。它本身是一个大表，在一些应用中，通过设计RowKey，可以实现对海量数据的快速存储和访问。但是，对于复杂的查询统计类需求，如果直接基于HBase API来实现，性能非常差，或者，可以通过实现MapReduce程序来进行查询分析，这也继承了MapReduce所具备的延迟性。实现Impala与HBase整合，我们能够获

2017-07-13 13:09:29 1064

转载 Java反射机制详解

Java反射机制详解| |目录1反射机制是什么2反射机制能做什么3反射机制的相关API·通过一个对象获得完整的包名和类名·实例化Class类对象·获取一个对象的父类与实现的接口·获取某个类中的全部构造函数 - 详见下例·通过反射机制实例化一个类的对象·获取某个类的全部属性·获取某个类的全部方法·通过反射机制调用某个类的方法·通过反射机制操作某个类的属性·反射机制的动态代理4反射机制

2017-07-07 15:45:09 257

原创正则表达式"\\s+" - 匹配任意空白字符

非常好用的正则表达式"\\s+" - 匹配任意空白字符详解 "\\s+"正则表达式中\s匹配任何空白字符，包括空格、制表符、换页符等等, 等价于[ \f\n\r\t\v]\f -> 匹配一个换页\n -> 匹配一个换行符\r -> 匹配一个回车符\t -> 匹配一个制表符\v -> 匹配一个垂直制表符而“\s+”则表示匹配任意多个上面的字符。另因为反斜杠在Java里是转

2017-07-07 09:34:47 14730

原创跨集群拷贝hbase表

目的:从10.102.2.246上把Hbase里面数据备份到10.101.159.62的Hbase里面，并且这两台机器之间无法通信，因此采用最笨的办法解决问题。步骤：1、从246上把Hbase里面数据先拷贝到该节点的一个目录，拷贝到/oracle/hpdata/hbase-data.bak。我们知道由于配置文件hbase-site.xml里面写的hbase数据存放地方是hdfs://l

2017-07-03 17:03:34 1083

转载 shell中test命令用法详解

test命令用法。功能：检查文件和比较值　　1）判断表达式　　if test (表达式为真)　　if test !表达式为假　　test 表达式1 –a 表达式2 两个表达式都为真　　test 表达式1 –o 表达式2 两个表达式有一个为真　　2）判断字符串　　test

2017-07-03 10:35:08 1028

Adolph的专栏