- 博客(10)
- 资源 (6)
- 收藏
- 关注
RSS订阅原创 Hadoop数据经Hive汇总计算之后导出到Mysql
1、程序路径及文件目录[hadoop@emr-worker-8 sdk-dataproc]$ pwd/home/hadoop/sdk-dataproc[hadoop@emr-worker-8 sdk-dataproc]$ lscorn-err.txt hive2mysql manual-sdk-ctl.sh nohup.out proc sdk-ctl.log sdk
2016-10-31 14:44:46
1822
原创 Shell中for循环的几个常用写法
第一类：数字性循环-----------------------------for1-1.sh#!/bin/bashfor((i=1;i<=10;i++));do echo $(expr $i \* 3 + 1);done-----------------------------for1-2.sh#!/bin/bashfor i in $
2016-10-31 11:44:56
229517
3
原创 运行crontab时出现hive:command not found及找不到hadoop_home问题处理
如果确认已经在脚本中用了绝对路径，这就可能是crontab的环境变量和自己运行时的环境变量不同导致。所以，在shell脚本中加入1)source /etc/profile2)然后用locate /bin/hive找出对应一个hive的位置，当然由于向下兼容，当然找的是最新版本的hive的位置，将原本的hive命令改成绝对路径简而言之，就是所有能用到绝对路径的地方都使用绝对路
2016-10-25 15:29:56
4764
原创 Linux重定向及标准输入、输出、错误相关
通常情况，每个 Unix程序在启动时都会打开三个流，一个用于输入，一个用于输出，一个用于打印诊断或错误消息。它们分别被做：标准输入,标准输出,标准错误。标准输入是程序可以读取其输入的位置。缺省情况下，进程从键盘读取 stdin。标准输出是程序写入其输出的位置。缺省情况下，进程将 stdout写到终端屏幕上。标准错误是程序写入其错误消息的位置。缺省
2016-10-25 15:02:26
7125
原创 自连接数据交集的获取
建表（oracle）：-- Create tablecreate table room_user_info( ROOM_ID VARCHAR2(800), USER_ID VARCHAR2(800));样例数据：ROOM_ID USER_ID1249285 2045321249285 533812241249285 89890902719467 2104
2016-10-20 12:22:56
429
原创 mysql使用federated引擎实现dblink远程表访问
1、目标数据库federated引擎安装与启用查看目标数据库引擎信息：mysql> show engines ;安装federated引擎：mysql> install plugin federated soname 'ha_federated.so';如果已经安装，则会提示：ERROR 1125 (HY000): Function 'federated' already
2016-10-17 15:14:35
3087
原创 Centos6.8安装配置VNC
一般情况下，服务器都会在IDC或云端；为了可以看到服务器的图形化界面，可以通过安装配置VNC服务来实现；本文以在Centos6.8上安装配置VNC为例来说明。1、安装VNC服务及客户端[root@hostname ~]#yum install -y tigervnc[root@hostname ~]#yum install -y tigervnc-server2、配置显示器[r
2016-10-15 09:37:41
2836
原创 NameNode配置HA后及其反过程Hive路径不正确的问题解决
在CDH5.7下，配置了NameNode的HA后，Hive无正常查询数据了，但是其他的组件HDFS , HBase ,Spark都正常的。Hive新建表出现如下异常：CREATE TABLE `x_test`( `client_ip` string , `time` string , `http_request` string , `node_ip` string
2016-10-11 14:38:37
4339
1
原创 CDH中NameNode启动报错一例问题的处理
错误明细：Failed to start namenode.java.io.IOException: There appears to be a gap in the edit log. We expected txid 693082, but got txid 693668. at org.apache.hadoop.hdfs.server.namenode.MetaRecoveryC
2016-10-11 11:41:26
7066
原创 Mysql分表数据通过Shell进行导出与统计
1、分表数据的统计[root@master tv]# cat submeter_data_static.sh #!/bin/bash#/usr/bin/mysql -hsrchostip -P50506 -usrcmysqluser -ppasswordstring -N -e"select table_name from information_schema.tables whe
2016-10-10 14:56:35
1759
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人