sharp1s1s-CSDN博客

原创 linux下同时运行多个python脚本

run.sh#!/bin/bashpython mysql.py > /dev/null 2>&1 &python mysql1.py > /dev/null 2>&1 &python mysql2.py > /dev/null 2>&1 &python mysql3.py > /dev/nul...

2018-09-18 10:57:20 14314

原创 linux下同时运行两个kettle的job

1.部署kettle在Linux的环境2.将job，transition从windows拷贝到linux对应目录下编写ts.sh，运行脚本：#!/bin/bashcd /home/kettle/data-integrationexport JAVA_HOME=/usr/java/jdk1.8.0_162export PATH=$JAVA_HOME/bin:$PATHexpo...

2018-09-18 10:56:30 3005 2

原创解决secureCRT自动断开

1.设置服务器端vim /etc/ssh/shhd_configTCPKeepAlive yesClientAliveInterval 30ClientAliveCountMax 360ClientAliveInterval指定了服务器端向客户端请求消息的时间间隔, 默认是0, 不发送.而ClientAliveInterval 30表示每30秒发送一次, 然后客户端响应, 这样就...

2018-09-18 10:55:19 2486

原创 spark shell

var test_jdbc = spark.sqlContext.read.format("jdbc").option("url", "jdbc:hive2://data01.jisheng.sa:21050/rawdata;auth=noSasl").option("driver", "org.apache.hive.jdbc.HiveDriver").option("dbtable"

2018-09-18 10:53:48 217

原创 python通过thrift连接hbase

在使用过程中遇到的问题：1.错误信息：hbase.ttypes.IOError: IOError(message="org.apache.hadoop.hbase.client.RetriesExhaustedException: Failed after attempts=35, exceptions:\nMon Apr 09 16:39:38 CST 2018, RpcRetrying...

2018-09-18 10:52:58 572

###1. mysql command not found原因:这是由于系统默认会查找/usr/bin下的命令，如果这个命令不在这个目录下，当然会找不到命令，我们需要做的就是映射一个链接到/usr/bin目录下，相当于建立一个链接文件。首先得知道mysql命令或mysqladmin命令的完整路径，比如mysql的路径是：/usr/local/mysql/bin/mysql，我们则可以这样执行...

2018-09-18 10:39:18 1713

原创 azkaban错误集合

###1.关于azkaban上传job压缩包报错问题的解决方案在azkaban上传job压缩包如果出现installation FailedError Chunking during uploading files to db…错误，可通过如下方法解决。在mysql查询器中输入如下语句set global max_allowed_packet=1073741824;NOTE: Se...

2018-09-18 10:31:00 682

转载 Kafka

kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。对于像Hadoop的一样的日志数据和离线分析系统，但又要求实时处理的限制，这是一个可行的解决方案。kafka的目的是通过Hadoop的并行加载机制来统

2015-09-15 11:53:06 162

SharplusBaby