- 博客(6)
- 收藏
- 关注
RSS订阅转载 sqoop基本用法
RDBMS导入HDFS sqoop 默认使用4个map，可以自定义map的数量；导入数据可以指定列；可以使用query参数，导入需要的数据；可以指定字段的分割符。 执行脚本文件导入数据： bin/sqoop --options-file /opt/datas/sqoop_imp.sh sqoop_imp.sh文件内容： import –connect jdbc:mysql://master:3...
2018-10-22 23:36:12
404
原创 flume基本用法
exec source采集日志agent文件 source type为exec，sink type为logger，channel type为memory Name the components on this agent a1.sources = r1 a1.sinks = k1 a1.channels = c1 Describe/configure the source a1.sources...
2018-10-22 23:33:07
258
翻译 hive安装及基本操作
Hive安装部署 下载安装包并解压 apache-hive-0.13.1-bin.tar.gz 解压：tar -zxf apache-hive-0.13.1-bin.tar.gz -C /opt/modules/ 配置hive-env.sh文件 设置hadoop路径：HADOOP_HOME=/opt/modules/hadoop-2.5.0 设置hive配置文件路径： export HIVE...
2018-10-22 23:29:22
294
转载 linux安装python步骤
1）安装devtoolset yum groupinstall “Development tools” 2）安装编译Python需要的包包 yum install zlib-devel yum install bzip2-devel yum install openssl-devel yum install ncurses-devel yum install sqlite-devel 3）下载并解...
2018-10-22 23:24:26
357
翻译 kafka安装及基本操作命令
1. Kafka安装 Kafka软件版本：kafka_2.9.2-0.8.1.tgz 修改配置文件:config/server.properties 修改zookeeper服务地址：zookeeper.connect=master:2181,slave1:2181,slave2:2181 使用scp分发文件到其他主机 注意：Kafka依赖于zookeeper，启动之前需要先启动zookeeper ...
2018-10-22 23:21:30
129
原创 IDEA MAVEN环境搭建以及打依赖jar包
配置本地MAVEN环境 a) 修改setting.xml文件，设置本地E:\repository仓库位置。 b) 添加阿里镜像。 nexus-aliyun * Nexus aliyun http://maven.aliyun.com/nexus/content/groups/public 设置MAVEN_HOME，cmd进入命令窗口，mvn -version检查安装成功与否。 I...
2018-10-22 22:57:39
443
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人