hadoop
文章平均质量分 83
犀利的蛙
安安
展开
-
sqoop 数据导入脚本
一.序言 简单分享个sqoop 从mysql 集群导入到hdfs hive-table 里面进行分析的例子。 sqoop1.4.6,hadoop2.7,hive1.2.1 ,因为 环境原因,sqoop 没有升级到2~。~ 二.简单步骤 1.base_import.sh : 集中配置一些链接信息,和公共参数,并引入其他脚本执行 2.base_c...2015-09-29 10:56:56 · 676 阅读 · 0 评论 -
Cloudera-hadoop 离线安装
一.序言 这里将介绍Cloudera-hadoop(CDH) 5.5.1的安装,简单布置 我环境是:CentOS 6.5 mysql5.6 jdk1.7 机器3台:hadoop1006,hadoop1007,hadoop1008 主要是内存配置:主节点要求 最好10G ,如果你东西都装主节点。 其他:已经打通ssh 免登陆,S...原创 2016-01-05 11:57:44 · 209 阅读 · 0 评论 -
hive udf 唯一bigInt 生成器
一、背景 mysql数据由于自增的bigint 主键,会插入更快,因为能持续往文件末尾插入嘛,因此需要这个东西。 然后呢,服务端有专门生产id的接口,但是数据中心批量插入,肯定会拉暴他们,不让我们一起玩,只能自己玩。 二、方案 1.redis 获取数据段,程序内部自增。 问题:要用外部redis麻烦,而且要持久化 ...2018-03-08 17:31:42 · 1131 阅读 · 0 评论