![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 68
tour9566
这个作者很懒,什么都没留下…
展开
-
离线安装Cloudera Manager 5和CDH5 完全教程
1.关闭防火墙(所有节点) (省略) 2.关闭Selinux(所有节点) (省略) 3.安装依赖包(所有节点) [root@master ~]# yum install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse portmap fuse-libs r...原创 2019-04-05 13:14:40 · 257 阅读 · 0 评论 -
配置SSH免密登录
1 安装ssh(所有机器) 一般情况下,系统都自带有ssh,查看ssh是否安装命令:ssh -version, [root@master ~]# ssh -version 装SSH [root@master ~]# yum install ssh 启动SSH [root@master ~]# service sshd start 设置开机运行 [root@master ~]# chk...原创 2019-04-10 22:00:25 · 163 阅读 · 0 评论 -
CDH 安装spark2
一.安装准备 csd包:http://archive.cloudera.com/spark2/csd/ parcel包:http://archive.cloudera.com/spark2/parcels/2.3.0.cloudera2/ 二.开始安装 1.安装前可以停掉集群和Cloudera Management Service 2.下面的操作,只需要在安装spark2的机器上面进行,我只选择C...转载 2019-07-08 16:04:44 · 722 阅读 · 0 评论 -
连接hive图形界面和代码
1.sql developer(客户端) 下载Oracle SQL Developer(http://www.oracle.com/technetwork/developer-tools/sql-developer/downloads/index.html ) 2.Hive驱动程序 (1)下载驱动程序 https://www.cloudera.com/downloads/connectors/h...原创 2019-07-15 18:44:32 · 367 阅读 · 0 评论 -
数据迁移
数据迁移方案。 1.代码(从hive导入mysql)(数据量小,手动多开几个线程) 2.使用Kettle导入(数据级在十万,百万。千万级别kettle有优势)(通kettle配置转换规则,成.ktr文件,在java代码中调用,建立定时任务) 3.使用sqoop导入(适用大数据量亿级别)底层是MR ...原创 2019-07-12 11:42:09 · 82 阅读 · 0 评论