![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
文章平均质量分 56
fyihdg
这个作者很懒,什么都没留下…
展开
-
安装hadoop后免登陆步骤
修改sshd的配置文件(root权限)vi /etc/ssh/sshd_config找到以下内容,并去掉注释符“#”按shift :,wq退出保存重启sshd服务(root权限)/sbin/service sshd restart生成公钥和私钥,ssh-keygen -t rsa一直按回车,id_rsa: 私钥id_rsa.pub:公钥,进入.ssh文件夹,把公钥导入到认证文件,cat id_rs......原创 2018-07-15 23:28:50 · 359 阅读 · 0 评论 -
hadoop-2.7.3的安装
安装过程讲解:. 上传jdk和hadoop2.7.3. 使用普通用户登陆,在home目录下创建bd文件夹(非必需). 分别解压jdk和hadoop2.7.3,并测试. 配置普通用户的环境变量,.bashrc(也可以直接在etc/profile进行配置). 测试echo $JAVA_HOME-安装过程讲解: 修改配置5个配置文件 hadoop-env.sh core......原创 2018-09-02 18:09:46 · 3107 阅读 · 1 评论 -
Hadoop数据入库系统Sqoop原理架构
Hadoop数据入库系统Sqoop原理架构Sqoop:SQL-to-Hadoop 连接传统关系型数据库和Hadoop的桥梁 把关系型数据库的数据导入到 Hadoop 系统 ( 如 HDFS、HBase 和 Hive) 中; 把数据从 Hadoop 系统里抽取并导出到关系型数据库里。 利用MapReduce 批处理方式进行数据传输sqo......原创 2018-09-02 18:23:08 · 727 阅读 · 0 评论 -
-hbase分布式安装和基本命令使用,hbase-1.2.3-bin.tar.gz
版本:hbase-1.2.3-bin.tar.gz网址:hbase.apache.org版本:hbase-1.2.3.tar.gz 修改hbase-env.sh,需要修改三个地方 配置JAVA_HOME 配置CLASSPATH 配置hbase的zookeeper修改hbase-site.xml,需要修改两个地方 ......原创 2018-09-02 18:27:17 · 2087 阅读 · 0 评论 -
hive搭建和基本使用
Hive是什么?由facebook开源,最初用于解决海量结构化的日志数据统计问题; ETL (Extraction-Transformation-Loading )工具 构建在Hadoop之上的数据仓库; 数据计算使用MR ,数据存储使用HDFS Hive 定义了一种类 SQL 查询语言——HQL; 类似SQL , 但不完全相同 通常用于进.........原创 2018-09-02 18:36:05 · 866 阅读 · 0 评论