![](https://img-blog.csdnimg.cn/20190918140158853.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
大数据
文章平均质量分 51
大数据组件相关
FB1024
这个作者很懒,什么都没留下…
展开
-
虚拟机和Unbutun系统安装
1.VirtualBox安装 下载地址:https://www.virtualbox.org/wiki/Downloads 选择要安装的版本,按正常软件一路安装即可 设置VirtualBox存储文件夹 打开软件,点击管理->全局设定->常规->选择自己在本地新建的用于存储虚拟机的文件夹 2. 在VirtualBox上安装虚拟机 点击“新建”按钮会弹出新建虚拟机电脑,然后为虚拟机命名,选择虚拟机类型和对应的版本。 设置虚拟...原创 2021-04-11 15:36:12 · 299 阅读 · 0 评论 -
Hive的JDBC接口
>>>在eclipse中使用JDBC连接Hive前需要开启Hive监听用户链接hive/bin/ext$ hive --service hiveserver>>>配置eclipse环境在pom.xml中添加hive包依赖<properties> <project.build.sourceEncoding>UTF...原创 2017-05-20 14:32:41 · 332 阅读 · 0 评论 -
Hive安装配置
Hive安装(apache-hive-0.13.1-bin.tar.gz): 1.vi hive-env.sh 48 HADOOP_HOME=/usr/local/hadoop 51 export HIVE_CONF_DIR=/usr/local/hive/conf 2.在hdfs中添加目录[root@master hadoop]#hdfs dfs -mkd...原创 2017-04-12 16:00:52 · 116 阅读 · 0 评论 -
HBase集群环境安装
参考 http://blog.csdn.net/M_SIGNALs/article/details/52948867 >>>hive与hbase集成(https://cwiki.apache.org/confluence/display/Hive/HBaseIntegration)hive/lib/ hbase/lib1.查看guava-12.0.1.ja...原创 2017-05-31 14:17:33 · 101 阅读 · 0 评论 -
Hadoop-MapReduce
MapReduce中Shuffle过程:原理参考 :http://weixiaolu.iteye.com/blog/1474172 数据类型:1.数据类型都实现Writable接口,以便这些类型定义的数据可以被序列化进行网络传输和文件存储。2.基本数据类型 BooleanWritable、ByteWritable、DoubleWritable Flo...原创 2017-04-05 20:06:54 · 76 阅读 · 0 评论 -
Hadoop-HA
Hadoop 2.0 HA高可用集群配置详解 http://blog.csdn.net/carl810224/article/details/52160418原创 2017-04-06 16:04:02 · 81 阅读 · 0 评论 -
Hadoop—集群环境搭建
一、基础配置1、服务器分布及服务器名称192.168.1.1 主名字节点 master192.168.1.2 数据节点1 slave1192.168.1.3 数据节点2 slave2临时更改hostname的命令是(root权限):hostname <newname>永久更改需要修改配置文件/etc/sysconfig/network。HOSTNAME=ma...原创 2017-04-06 19:59:19 · 72 阅读 · 0 评论 -
hadoop-2.5.0-cdh5.3.6+snappy源代码的编译
参考 http://blog.sina.com.cn/s/blog_97b4973a0102wmgk.html#commonComment 其中:添加一个是Maven中心仓库,和一个Cloudera 仓库 在maven安装目录下中settings.xml 文件中添加,我的是:/usr/local/apache-maven-3.5.0/conf/settings.xml &...原创 2017-05-18 14:39:57 · 158 阅读 · 0 评论 -
MapReduce框架详解
Hadoop学习笔记:MapReduce框架详解http://blog.jobbole.com/84089/原创 2017-06-16 16:14:20 · 118 阅读 · 0 评论