- 博客(7)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 MapReduce3种运行方式
MapReduce运行 3 种方式：一、本地方式运行：1、pc环境： 1.1、将Hadoop安装本地解压 1.2、配置Hadoop的环境变量 添加%HADOOP_HOME% 修改%PATH% 添加%HADOOP_HOME%/bin;%HADOOP_HOME%/sbin 1.3、在解压的Hadoop的bin目录下 添加winutils...
2018-07-26 11:33:48
1235
原创 Hive总结
一、启动hive --service metastore 端口检查：ss -nal 9083端口 hiveserver2 端口检查 10000hive 数据：11,zhangsan12,daqiu-kanshu-kandingyi,beijing:tiananmeng-shanghai:pudong-shen...
2018-07-26 11:18:26
489
转载 Centos6.5下本地yum源及局域网yum源配置
Centos6.5下本地yum源及局域网yum源配置FTP方式的局域网yum源配置配置ftp方式的局域网yum源：本地yum源+ftp方式搭建环境：vmwarecentos6.5yum源仓库的rmp包源来自取自CentOS-6.5-x86_64-bin-DVD1.iso一、配置本地系统镜像yum源1.将CentOS-6.5-x86_64-bin-DVD1.iso文件...
2018-07-25 09:51:34
2249
1
原创 Hive 远程多用户模式搭建
在master和worker1上实现远程多用户模式搭建，mysql安装配置及hadoop配置工作在本站其他博客可见。服务端： <configuration> <property> <name>hive.metastore.warehouse.dir</name> <value>/user/hive/wareh...
2018-07-23 10:42:55
534
原创 hadoop2.x Yarn HA搭建
1.在worker1和worker2上配置resourcemanager和nodemanager，resourcemanager一主一备，所以配置这两台机器免密钥登录，前面已经配置过，不再赘述。 2.先拷贝一份mapred-site.xml，配置mapreduce使用yarn框架[hadoop@master hadoop]$ vim mapred-site.xml<con...
2018-07-17 13:49:20
413
原创 Hadoop HA搭建及检验
1.备份原来的完全分布式集群[hadoop@master etc]$ cp hadoop hadoop-full[hadoop@master etc]$ lshadoop hadoop-full2.第一台机器和第二台机器的双向ssh免密钥登录（hadoop搭建已经配好） 3.修改hdfs-site.xml&lt;configuration&gt; 19 &lt;pr...
2018-07-16 14:52:26
779
转载 Hbase中rowkey设计技巧
一、Hbase中的每条记录的结构Hbase的表组成：一个表可以理解成是行的集合，行（记录）是列族的集合，列族是列的集合。(1) 列族column family：它是column的集合，在创建表的时候就指定，不能频繁修改。值得注意的是，列族的数量越少越好，因为过多的列族相互之间会影响，生产环境中的列族一般是一个到两个。数据的持久化文件HFile中是按照Key-Value存储的，同一个列族...
2018-07-10 14:55:26
1412
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人