关注
分享
尔东西南北
梦想从我有自主意识时始，于我垂垂老矣时终！
谁说一个满是浪漫情怀的女子不能搞IT?夜晚我的思绪在浪漫的晚风中飘荡，白天我的十指在ABCD键盘中切换，从对编程一无所知，到了解java,熟悉框架，到现在的大数据，我想做的就一定能做到！我将继续努力，追逐梦想。
展开
-
Azkaban3X的编译安装与使用（确定可用）--提供已经编译好的工具供大家使用
一、Azkaban3X的编译及安装使用（我这里配置的是two servermode模式，exec-server与web-server在不同进程中，在同一台server中）1.先检查下网络是否畅通：ping www.baidu.com 测试一下，mysql是否已经安装好并启动了，并在mysql中为azkaban创建一个数据库，就叫azkaban好了。2.安装git工具 ：原创 2018-01-30 23:13:40 · 1002 阅读 · 0 评论 -
使用Eclipse搭建Hadoop编程环境
在前人的基础上，进行总结学习，发现bug，修改bug。系统平台：Ubuntu14.04TLS（64位）Hadoop环境：Hadoop2.7.1Eclipse：Neon.2 Release(4.6.2)Eclipse插件：hadoop-eclipse-plugin-2.7.1.jar一.编译环境搭建1.在eclipse上安装Hadoop插件把下载好的had转载 2018-02-01 21:08:07 · 484 阅读 · 0 评论 -
MapReduce运用之粉丝互粉
项目名称：粉丝互粉项目说明：如下所示，分别给出微博用户信息和其粉丝信息，如第一行：“：”左边的代表用户A，右边是关注A的粉丝。用户和粉丝之间是单向关系，也即E是A的粉丝，但是A不一定是E的粉丝。项目需求：用mapreduce找出两两之间有共同粉丝的用户对，及他俩的共同好友。如：A-B C,E A:B,C,D,F,E,O B:A,C,原创 2018-02-03 11:36:15 · 678 阅读 · 0 评论 -
Centos6.5下更简便的安装HIVE
1、下载Hive安装包http://hive.apache.org/downloads.html2、将hive文件上传到HADOOP集群，并解压将文件上传到：/export/software tar -zxvf apache-hive-1.2.1-bin.tar.gz -C /export/servers/ cd /export/servers/ ln -s apac原创 2018-01-20 08:11:22 · 399 阅读 · 0 评论 -
简述Centos7下HIVE的安装（mysql数据库）
1.安装1.7及其以上的jdk版本； 2.安装mysql(mysql和hive可以安装在不同的机器上)，其实Centos里是有内置的mysql的，如果对于rpm安装不熟悉的人，可以直接yum安装内置的mysql yum install mysql-server 安装mysql的服务端 yum install mysql原创 2018-01-20 21:02:45 · 1662 阅读 · 2 评论 -
Yarn各组件详细原理
运行在独立的节点上的ResourceManager和NodeManager一起组成了yarn的核心，构建了整个平台。ApplicationMaster和相应的container一起组成了一个Yarn的应用系统。 ResourceManager提供应用程序的调度，每个应用程序由一个ApplicationMaster管理，以Container的形式请求每个任务的计算资源。Container由Res...转载 2018-03-07 21:41:20 · 1117 阅读 · 0 评论