Hadoop
文章平均质量分 74
Hadoop相关
Jenrey
这个作者很懒,什么都没留下…
展开
-
大数据相关开源项目汇总
调度与管理服务**Azkaban **是一款基于Java编写的任务调度系统任务调度,来自LinkedIn公司,用于管理他们的Hadoop批处理工作流。Azkaban根据工作的依赖性进行排序,提供友好的Web用户界面来维护和跟踪用户的工作流程。**YARN **是一种新的Hadoop资源管理器,它是一个通用资源管理系统,可为上层应用提供统一的资源管理和调度,解决了旧MapReduce框架的性...原创 2018-12-06 15:25:41 · 2475 阅读 · 0 评论 -
推荐系统入门
1. 推荐系统是什么?推荐系统又叫个性化推荐系统,它会基于用户行为数据或物品数据,通过一定的算法,为用户推荐符合他需求的物品。试想一下这样的场景,我们有一个电商网站,有数千万种商品。有一天,进来了三个客人,A是电子产品发烧友,B是化妆品爱好者,C超级爱买书。他们想买一些符合自己喜好的商品,但是看到密密麻麻的分类列表,大脑有点转不过来。我们呢,想最快的把商品推到他们眼前,最好能让他们第一眼就...原创 2018-10-12 16:09:10 · 537 阅读 · 0 评论 -
大数据面试题以及答案整理(一)
kafka的message包括哪些信息 一个Kafka的Message由一个固定长度的header和一个变长的消息体body组成 header部分由一个字节的magic(文件格式)和四个字节的CRC32(用于判断body消息体是否正常)构成。当magic的值为1的时候,会在magic和crc32之间多一个字节的数据:attributes(保存一些相关属性,比如是否压缩、压缩格式等等...原创 2018-09-30 10:01:26 · 1520 阅读 · 0 评论 -
使用log4j.properties解决MR和Spark控制台爆红的问题(不影响代码实现)
1.能解决以下问题spark程序运行时候如下所示效果MR车灯徐运行时如下所示效果2.解决办法新建一个log4j.properties文件复制下面的代码## # Licensed to the Apache Software Foundation (ASF) under one# or more contributor license agreements. ...原创 2018-08-01 14:17:43 · 951 阅读 · 0 评论 -
两台笔记本电脑之间实现屏幕扩展
闲置的旧笔记拿来做扩展屏正合适。但是笔记本电脑屏幕没有采集口,两台笔记本不能直接用VGA或者HDMI线连接起来实现屏幕扩展。不过还是又免费软件实现这一功能的。两台笔记本,一台性能较好的为主机,另一台稍差的作为扩展屏机。查了知乎,提到了virtual managerhttp://virtualmonitor.github.io/,折腾了一番装不上去,仔细读了说明,才发现目前只支持win7 32位...原创 2018-07-26 16:03:59 · 39586 阅读 · 0 评论 -
大数据平台常用组件端口号
常见端口汇总:Hadoop: 50070:HDFS WEB UI端口 8020 : 高可用的HDFS RPC端口 9000 : 非高可用的HDFS RPC端口 8088 : Yarn 的WEB UI 接口 8485 : JournalNode 的RPC端口 8019 : ZKFC端口 19888:jobhistory WEB UI端口Zookeepe...原创 2018-06-17 17:02:05 · 3209 阅读 · 0 评论 -
大数据组件各种流程总结
1.hbase1.1 hbase的读数据流程: 读数据:(0.98版本以前,0.98及以后没有-ROOT-表)1、客户端通过 zookeeper 以及-root-表和.meta.表找到目标数据所在的 regionserver(就是数据所在的 region 的主机地址)2、联系 regionserver 查询目标数据3、 regionserver 定位到目标数据所在的 reg...原创 2018-06-10 20:31:58 · 4882 阅读 · 1 评论 -
hadoop的eclipse开发环境安装
配置eclipse可视化hadoop环境1.下载 hadoop-eclipse-plugin-2.7.5.jar 并解压 此文jar包的作用是配置hdfs在eclipse中的文档目录树可视化窗口,作用如下图 把hadoop-eclipse-plugin-2.7.5.jar放入到ECLIPSE_HOME/plugins中2.在window安装hadoop安装包,把hadoop-2...原创 2018-03-28 22:40:12 · 985 阅读 · 0 评论 -
eclipse下开发hadoop的jar包配置
1.进入我们的hadoop安装目录(hadoop-2.7.5-centos-6.7.tar.gz版本),里面有我们需要的jar包 G:\myProgram\hadoop-2.7.5\share\hadoop2.按照如图所示进行添加eclipse用户自己的jar包3.把下图红线内的所有jar都添加进eclipse中(以mapreduce为例)按照上图的操作把全部添加进去...原创 2018-03-28 21:52:19 · 4283 阅读 · 0 评论 -
hadoop的eclipse的使用安装
1.把插件名为 hadoop-eclipse-plugin-2.7.5.jar 放在ECLIPSE_HOME/plugins 目录下2.把 hadoop-2.7.5-centos-6.7.tar.gz 解压到本地电脑3.在本机配置windows环境变量 HADOOP_HOME=C:\myProgram\hadoop-2.7.5 必须要配置的。 path加入:%HADOOP_HOME%\bin;4...原创 2018-03-23 10:28:13 · 3183 阅读 · 0 评论 -
HDFS的shell常用命令大全
1.启动相关 启动zookeeper: zkServer.sh start 启动HDFS : 不管在集群中的那个节点都可以 start-dfs.sh 启动YARN : 只能在YARN主节点中进行启动 start-yarn.sh HDFS : http://hadoop02:50070 YARN : http://hadoop05:80...原创 2018-03-28 21:35:49 · 2947 阅读 · 0 评论 -
hadoop2.7.5搭建高可用集群
本文目的:搭建hadoop的高可用集群集群规划1.下载 hadoop-2.7.5-centos-6.7.tar.gz 安装包2.通过CRT软件上传到hadoop02号机器3.解压软件到apps目录下tar -zxvf hadoop-2.7.5-centos-6.7.tar.gz -C ~/apps/4.修改hadoop-env.sh 配置文件先查看jdk安装路径echo $JAVA_HOME vi...原创 2018-03-25 11:47:53 · 1948 阅读 · 1 评论 -
hadoop基础集群的安装
说明:该文章以4台centos系统为案例配置hadoop基础集群,节点名字分别为hadoop02,hadoop03,hadoop04,hadoop051.基础集群环境准备1.1修改主机名在root用户下:vi /etc/sysconfig/network或者如何配置了hadoop账户的sudo权限,则在hadoop登陆情况下使用命令 sudo vi/etc/sysconfig/network修改里...原创 2018-03-22 21:09:25 · 420 阅读 · 0 评论