![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
文章平均质量分 56
安伦_Alan
随身笔记
展开
-
十八款Hadoop工具帮你驯服大数据
Hadoop业界正在迅速发展,从业企业拿出的解决方案也多种多样,其中包括提供技术支持、在托管集群中提供按时租用服务、为这套开源核心开发先进的功能强化或者将自有工具添加到方案组合当中。在今天的文章中,我们将一同了解当下Hadoop生态系统当中那些最为突出的杰作。总体而言,这是一套由众多工具及代码构成的坚实基础、共同聚集在"Hadoop"这面象征着希望的大旗之下。Hadoop转载 2015-08-11 16:47:19 · 545 阅读 · 0 评论 -
hadoop一些常见的案例(更新中)
案例1:新增节点,新节点没有任何数据,但是旧节点已经存储了很多数据,那么,怎么把旧节点的数据移动到新节点呢?数据块重分布sbin/start-balancer.sh -threshold percentage of disk capacityHDFS达到平衡状态的磁盘使用率偏差值值越低各节点越平衡,但消耗时间也更长这是一个进程,启动之后他就会在后台不停的扫描,从而进行负原创 2015-09-07 17:16:55 · 720 阅读 · 0 评论 -
hive之HQL用法案例
建库:hive> CREATE DATABASE IF NOT EXISTS mydb;建表:Hive默认分隔符:\n 记录间的分割符,默认一行一条记录^A (“control” A) 列分隔符,通常写成“\001”^B ARRAY或原创 2015-09-16 16:08:18 · 739 阅读 · 0 评论 -
sqoop工具使用大全
=====================================================一、将数据从关系型数据库导入Hadoop中=====================================================1、Sqoop import使用sqoop import \--connect jdbc:mysql://mysql.ex原创 2015-09-17 16:23:48 · 769 阅读 · 0 评论 -
hadoop2.0单机部署(配置文件)
=====================================================主要配置一下几个配置文件=====================================================1.core-site.xml fs.default.name hdfs://YARN001:8020原创 2015-10-09 14:30:49 · 454 阅读 · 0 评论 -
大数据/数据挖掘/推荐系统/机器学习相关资源
书籍各种书~各种ppt~更新中~ http://pan.baidu.com/s/1EaLnZ机器学习经典书籍小结 http://www.cnblogs.com/snake-hand/archive/2013/06/10/3131145.html机器学习&深度学习经典资料汇总 http://www.thebigdata.cn/JiShuBoKe/13299.htm转载 2015-12-28 13:55:21 · 2280 阅读 · 0 评论 -
大数据学习路线
===============================================================学习大数据,一步一个脚印 1 2 3 走起来!!!===============================================================一、Hadoop入门,了解什么是Hadoop1、Hadoop产生背景原创 2015-12-17 18:45:52 · 514 阅读 · 0 评论 -
hadoop2.5.0-cdh5.3.3 伪分布式安装(mysql、hive、sqoop)
一、准备一台机器(我的是centos 6.7 64位)-----------------------------------------------------------------------------------------------------------主机名和ip地址映射:[hadoop@hadoop ~]$ cat /etc/hosts127.0.0.1原创 2016-01-19 12:03:47 · 1436 阅读 · 0 评论 -
MapReduce任务参数调优(转)
http://blog.javachen.com/2014/06/24/tuning-in-mapreduce/本文主要记录Hadoop 2.x版本中MapReduce参数调优,不涉及Yarn的调优。Hadoop的默认配置文件(以cdh5.0.1为例):core-default.xmlhdfs-default.xmlmapred-default.xml说明:在had转载 2016-01-22 14:51:19 · 658 阅读 · 0 评论 -
HDFS HA+Federation的部署(多机)-配置文件
配置文件具体内容:1、hadoop-env.sh# Copyright 2011 The Apache Software Foundation# # Licensed to the Apache Software Foundation (ASF) under one# or more contributor license agreements. See the NOTICE原创 2015-09-06 15:04:21 · 735 阅读 · 0 评论 -
hadoop上作业执行方法
脚本:例1:#!/bin/bashHADOOP_HOME=/home/alan/hadoop/hadoop-0.20.2-cdh3u6${HADOOP_HOME}/bin/hadoop jar\ ${HADOOP_HOME}/contrib/streaming/hadoop-streaming-0.20.2-cdh3u6.jar\ -files wc_原创 2015-09-07 13:44:18 · 561 阅读 · 1 评论 -
ubuntu 安装hadoop_cdh5.4.1步骤
1、配置ip并修改主机名sudo vi /etc/hostname2、主机名解析sudo vi /etc/hostsscp hosts hadoop@datanode1:/etcscp hosts hadoop@datanode2:/etcscp hosts hadoop@datanode3:/etc3、关闭防火墙sudo ufw disable4、免密原创 2015-09-06 17:29:53 · 732 阅读 · 0 评论 -
Hadoop学习笔记
# hadoop前言# Hadoop试验集群的部署结构# 系统和组建的依赖关系 # 生产环境的部署结构# Day1 搭建伪分布实验环境# 准备软件# vmare 9.0.2# 操作系统 CentOS 6.4# jdk-6u45-linux-i586.bin# hadoop-1.1.2.tar.gz# 开始搭建环境一 (基础环境)# 在虚拟转载 2015-08-28 16:39:00 · 2353 阅读 · 0 评论 -
sqoop导入数据到关系型数据库到hive
Sqoop 是 apache 下用于 RDBMS 和 HDFS 互相导数据的工具。本文以 mysql 数据库为例,实现关系数据库导入到 hdfs 和 hive。1. 安装 Sqoop使用 rpm 安装即可。yum install sqoop sqoop-metastore -y安装完之后需要下载 mysql jar 包到 sqoop 的 lib 目录。这里使用 h转载 2015-08-27 10:53:02 · 2422 阅读 · 0 评论 -
部署hadoop集群需要配置的文件
一、修改主机名:vi /etc/sysconfig/networkNETWORKING=yesNETWORKING_IPV6=yesHOSTNAME=hadoop二、修改主机名解析配置文件:vi /etc/hosts# Do not remove the following line, or various programs# that require network原创 2015-08-31 17:28:35 · 505 阅读 · 0 评论 -
hadoop新增节点配置步骤
新加datanode的安装步骤:1、ssh无密码配置和上面详细步骤一样,在新datanode上的/root 上建一个/.ssh的目录,把namenode的authorized_keys复制到新datanode的/.ssh目录上。在namenode上ssh验证一下是否需要密码。2修改机器名,和上面详细步骤一样。记得重启一下。3建/usr/program这个目录,把jdk的安装文件放进去,原创 2015-08-31 16:50:13 · 715 阅读 · 0 评论 -
Hadoop环境部署(单节点和集群)
1、单节点环境搭建步骤:http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html2、集群环境搭建步骤:http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/ClusterSe原创 2015-08-31 13:34:50 · 706 阅读 · 0 评论 -
Hadoop 2.0生产环境(多机)搭建方法
步骤1:将安装包hadoop-2.2.0.tar.gz存放到某一目录下,并解压;步骤2:修改解压后的目录中的文件夹etc/hadoop下的xml配置文件(如果文件不存在,则自己创建),包括hadoop-env.sh、mapred-site.xml、core-site.xml、hdfs-site.xml和yarn-site.xml;步骤3:格式化并启动HDFS;步骤4:启动YARN。转载 2015-09-01 14:24:25 · 767 阅读 · 0 评论 -
Hadoop2+HA+YARN环境搭建
一、前期准备四台机子,配置如下:[root@datanode1 usr]# cat /etc/hosts# Do not remove the following line, or various programs# that require network functionality will fail.127.0.0.1 localhost.loca原创 2015-09-02 14:23:13 · 580 阅读 · 0 评论 -
YARN资源管理和调度简介
1、运行在YARN上的MapReduce应用程序2、运行在YARN上的Storm应用程序3、YARN应用程序基本构成①客户端 :主要作用是提供一系列访问接口供用户与YARN交互,包括提交Application、查询Application运行状态,修改Application属性(比如优先级)等。②ApplicationMaster: 向ResourceMana原创 2015-09-09 13:58:52 · 1787 阅读 · 0 评论 -
HDFS HA部署(多机)——配置文件
配置文件内容:1、hadoop-env.sh# Copyright 2011 The Apache Software Foundation# # Licensed to the Apache Software Foundation (ASF) under one# or more contributor license agreements. See the NOTICE f原创 2015-09-06 14:14:31 · 547 阅读 · 0 评论