hadoop的学习
djd已经存在
······
展开
-
Hadoop的组成
如今Apache Hadoop已成为大数据行业发展背后的驱动力。Hive和Pig等技术也经常被提到,但是他们都有什么功能,为什么会需要奇怪的名字(如Oozie,ZooKeeper、Flume)。Hadoop带来了廉价的处理大数据(大数据的数据容量通常是10-100GB或更多,同时数据种类多种多样,包括结构化、非结构化等)的能力。但这与之前有什么不同?现今企业数据仓库和关系型数据库擅长处理结原创 2015-07-11 19:55:01 · 1591 阅读 · 1 评论 -
distcp指令并行拷贝大数据文件
您可以使用目标群集上的 distcp 工具启用复制作业以移动数据。在运行不同 CDH 版本的两个群集之间,运行 distcp 工具(hftp:// 作为源文件系统且 hdfs:// 作为目标文件系统)。它将 HFTP 协议用于源文件系统且 HDFS 协议用于目标文件系统。HFTP 的默认端口为 50070,HDFS 的默认端口为 8020。此外,还通过 s3:// 或 s3n:// 协议支持原创 2016-06-16 18:29:02 · 3521 阅读 · 0 评论 -
HDFS常用命令列表
一、appendToFile:将一个或多个目标文件append到hdfs文件中,目标文件可以为本地文件或者stdin。 使用方式:hdfs dfs -appendToFile 1) ./hdfs dfs -appendToFile /data.txt /hdfs/data.txt 2) ./hdfs dfs -appendToFile /data.tx原创 2016-06-02 21:17:24 · 2794 阅读 · 0 评论 -
hadoop 清空回收站
Hadoop回收站trash,默认是关闭的。 建议最好还是把它提前开开,否则误操作的时候,就。。。了1.修改conf/core-site.xml,增加property> name>fs.trash.intervalname> value>1440value> description>Number of minutes between trash checkpoints.原创 2016-05-27 11:44:58 · 2140 阅读 · 0 评论 -
hadoop2.5集群迁移namenode
我的hadoop集群是2.5.0的集群。 hadoop是机器不相关的,迁移namenode的话,可以按以下步骤迁移。 1、关闭所有hadoop集群、zookeeper、hive、hbase集群,设置hosts和ssh互信,调整服务器时间 2、拷贝hadoop的目录和相应的数据目录到新namenode主机,要保持新旧主机的目录一致。 3、修改$HADOOP_HOME/原创 2016-05-25 17:50:45 · 1250 阅读 · 0 评论 -
hadoop版本和位数的查看方法
目前针对apache hadoop更新的版本较多,由此而产生了两个方面的问题: 1、如何查看运行的集群当中的hadoop的版本的问题。 2、如何查看运行集群当中的hadoop的位数 下面详细的介绍一下 1、查看版本信息 通过在集群上执行:hadoopversion 命令可以查看对应的hadoop的版本。 2、查看hadoop集群的位数原创 2016-05-25 17:49:54 · 4507 阅读 · 0 评论 -
hadoop命令 -- job相关
hadoop命令行 与job相关的:命令行工具 • 1.查看 Job 信息:hadoop job -list 2.杀掉 Job: hadoop job –kill job_id3.指定路径下查看历史日志汇总:hadoop job -history output-dir 4.作业的更多细节: hadoop job -history all output-dir原创 2016-05-11 11:12:30 · 1448 阅读 · 0 评论 -
Hive学习路线图
前言Hive是Hadoop家族中一款数据仓库产品,Hive最大的特点就是提供了类SQL的语法,封装了底层的MapReduce过程,让有SQL基础的业务人员,也可以直接利用Hadoop进行大数据的操作。就是这一个点,解决了原数据分析人员对于大数据分析的瓶颈。让我们把Hive的环境构建起来,帮助非开发人员也能更好地了解大数据。目录Hive介绍Hive学习路线图原创 2016-04-12 16:18:55 · 1307 阅读 · 0 评论 -
解决root@localhost's password:localhost:permission denied,please try again
背景:在装完hadoop及jdk之后,在执行start-all.sh的时候出现 root@localhost's password:localhost:permission denied,please try again 可是,我记得当时设置的密码是对的,无论怎么输都不对,并且url中localhost:50030和localhost:50090是可以打开的原创 2016-03-20 00:17:03 · 19126 阅读 · 5 评论 -
在ubuntu中配置SSH(解决connect to host localhost port 22: Connection refused问题)
命令:ssh localhost错误信息:ssh: connect to host localhost port 22: Connection refused 错误原因:1.sshd 未安装2.sshd 未启动3.防火墙4需重新启动ssh 服务 解决方法:1.确定安装sshd: [html] view plain copy原创 2016-03-20 00:03:51 · 12557 阅读 · 2 评论 -
使用get指令将文件从HDFS复制到本地
get使用方法:Hadoop fs -get [-ignorecrc] [-crc] 复制文件到本地文件系统。可用-ignorecrc选项复制CRC校验失败的文件。使用-crc选项复制文件以及CRC信息。示例:hadoop fs -get /user/hadoop/file localfilehadoop fs -gethdfs://host:port/user/hadoo原创 2016-06-21 20:15:06 · 21163 阅读 · 0 评论