![](https://img-blog.csdnimg.cn/20190702223947437.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
大数据基础
大数据平台基础搭建
郝大侠001
一只程序猿!
展开
-
Mapreduce踩坑
1.先把4个配置文件导入src下2.把hadoop的4类jar包导入3.如果使用java调试跑hadoop数据需要注意权限!public static void main(String[] args) throws Exception { System.setProperty("HADOOP_USER_NAME", "root"); //设置权限 Configuration ...原创 2019-04-04 15:45:39 · 404 阅读 · 0 评论 -
hdfs-javaAPI
1.新建普通java项目2.导入hadoop包导包步骤3.导入两个核心配置文件注意hdfs-site.xml文件中配置权限信息,否则一会容易发生权限不够,拒绝写入。4.编写从hdfs读取数据和上传数据public static void main(String[] args) throws Exception { Configuration conf = new Confi...原创 2019-03-20 15:22:50 · 235 阅读 · 0 评论 -
hadoop集群单点故障排除方案
sbin/hadoop-daemon.sh start namenode sbin/hadoop-daemon.sh start datanode sbin/yarn-daemon.sh start resourcemanager sbin/yarn-daemon.sh start nodemanager转载 2019-03-18 20:40:50 · 333 阅读 · 0 评论 -
hive安装及踩坑
1.解压安装Hive2.安装并配置mysql``参考这篇文章https://blog.csdn.net/jmkmlm123456/article/details/84583263在mysql下创建hadoop用户,root不允许外连。3.配置 Hive进入 hive 安装目录下的配置目录,然后修改配置文件:[zkpk@master ~]$ cd /home/zkpk/apache-...原创 2019-03-18 18:45:57 · 326 阅读 · 0 评论 -
mysql安装
安装1、通过 yum 命令安装可以先通过 yum list |grep mysql 方式查看有哪些版本的 mysql#yum install mysql-server mysql-devel mysql#service mysql start/service mysql stop#mysqladmin -u root password 123456#show variables li...原创 2018-11-28 14:07:08 · 158 阅读 · 0 评论 -
outputFormat
MapReduce原创 2018-08-14 09:24:51 · 1415 阅读 · 0 评论 -
InputFormat
1 概述Hadoop内置的输入文件格式类有: 1)FileInputFormat原创 2018-08-14 09:23:56 · 328 阅读 · 0 评论 -
Yarn架构
hadoop 现在的架构原创 2018-08-14 09:20:12 · 177 阅读 · 0 评论 -
MRv1架构
MR是指MangerResource原创 2018-08-14 08:23:47 · 645 阅读 · 0 评论 -
hadoop fs
hadoop shell非常轻量的封装在HDFS FileSystem API之上。在执行hadoop命令时,如果穿进去的是fs,实际上执行的是org.apache.hadoop.fs.FsShell 这个类。在0.20.2版本中FsShell实例化了一个org.apache.hadoop.fs.FileSystem 对象,并且将命令行参数与类方法映射起来。比如,执行hadoop fs –mk...原创 2018-08-13 21:07:29 · 578 阅读 · 0 评论 -
hadoop脚本分析
目录/opt/soft/hadoop/sbin可设置为变量path1.start.all.sh: a.hadoop-config.sh b.start-dfs.sh 1)libexec/hadoop-config.sh 2)sbin/hadoop-daemons.sh --config .. --hostname .. st...原创 2018-08-12 17:24:03 · 237 阅读 · 0 评论 -
MapReduce思维导图
源码详见:github:图片中例子源码原创 2018-08-03 11:15:18 · 1271 阅读 · 0 评论 -
MapReduce经典案例wordcount
Driverpackage MapReducer.wordcount;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Job;import org...原创 2018-07-28 20:25:23 · 590 阅读 · 0 评论 -
hadoop错误_WARN util.NativeCodeLoader
1、下载hadoop-native-64-2.6.0.tar2、解压安装即可cd /opt/soft/hadoop-2.6.0-cdh5.5.0/lib/nativerm -rf *tar -vxf hadoop-native-64-2.6.0.tar原创 2018-07-25 21:50:52 · 491 阅读 · 0 评论 -
Hdfs四大原理
Hdfs运行原理分布式存储数据。文件 节点 数据块! HDFS的主节点,主要有两大作用: 一是管理文件目录结构:一块元数据是文件与数据块之间的信息 /opt/workspace/hadoop/hdfs/name/current —hads-defaults.xml 静止持久化存储在磁盘上,通过fsimage edits文件维护fsimage:目录和数据快信息以及edits的操...原创 2018-07-25 21:42:05 · 1789 阅读 · 0 评论 -
hadoop流_读取_追删
读取流@Test public void run2() throws IOException{//写入数据 Configuration conf = new Configuration(); FileSystem fs = null; BufferedWriter bufferedWriter =null; try {...原创 2018-07-25 20:27:13 · 207 阅读 · 0 评论 -
hadoop中java占用cpu如何解决
1.top命令检查下cpu占用情况,如果有java进程占用大量cpu,kill -9 pid 2.检查linux系统 /tmp,/var/tmp,将异常文件删掉,留下java,将java进程x权限去掉,chmod a-x java 3.检查定时器,crontab -l ,删掉可疑定时器任务, 4.删掉集群中,带有dr.who的所有application作业 5.在yarn-site.xm...原创 2018-07-25 14:44:15 · 729 阅读 · 0 评论 -
hadoop常用命令
hadoop命令hadoop fs -lsr <args>hadoop fs -moveFromLocal <src> <dest>hadoop fs -mv URI [URI …] <dest>hadoop fs -put <localsrc> ... &lt原创 2018-07-25 11:51:44 · 152 阅读 · 0 评论 -
shell
expect自动登录操作#!/usr/bin/expectset ip [lindex $argv 0]set username [lindex $argv 1]set passwd [lindex $argv 2]set cmd [lindex $argv 3]spawn ssh ${username}@${ip}expect { "(yes/no)" {send ...原创 2018-07-22 08:21:03 · 167 阅读 · 0 评论