![](https://img-blog.csdnimg.cn/20190702223947437.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
大数据基础
大数据平台基础搭建
郝大侠001
一只程序猿!
展开
-
Mapreduce踩坑
1.先把4个配置文件导入src下 2.把hadoop的4类jar包导入 3.如果使用java调试跑hadoop数据 需要注意权限! public static void main(String[] args) throws Exception { System.setProperty("HADOOP_USER_NAME", "root"); //设置权限 Configuration ...原创 2019-04-04 15:45:39 · 400 阅读 · 0 评论 -
hdfs-javaAPI
1.新建普通java项目 2.导入hadoop包 导包步骤 3.导入两个核心配置文件 注意hdfs-site.xml文件中配置权限信息,否则一会容易发生权限不够,拒绝写入。 4.编写从hdfs读取数据和上传数据 public static void main(String[] args) throws Exception { Configuration conf = new Confi...原创 2019-03-20 15:22:50 · 229 阅读 · 0 评论 -
hadoop集群单点故障排除方案
sbin/hadoop-daemon.sh start namenode sbin/hadoop-daemon.sh start datanode sbin/yarn-daemon.sh start resourcemanager sbin/yarn-daemon.sh start nodemanager转载 2019-03-18 20:40:50 · 332 阅读 · 0 评论 -
hive安装及踩坑
1.解压安装Hive 2.安装并配置mysql`` 参考这篇文章 https://blog.csdn.net/jmkmlm123456/article/details/84583263 在mysql下创建hadoop用户,root不允许外连。 3.配置 Hive 进入 hive 安装目录下的配置目录,然后修改配置文件: [zkpk@master ~]$ cd /home/zkpk/apache-...原创 2019-03-18 18:45:57 · 322 阅读 · 0 评论 -
mysql安装
安装 1、通过 yum 命令安装 可以先通过 yum list |grep mysql 方式查看有哪些版本的 mysql #yum install mysql-server mysql-devel mysql #service mysql start/service mysql stop #mysqladmin -u root password 123456 #show variables li...原创 2018-11-28 14:07:08 · 153 阅读 · 0 评论 -
outputFormat
MapReduce原创 2018-08-14 09:24:51 · 1408 阅读 · 0 评论 -
InputFormat
1 概述 Hadoop内置的输入文件格式类有: 1)FileInputFormat原创 2018-08-14 09:23:56 · 327 阅读 · 0 评论 -
Yarn架构
hadoop 现在的架构原创 2018-08-14 09:20:12 · 173 阅读 · 0 评论 -
MRv1架构
MR是指MangerResource原创 2018-08-14 08:23:47 · 641 阅读 · 0 评论 -
hadoop fs
hadoop shell非常轻量的封装在HDFS FileSystem API之上。在执行hadoop命令时,如果穿进去的是fs,实际上执行的是org.apache.hadoop.fs.FsShell 这个类。 在0.20.2版本中FsShell实例化了一个org.apache.hadoop.fs.FileSystem 对象,并且将命令行参数与类方法映射起来。比如,执行hadoop fs –mk...原创 2018-08-13 21:07:29 · 575 阅读 · 0 评论 -
hadoop脚本分析
目录/opt/soft/hadoop/sbin可设置为变量path 1.start.all.sh: a.hadoop-config.sh b.start-dfs.sh 1)libexec/hadoop-config.sh 2)sbin/hadoop-daemons.sh --config .. --hostname .. st...原创 2018-08-12 17:24:03 · 231 阅读 · 0 评论 -
MapReduce思维导图
源码详见:github:图片中例子源码原创 2018-08-03 11:15:18 · 1263 阅读 · 0 评论 -
MapReduce经典案例wordcount
Driver package MapReducer.wordcount; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Job; import org...原创 2018-07-28 20:25:23 · 585 阅读 · 0 评论 -
hadoop错误_WARN util.NativeCodeLoader
1、下载hadoop-native-64-2.6.0.tar 2、解压安装即可 cd /opt/soft/hadoop-2.6.0-cdh5.5.0/lib/native rm -rf * tar -vxf hadoop-native-64-2.6.0.tar原创 2018-07-25 21:50:52 · 487 阅读 · 0 评论 -
Hdfs四大原理
Hdfs运行原理 分布式存储数据。文件 节点 数据块! HDFS的主节点,主要有两大作用: 一是管理文件目录结构:一块元数据是文件与数据块之间的信息 /opt/workspace/hadoop/hdfs/name/current —hads-defaults.xml 静止持久化存储在磁盘上,通过fsimage edits文件维护 fsimage:目录和数据快信息以及edits的操...原创 2018-07-25 21:42:05 · 1781 阅读 · 0 评论 -
hadoop流_读取_追删
读取流 @Test public void run2() throws IOException{//写入数据 Configuration conf = new Configuration(); FileSystem fs = null; BufferedWriter bufferedWriter =null; try {...原创 2018-07-25 20:27:13 · 203 阅读 · 0 评论 -
hadoop中java占用cpu如何解决
1.top命令检查下cpu占用情况,如果有java进程占用大量cpu,kill -9 pid 2.检查linux系统 /tmp,/var/tmp,将异常文件删掉,留下java,将java进程x权限去掉,chmod a-x java 3.检查定时器,crontab -l ,删掉可疑定时器任务, 4.删掉集群中,带有dr.who的所有application作业 5.在yarn-site.xm...原创 2018-07-25 14:44:15 · 722 阅读 · 0 评论 -
hadoop常用命令
hadoop命令 hadoop fs -lsr <args> hadoop fs -moveFromLocal <src> <dest> hadoop fs -mv URI [URI …] <dest> hadoop fs -put <localsrc> ... &lt原创 2018-07-25 11:51:44 · 150 阅读 · 0 评论 -
shell
expect自动登录操作 #!/usr/bin/expect set ip [lindex $argv 0] set username [lindex $argv 1] set passwd [lindex $argv 2] set cmd [lindex $argv 3] spawn ssh ${username}@${ip} expect { "(yes/no)" {send ...原创 2018-07-22 08:21:03 · 159 阅读 · 0 评论