- 博客(16)
- 收藏
- 关注
RSS订阅原创 client 操作hdfs log4j
log4j.rootLogger=INFO, stdout log4j.appender.stdout=org.apache.log4j.ConsoleAppender log4j.appender.stdout.layout=org.apache.log4j.PatternLayout log4j.appender.stdout.layout.ConversionPattern...
2019-07-18 11:07:48
301
原创 client 通过io操作hdfs 文件上传下载
package com.zbb.hdfs; import java.io.File; import java.io.FileInputStream; import java.io.FileOutputStream; import java.io.IOException; import java.net.URI; import java.net.URISyntaxException; impor...
2019-07-18 10:55:53
647
原创 client 操作hdfs
1.构建环境 去除编译文件share目录下所有xxxsources.jar和xxxtests.jar，将剩下的jar copy到eclispe中 2.配置hadoop环境变量 注：测试hadoop-version报错，jdk为默认路径下，需修改hadoop-env.cmd下 set JAVA_HOME=C:\PROGRA~1\Java\jdk1.8...
2019-07-18 10:53:23
3473
原创 Hadoop编译源码
1.准备一台客户机，安装centos 2.配置jdk，客户机需要联网 3.jar 包准备(hadoop 源码、JDK7 、 maven、 ant 、protobuf) （1）hadoop-2.7.2-src.tar.gz （2）jdk-7u79-linux-x64.gz （3）apache-ant-1.9.9-bin.tar.gz （4）apache-maven-3.0.5-bin.t...
2019-07-16 20:47:39
145
原创 完全分布式 hadoop
hadoop完全分布式需要准备3台以上客户机，三台客户机必须具有ssh无密登录，3台客户机均安装jdk和hadoop的环境变量。 1.复制客户机上以前的hadoop伪分布式运行的hadoop相关文件 采用命令：scp-r 初始文件名 root@主机名：复制文件路径 2.配置ssh无密登录 1）生成当前用户和root的公钥和私钥（需切换用户） 命令：ssh K...
2019-07-16 09:53:19
197
原创 伪分布式YARN 上运行 MapReduce 程序
1.yran的概念 Apache Hadoop YARN （Yet Another Resource Negotiator，另一种资源协调者）是一种新的 Hadoop 资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。 YARN的基本思想是将JobTracker的两个主要功能（资源管理和作业调度/监控...
2019-07-14 13:46:42
377
原创 伪分布式运行 Hadoop
1.修改etc/hadoop目录下hadoop-env.sh export JAVA_HOME=/opt/module/jdk1.8.0_122 2.修改同样目录下core-site.xml，增加配置 <!-- 指定 HDFS 中 NameNode 的地址 --> <property> <name>fs.default...
2019-07-13 20:22:48
413
原创 hadoop 官方 wordcount例子运行
1.在hadoop目录下新建wcinput目录 命令：mkdir wcinput 2.在wcinput 中新建 wc.input 文件 命令：touch wc.input 3.打开wc.input输入任意值 命令：vim wc.input 输入后值为下图 4.输入启动命令：bin/hadoop jar share/hadoop/mapreduce/hadoop-...
2019-07-13 14:21:23
1122
1
原创 linux java配置环境变量
在linux中输入命令：vim /etc/profile 在末尾加入 export JAVA_HOME=/usr/java/jdk1.8.0_201 export PATH=$JAVA_HOME/bin:$PATH export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar export 声明一个环境变量，获取条件变量命令为...
2019-07-13 13:24:27
106
原创 mysql2059解决办法
使用cmd登录mysql use mysql; select user,plugin from user where user='root';查看当前用户加密方式 ALTER USER 'root'@'localhost' IDENTIFIED BY 'password' PASSWORD EXPIRE NEVER; #修改加密规则 ALTER USER 'root'@'localhos...
2019-07-13 13:18:54
530
原创 docker安装及命令
检查内核：uname -r docker默认支持内核3.10版本及以上，centos7 如为低版本：yum update 安装docker yum install docker 启动docker systemctl start docker 检查docker版本：docker -v Docker开机自启动：systemctl enable docker Docker 停止线程：sy...
2019-07-13 13:16:44
72
原创 HADOOP grep案例
1.HADOOP运行模式可分为三种： （1）本地模式（默认模式）： 不需要启用单独进程，直接可以运行，测试和开发时使用。 （2）伪分布式模式： 等同于完全分布式，只有一个节点。 （3）完全分布式模式： 多个节点一起运行。 2.官方grep模式运行实例 （1）创建input目...
2019-07-13 13:08:25
5463
4
原创 浅谈spring AppcationContext和BeanFactory创建容器的不同
AppcationContext 和BeanFactory创建spring容器的区别主要体现在bean创建时间的不同，AppcationContext采用的是创建上下文的方式，代码主要为 ApplicationContext context = new ClassPathXmlApplicationContext("applicationContext.xml"); 采用这种方式创建spring...
2018-08-28 22:56:54
1157
原创 spring的创建
本文才用idear 2018 环境为jdk1.8，idea作为一个开发工具，里面集成了非常多的模块，本文主要讲解spring的创建，spring容器加载时间 首先选择模块或工程 然后选择spring，选择jdk，选择springjar，选择自动生成一个appcationContext.xml,选择工程的jar下载方式 点击next，输入模块名等。。。 这样将会得到一个spri...
2018-08-28 22:06:14
308
原创 java的三大特性
面向对象的编程语言有封装，继承和多态。 封装是保证软件部件具有优良的模块性的基础，封装的主要作用是实现软件部位的“高内聚，低耦合”，防止程序相互依赖而带来的影响，封装主要是将对象的方法和属性封装到一个模块中，将这个模块中的属性私有化，只有这个类的方法和属性才能访问这个类的属性，这就基本实现了类的封装。封装分为封和装的两个步骤，装即将对象的属性和方法封装到一个类中，封即将对象的属性私有化，并且提供...
2018-08-27 21:33:39
5617
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人