- 博客(18)
- 收藏
- 关注
RSS订阅原创 Hadoop --- 入门之MapReduce示例
单词统计（WordCount）示例：1、定义一个Mapper类：import java.io.IOException;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache....
2018-10-19 15:24:57
573
原创 Hadoop --- 入门之HDFS的JAVA API操作
JAR准备：将hadoop-2.8.0中share目录下的jar包添加到工程中：common下的hadoop-common-2.8.0.jar common/lib下的所有jar hdfs下的hadoop-hdfs-2.8.0.jar hdfs/lib下的所有jar 示例：import java.io.FileInputStream;import java.io.Fil...
2018-10-16 16:35:24
609
转载 Hadoop --- 入门之HDFS命令
目录FS ShellcatchgrpchmodchowncopyFromLocalcopyToLocalcpdudusexpungegetgetmergelslsrmkdirmovefromLocalmvputrmrmrsetrepstattailtesttexttouchzhdfs d...
2018-10-16 13:56:37
908
转载 Hadoop --- 入门之简介
Hadoop概述Hadoop是一个用于分布式大数据处理的编程框架。同时它也是个大数据处理完整的生态系统，围绕着Hadoop，这个生态系统还包括但不限于：HBase Hive Pig Spark ZooKeeper希望本系列的写作能够坚持下去，对上述内容都有所涉及吧。 Hadoop能干什么假设老王在某不知名IT公司工作，由于最近太阳活动异常，引起了领导的外甥的读硕士的同...
2018-10-16 13:32:16
349
原创 Hadoop --- 入门之环境搭建
前期准备CentOS7版本的服务器4台：（IP地址可以根据自己服务器或虚拟机的IP地址更改）192.168.153.136 hadoop01192.168.153.137 hadoop02192.168.153.138 hadoop03192.168.153.139 hadoop04 Hadoop包：http://archive.apache.org/dist/hado...
2018-10-16 13:32:06
2045
转载 Hadoop --- 入门之配置参数
Hadoop参数汇总@(hadoop)[配置] linux参数以下参数最好优化一下：文件描述符ulimit -n 用户最大进程 nproc （hbase需要 hbse book） 关闭swap分区 设置合理的预读取缓冲区 Linux的内核的IO调度器 JVM参数JVM方面的优化项Hadoop Performance Tuning Guide Hadoo...
2018-10-16 11:59:36
683
转载 Linux --- SSH远程登陆配置sshd_config文件详解
ssh是linux远程登录的安全协议，是 C/S 模式的架构，配置文件分为服务器端配置文件 [/etc/ssh/sshd_config] 与客户端配置文件默认配置文件[/etc/ssh/ssh_config] 用户配置文件[~/.ssh/config] sshd_config 是服务端主配置文件。这个文件的宿主应当是root，权限最大可以是”644”# $OpenBSD: ss...
2018-10-12 16:36:38
11776
转载 CentOS7 --- 使用firewalld打开关闭防火墙与端口
1、firewalld的基本使用启动： systemctl start firewalld关闭： systemctl stop firewalld查看状态： systemctl status firewalld 开机禁用 ： systemctl disable firewalld开机启用 ： systemctl enable firewalld 2.systemct...
2018-10-12 15:51:00
276
原创 Java之JavaDoc标签
javadoc工具软件识别以下标签：标签 描述 示例 @author 标识一个类的作者 @author description @deprecated 指名一个过期的类或成员 @deprecated description {@docRoot} 指明当前文档根目录的路径 Directory Path @exception 标志...
2018-10-11 14:50:06
3232
原创 CentOS7 --- 免密登陆
机器准备主机： hadoop01从机： hadoop02从机： hadoop03从机： hadoop04关于主机名的修改请查看：https://blog.csdn.net/Ka_Ka314/article/details/82999194注意需要在每台机器上修改下/etc/hosts文件，添加4台机器对应的ip，如下：192.168.153.136 hadoop011...
2018-10-10 16:35:42
602
原创 CentOS7 --- 修改主机名
在CentOS7中，有三种定义的主机名:1、静态的（Static hostname）“静态”主机名也称为内核主机名，是系统在启动时从/etc/hostname自动初始化的主机名。2、瞬态的（Tansient hostname）“瞬态”主机名是在系统运行时临时分配的主机名，例如，通过DHCP或mDNS服务器分配。 3、灵活的（Pretty hostname）“灵活”主机名也...
2018-10-10 16:35:11
320
原创 Java之动态代理
ICommodity接口public interface ICommodity { int commodityPrice(String size);} ICommodity实现类Commodity动态代理就是在不改变该实现类的情况下增强该实现类的功能public class Commodity implements ICommodity{ @Override p...
2018-10-09 17:24:17
240
原创 Java之反射
import java.lang.reflect.Constructor;import java.lang.reflect.Field;import java.lang.reflect.Method;import java.util.ArrayList;import java.util.List;import org.junit.Before;import org.junit.Te...
2018-10-09 16:57:51
245
转载 Java线程池详解及四种线程池用法介绍
Executor框架是一种将线程的创建和执行分离的机制。它基于Executor和ExecutorService接口，及这两个接口的实现类ThreadPoolExecutor展开，Executor有一个内部线程池，并提供了将任务传递到池中线程以获得执行的方法，可传递的任务有如下两种：通过Runnable接口实现的任务和通过Callable接口实现的任务。在这两种情况下，只需要...
2018-10-09 15:51:22
878
原创 Zookeeper --- Java API简单实例
1、简单使用import java.util.List;import org.apache.zookeeper.CreateMode;import org.apache.zookeeper.WatchedEvent;import org.apache.zookeeper.Watcher;import org.apache.zookeeper.ZooDefs.Ids;import o...
2018-10-09 10:13:49
644
转载 Java并发编程之volatile关键字
volatile这个关键字可能很多朋友都听说过，或许也都用过。在Java 5之前，它是一个备受争议的关键字，因为在程序中使用它往往会导致出人意料的结果。在Java 5之后，volatile关键字才得以重获生机。 volatile关键字虽然从字面上理解起来比较简单，但是要用好不是一件容易的事情。由于volatile关键字是与Java的内存模型有关的，因此在讲述volatile关键之前，我...
2018-10-08 17:54:16
239
转载 Java多线程之守护线程
Java中线程分为两种类型：用户线程和守护线程。通过Thread.setDaemon(false)设置为用户线程；通过Thread.setDaemon(true)设置为守护线程。如果不设置次属性，默认为用户线程。 用户线程和守护线程的区别：1. 主线程结束后用户线程还会继续运行,JVM存活；主线程结束后守护线程和JVM的状态又下面第2条确定。2.如果没有用户线程，都是守护线程，那么...
2018-10-08 17:31:38
315
原创 Linux --- Zookeeper的数据结构和命令
1、ZK数据结构（类似于文件系统） 2、节点类型2.1、Znode有两种类型：EPHEMERAL（临时，断开连接时删除） PERSISTENT（持久，断开连接时不删除） 2.2、Znode有四种形式的目录节点（默认是PERSISTENT）：PERSISTENT（持久的节点） EPHEMERAL（临时的，注册的客户端断开连接就会删除节点，临时节点不允许有子节点） ...
2018-10-08 14:45:12
363
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人