Hadoop --- 入门之MapReduce示例

单词统计(WordCount)示例: 1、定义一个Mapper类: import java.io.IOException; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.LongWritable; i...

2018-10-19 15:24:57

阅读数 89

评论数 0

Hadoop --- 入门之HDFS的JAVA API操作

JAR准备: 将hadoop-2.8.0中share目录下的jar包添加到工程中: common下的hadoop-common-2.8.0.jar common/lib下的所有jar hdfs下的hadoop-hdfs-2.8.0.jar hdfs/lib下的所有jar   示例: ...

2018-10-16 16:35:24

阅读数 67

评论数 0

Hadoop --- 入门之HDFS命令

目录 FS Shell cat chgrp chmod chown copyFromLocal copyToLocal cp du dus expunge get getmerge ls lsr mkdir movefromLocal mv put rm ...

2018-10-16 13:56:37

阅读数 77

评论数 0

Hadoop --- 入门之简介

Hadoop概述 Hadoop是一个用于分布式大数据处理的编程框架。同时它也是个大数据处理完整的生态系统,围绕着Hadoop,这个生态系统还包括但不限于: HBase Hive Pig Spark ZooKeeper 希望本系列的写作能够坚持下去,对上述内容都有所涉及吧。   Ha...

2018-10-16 13:32:16

阅读数 56

评论数 0

Hadoop --- 入门之环境搭建

前期准备 CentOS7版本的服务器4台:(IP地址可以根据自己服务器或虚拟机的IP地址更改) 192.168.153.136 hadoop01 192.168.153.137 hadoop02 192.168.153.138 hadoop03 192.168.153.139 hadoo...

2018-10-16 13:32:06

阅读数 72

评论数 0

Hadoop --- 入门之配置参数

Hadoop参数汇总 @(hadoop)[配置]   linux参数 以下参数最好优化一下: 文件描述符ulimit -n 用户最大进程 nproc (hbase需要 hbse book) 关闭swap分区 设置合理的预读取缓冲区 Linux的内核的IO调度器   JVM参数 ...

2018-10-16 11:59:36

阅读数 116

评论数 0

Linux --- SSH远程登陆配置sshd_config文件详解

ssh是linux远程登录的安全协议,是 C/S 模式的架构,配置文件分为服务器端配置文件 [/etc/ssh/sshd_config] 与客户端配置文件默认配置文件[/etc/ssh/ssh_config] 用户配置文件[~/.ssh/config]  sshd_config 是服务端主配置文件...

2018-10-12 16:36:38

阅读数 1066

评论数 0

CentOS7 --- 使用firewalld打开关闭防火墙与端口

1、firewalld的基本使用 启动: systemctl start firewalld 关闭: systemctl stop firewalld 查看状态: systemctl status firewalld  开机禁用  : systemctl disable firewalld...

2018-10-12 15:51:00

阅读数 68

评论数 0

Java之JavaDoc标签

javadoc工具软件识别以下标签: 标签 描述 示例 @author 标识一个类的作者 @author description @deprecated 指名一个过期的类或成员 @deprecated description {@docRoot} ...

2018-10-11 14:50:06

阅读数 398

评论数 0

CentOS7 --- 免密登陆

机器准备 主机: hadoop01 从机: hadoop02 从机: hadoop03 从机: hadoop04 关于主机名的修改请查看:https://blog.csdn.net/Ka_Ka314/article/details/82999194 注意需要在每台机器上修改下/etc/hos...

2018-10-10 16:35:42

阅读数 145

评论数 0

CentOS7 --- 修改主机名

在CentOS7中,有三种定义的主机名: 1、静态的(Static hostname) “静态”主机名也称为内核主机名,是系统在启动时从/etc/hostname自动初始化的主机名。 2、瞬态的(Tansient hostname) “瞬态”主机名是在系统运行时临时分配的主机名,例如,通过...

2018-10-10 16:35:11

阅读数 54

评论数 0

Java之动态代理

ICommodity接口 public interface ICommodity { int commodityPrice(String size); }   ICommodity实现类Commodity 动态代理就是在不改变该实现类的情况下增强该实现类的功能 public cl...

2018-10-09 17:24:17

阅读数 36

评论数 0

Java之反射

import java.lang.reflect.Constructor; import java.lang.reflect.Field; import java.lang.reflect.Method; import java.util.ArrayList; import java.util....

2018-10-09 16:57:51

阅读数 40

评论数 0

Java线程池详解及四种线程池用法介绍

            Executor框架是一种将线程的创建和执行分离的机制。它基于Executor和ExecutorService接口,及这两个接口的实现类ThreadPoolExecutor展开,Executor有一个内部线程池,并提供了将任务传递到池中线程以获得执行的方法,可传递的任务有如...

2018-10-09 15:51:22

阅读数 41

评论数 0

Zookeeper --- Java API简单实例

1、简单使用 import java.util.List; import org.apache.zookeeper.CreateMode; import org.apache.zookeeper.WatchedEvent; import org.apache.zookeeper.Watcher...

2018-10-09 10:13:49

阅读数 156

评论数 0

Java并发编程之volatile关键字

volatile这个关键字可能很多朋友都听说过,或许也都用过。在Java 5之前,它是一个备受争议的关键字,因为在程序中使用它往往会导致出人意料的结果。在Java 5之后,volatile关键字才得以重获生机。     volatile关键字虽然从字面上理解起来比较简单,但是要用好不是一件容易...

2018-10-08 17:54:16

阅读数 46

评论数 0

Java多线程之守护线程

Java中线程分为两种类型:用户线程和守护线程。通过Thread.setDaemon(false)设置为用户线程;通过Thread.setDaemon(true)设置为守护线程。如果不设置次属性,默认为用户线程。   用户线程和守护线程的区别: 1. 主线程结束后用户线程还会继续运行,JVM...

2018-10-08 17:31:38

阅读数 45

评论数 0

Linux --- Zookeeper的数据结构和命令

1、ZK数据结构(类似于文件系统)   2、节点类型 2.1、Znode有两种类型: EPHEMERAL(临时,断开连接时删除) PERSISTENT(持久,断开连接时不删除)   2.2、Znode有四种形式的目录节点(默认是PERSISTENT): PERSISTENT(持久...

2018-10-08 14:45:12

阅读数 65

评论数 0

Python3 --- 多层向前神经网络NN

一、概述 神经网络算法( Neural Network )是机器学习中非常非常重要的算法。这是整个深度学习的核心算法,深度学习就是根据神经网络算法进行的一个延伸。理解这个算法的是怎么工作也能为后续的学习打下一个很好的基础。   二、背景 神经网络是受神经元启发的,对于神经元的研究由来已久,...

2018-09-13 15:16:04

阅读数 258

评论数 0

SVM --- 支持向量机

一、SVM概述 在机器学习领域中,SVM(支持向量机)是一种可用于分类和回归任务监督学习算法,在实践中,它的主要应用场景是分类。为了解释这个算法,首先我们可以想象一大堆数据,其中每个数据是高维空间中的一个点,数据的特征有多少,空间的维数就有多少。相应的,数据的位置就是其对应各特征的坐标值。为了用...

2018-09-12 15:39:13

阅读数 141

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭