关闭

一步两步,学习大数据(五)——flume的介绍、配置以及使用

大数据的业务处理中,数据采集占据重要的地位,而在互联网中大量数据产生的来源之一便是网络日志。flume是分布式的日志收集系统,它将各个服务器中的数据收集起来并送到指定的地方去,可以是文件、可以是hdfs。有关flume架构更加详细的介绍大家可以参考 安静的技术控 Flume架构以及应用介绍今天小编给大家介绍的是,flume的安装、配置、以及一些简单的使用...
阅读(16) 评论(0)

一步两步,学习大数据(四)——IDEA 搭建hadoop mapreduce程序

可能大家都习惯用eclipse来写hadoop map/reduce程序,因为eclipse提供有连接集群的插件,可以很方便的帮助我们连接、简单操作集群中的文件,以及创建map/reduce程序。而用IDEA来搭建hadoop程序则稍显复杂,如果你是IDEA的忠实粉丝,又不知如何用IDEA搭建map/reduce程序,就可以参考小编今天的文章啦。...
阅读(80) 评论(0)

初学javaweb,我选择存储过程——MySql存储过程详解

存储过程的主要优点 1.性能提高。存储过程在创建时,数据库已经对其进行了一次解析和优化,而后每次调用都不会再次编译,这相对于传统的SQL语句中每次调用都需要编译的情况来说,性能有所提高。 2.重用性强。存储过程使用名字即可执行,也就是传说中的“一次编写,随便调用”。 3.减少网络流量。小数据量的时候体现并不明显。存储过程直接在数据库服务器上跑,所有的数据访问都是在服务器内部进行,不...
阅读(90) 评论(0)

OSS阿里云存储——整合Spring文件上传,实现动静网站资源分离

OSS阿里云存储——整合Spring文件上传,实现网站动静资源分离...
阅读(131) 评论(0)

Spring Boot —— 图片上传生态类

写在前面在常老师写的spring-mvc图片上传工具类UploadResolver的基础上,重写了这个 上传图片的工具类。增加了几个图片处理的方法(按比例缩放,指定宽高缩放,指定坐标裁剪)。我称之为springboot文件上传生态类。...
阅读(159) 评论(2)

一步两步,学习大数据(三)——Hadoop集群安装

Hadoop集群安装,cluster,将很多任务进程分布到多台计算机上;通过联合使用多台计算机的存储、在生产环境中必须使用集群来满足需求...
阅读(93) 评论(0)

一步两步,学习大数据(一)——Centos7中jdk的安装与配置

工具Centos 虚拟机 jdk-8u144-linux-x64.tar.gz 安装部署检查虚拟机上是否存在jdk的其他版本rpm -qa|grep jdk 通过rpm查找jdk和java的安装信息,rpm是RedHat包管理器,包管理器能够管理应用的安装卸载,类似于Maven管理Jar包 Gnome桌面版自还OpenJDK,OpenJDK是JDK的一个开源实现 与Oracle官方JDK相似度近9...
阅读(62) 评论(1)

一步两步,学习大数据(二)Hadoop单点伪分布模式安装

概述单点single-node,单节点,即一台计算机。 伪分布式模式pseudo-distributed mode 所谓集群,表面上看是多台计算机联合完成任务;但本质上是由分布到很多计算机上的很多进程联合完成任务的。因为多台计算机部署比较复杂,需要的硬件配置也比较高,故障率也比较高,所以就产生了伪分布的需求,即在一台计算机上运行本应该分布到多台计算机上的进程。伪分布模式有利于快速体验Hadoop的特...
阅读(55) 评论(1)
    个人资料
    • 访问:686次
    • 积分:87
    • 等级:
    • 排名:千里之外
    • 原创:8篇
    • 转载:0篇
    • 译文:0篇
    • 评论:4条
    文章存档
    最新评论