大数据
大数据技术专栏
易雪寒
永远做更好的自己!
展开
-
一文读懂什么是中台?什么是数据中台?
[ 亿欧导读 ]2018年底到2019年年初,随着阿里、腾讯、百度等巨头的大规模组织架构调整,中台的热度陡增。一时间,各大互联网公司纷纷开始跟随建设中台。那么什么是中台,我们来快速梳理一下中台的相关知识。本文转载自msup,作者msup,原文链接:https://mp.weixin.qq.com/s/aNnnTIwx_ZPDYaopW-mD8w2018年底到2019年年初,...转载 2020-01-20 09:12:41 · 772 阅读 · 0 评论 -
写给大数据开发初学者的话
导读:第一章:初识Hadoop第二章:更高效的WordCount第三章:把别处的数据搞到Hadoop上第四章:把Hadoop上的数据搞到别处去第五章:快一点吧,我的SQL第六章:一夫多妻制第七章:越来越多的分析任务第八章:我的数据要实时第九章:我的数据要对外第十章:牛逼高大上的机器学习经常有初学者在博客和QQ问我,自己想往大数据方向发展,该学哪些技术,学...原创 2017-03-22 10:03:21 · 282 阅读 · 0 评论 -
spring boot入门 -- 介绍和第一个例子
“越来越多的企业选择使用spring boot 开发系统,spring boot牛在什么地方?难不难学?心动不如行动,让我们一起开始学习吧!”使用Spring boot ,可以轻松的创建独立运行的程序,非常容易构建独立的服务组件,是实现分布式架构、微服务架构利器。Spring boot简化了第三方包的引用,通过提供的starter,简化了依赖包的配置。 Spring boot的优点轻松创建独立的S...转载 2018-03-20 14:28:13 · 1034 阅读 · 1 评论 -
Spring Boot 入门之基础篇(一)
原文地址:Spring Boot 入门之基础篇(一)博客地址:http://www.extlight.com一、前言Spring Boot 是由 Pivotal 团队提供的全新框架,其设计目的是用来简化新 Spring 应用的初始搭建以及开发过程。该框架使用了特定的方式来进行配置,从而使开发人员不再需要定义样板化的配置。本系列以快速入门为主,可当作工具小手册阅读二、环境搭建创建一个 maven 工...转载 2018-03-20 14:27:33 · 154 阅读 · 0 评论 -
redis配置文件详解
Redis是一个高性能的key-value数据库。 Redis支持数据的持久化,可以将内存中的数据保存在磁盘中,重启的时候可以再次加载进行使用。 Redis不仅仅支持简单的key-value类型的数据,同时还提供list,set,zset,hash等数据结构的存储。 Redis支持数据的备份,即master-slave模式的数据备份。 为了更好的使用redis,我们需要详细的了解redis配...转载 2018-03-14 12:27:38 · 258 阅读 · 0 评论 -
springcloud(一):大话Spring Cloud
研究了一段时间Spring Boot了准备向Spring Cloud进发,公司架构和项目也全面拥抱了Spring Cloud。在使用了一段时间后发现Spring Cloud从技术架构上降低了对大型系统构建的要求,使我们以非常低的成本(技术或者硬件)搭建一套高效、分布式、容错的平台,但Spring Cloud也不是没有缺点,小型独立的项目不适合使用。Spring Cloud是什么鬼?Spring C...转载 2018-03-20 10:53:58 · 208 阅读 · 0 评论 -
7个实例全面掌握Hadoop MapReduce
作者介绍杜亦舒,创业中,技术合伙人,喜欢研究分享技术。个人订阅号:性能与架构。本文旨在帮您快速了解 MapReduce 的工作机制和开发方法,解决以下几个问题: MapReduce 基本原理是什么? MapReduce 的执行过程是怎么样的? MapReduce 的核心流程细节 如何进行 MapReduce 程序开发?(通过7个实例逐渐掌握) 文章中...原创 2017-12-13 18:08:50 · 23286 阅读 · 5 评论 -
Hadoop入门介绍
Hadoop这个名字不是一个缩写,它是一个虚构的名字。该项目的创建者,Doug Cutting如此解释Hadoop的得名:"这个名字是我孩子给一个棕黄色的大象样子的填充玩具命名的。我的命名标准就是简短,容易发音和拼写,没有太多的意义,并且不会被用于别处。小孩子是这方面的高手。Google就是由小孩命名的。 Hadoop 是一个能够对大量数据进行分布式处理的软件框架。但是 Hadoop转载 2017-03-14 14:49:23 · 320 阅读 · 0 评论 -
网络爬虫技术
1、爬虫技术概述 网络爬虫(Web crawler),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本,它们被广泛用于互联网搜索引擎或其他类似网站,可以自动采集所有其能够访问到的页面内容,以获取或更新这些网站的内容和检索方式。从功能上来讲,爬虫一般分为数据采集,处理,储存三个部分。传统爬虫从一个或若干初始网页的URL开始,获得初始网页上的URL,在抓取网页的过程中,不断从当转载 2017-03-14 11:00:08 · 3170 阅读 · 4 评论 -
一看就明白的爬虫入门讲解:基础理论篇
摘要:本文作者诸葛IO创始人/CEO孔淼从基础理论入手,详细讲解了爬虫内容,分为六个部分:我们的目的是什么;内容从何而来;了解网络请求;一些常见的限制方式;尝试解决问题的思路;效率问题的取舍。CSDN移动将持续为您优选移动开发的精华内容,共同探讨移动开发的技术热点话题,涵盖移动应用、开发工具、移动游戏及引擎、智能硬件、物联网等方方面面。如果您想投稿、寻求《近匠》报道,或给文章挑错,欢迎转载 2017-03-14 10:38:08 · 343 阅读 · 0 评论 -
Dubbo详细介绍与安装使用过程
1 Dubbo介绍1.1 dubbox简介随着互联网的发展,网站应用的规模不断扩大,常规的垂直应用架构已无法应对,分布式服务架构以及流动计算架构势在必行,亟需一个治理系统确保架构有条不紊的演进。单一应用架构 当网站流量很小时,只需一个应用,将所有功能都部署在一起,以减少部署节点和成本。 此时,用于简化增删改查工作量的 数据访问框架(ORM) 是关键。转载 2017-03-20 14:25:39 · 343 阅读 · 0 评论 -
Hadoop基本介绍
1、Hadoop的整体框架 Hadoop由HDFS、MapReduce、Hbase、Hive和ZooKeeper等成员组成,其中最基础最重要元素为底层用于存储集群中所有存储节点文件的文件系统HDFS(Hadoop Distributed File System)来执行MapReduce程序的MapReduce引擎。(1)Pig是一个基于Hadoop的大规模数据分析平台,Pi转载 2016-12-26 01:30:17 · 432 阅读 · 0 评论