- 博客(6)
- 收藏
- 关注
RSS订阅原创 Scala语言的学习
Scala语言的学习 1，什么是Scala语言？ 多范式的编程语言，设计的初衷是集成面向对象编程和函数式编程的各种特性。运行于现有的Java平台，兼容现有的Java程序。 why should we learn? 优雅， 速度快，一行抵上Java几行，开发速度快，静态编译的。 静态编译就是将你所写的类全都编译成clsaa,方便使用，动态编译是...
2018-09-06 10:37:26
660
原创 大数据基础四 —MapReduce
大数据基础四 —MapReduce 1，MapReduce是什么？ MapReduce是一个分布式运算程序的编程框架，它的核心功能是将用户编写的业务逻辑代码和自带的默认组件整合成一个完整的分布式运算程序，并行运行在hadoop集群上。 作为一个计算的编程框架，自然要有输入值和输出值，通过MapReduce本身定义的计算模型，将输入值转化为输出值，对于我们开发者来说，自己独立实现一...
2018-08-27 07:56:25
263
原创 大数据基础三 —HDFS原理
大数据基础三—HDFS的原理 1，什么是HDFS？ Hadoop Distribute File System 的简称，意为分布式文件系统，是Hadoop的核心组件之一，作为最底层的分布式存储服务而存在。解决的事大数据的存储问题。 2，HDFS的设计目标？ 1，硬件故障是常态，HDFS由成百上千的服务器组成，每一部分的服务器都有可能出现故障，因为检测故障与自动修复是HDFS的核心架...
2018-08-17 14:06:02
491
原创 大数据基础二 —Hadoop的详解与集群的搭建
大数据基础二 —Hadoop的详解与集群的搭建 1，Hadoop是什么？ Hadoop 是 Apache 旗下的一个用 java 语言实现开源软件框架，是一个开发和运行处理大规模数据的软件平台。允许使用简单的编程模型在大量计算机集群上对大型数据集进行分布式处理。 狭义的说，Hadoop指的是Apache这款开源软件，它的核心组件有HDFS，YARN，MAPREDUCE。 ...
2018-08-16 08:43:12
281
原创 网站流量日志自定义采集
网站流量日志自定义采集 1 原理分析 用户的行为会触发浏览器对被统计页面的一个http请求，比如打开一个网站，当页面加载时，页面中的埋点javascript就会被执行。 埋点是指：预先在网页中加入小段javascript代码，这个代码片段会独立的创建一个script标签，并将scr属性指向一个单独的js文件，这个js会被浏览器请求到并执行，这个js就是真正的数据收集脚本。...
2018-08-11 11:40:32
888
原创 大数据基础 一 —zookeeper的详解与集群的搭建
大数据基础 一 —zookeeper的详解与集群的搭建 1 zookeeper是什么？ 它是一个分布式协调服务的开源框架，主要用来解决分布式集群中应用系统一致性的问题，例如怎样避免同时操作同一数据造成脏读的问题 它的本质是是一个分布式的小文件存储系统，提供基于类似于文件系统的目录树方式的数据存储，并且可以对树上的节点进行管理并维护和监控你存储的数据的状态变化，通过监控这些...
2018-08-11 00:19:42
524
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人