- 博客(25)
- 收藏
- 关注
RSS订阅原创 大数据学习之scala笔记
Scala基础1.Scala基础数据类型Scala中所有的数据都是对象，也就是说scala没有java中的原生类型。在scala是可以对数字等基础类型调用方法的。 举例：数字 1是一个对象，就有方法（函数） scala> 1.toString res0: String = 1 ...
2019-07-16 20:03:50
527
原创 大数据--python学习
1.列表和元组之间的区别是？list是处理一组有序项目的数据结构，即你可以在一个列表中存储一个序列的项目。一旦你创建了一个列表，你就可以添加，删除，或者是搜索列表中的项目。由于可以增加或删除项目，所以列表是可变的数据类型，即这种类型是可以被改变的，并且列表是可以嵌套的。元组和列表十分相似，不过元组是不可变的。即你不能修改元组。元组通过圆括号中用逗号分隔的项目定义。元组通常用在使语句或用户定义的...
2019-07-15 20:12:12
279
原创 大数据学习第32天
python介绍一种面向对象，面向函数的解释型计算机程序设计语言，由荷兰人Guido van Rossum于1989年发明，第一个公开发行版发行于1991年。Python是纯粹的自由软件， 源代码和解释器CPython遵循 GPL(GNU General Public License)协议[2]. Python语法简洁清晰，特色之一是强制用空白符(white space)作为语句缩进。Pytho...
2019-07-12 20:48:35
423
原创 大数据学习第21天：
Protobuf是什么？Protobuf是一种平台无关、语言无关、可扩展且轻便高效的序列化数据结构的协议，可以用于网络通信和数据存储。（类似json） Protobuf和Xml、Json序列化的方式不同，采用了二进制字节的序列化方式，用字段索引和字段类型通过算法计算得到字段之前的关系映射，从而达到更高的时间效率和空间效率，特别适合对数据大小和传输速率比较敏感的场合使用。Protobu...
2019-07-02 20:54:32
330
原创 大数据学习第二十天
如何理解HBase关于HBase比较官方的解释就是：HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，它的目标是存储并处理大型的数据，HBase技术可在廉价的PC Server上搭建大规模结构化存储集群。高可靠性：因为HBase的存储基于HDFS，有数据备份高性能：依托于Hadoop分布式平台，实现分布式计算，速度快面向列：HBase是一个Nosql型数据库，通过列式存储...
2019-07-01 21:07:28
262
原创 大数据学习第19天
大数据学习第19天:熟悉hive参数的使用hive当中的参数、变量，都是以命名空间开头通过${}方式进行引用，其中system、env下的变量必须以前缀开头hive 参数设置方式1、修改配置文件 ${HIVE_HOME}/conf/hive-site.xml2、启动hive cli时，通过–hiveconf key=value的方式进行设置例：hive --hiveconf hi...
2019-06-28 20:13:01
313
原创 大数据学习第18天：
大数据学习第18天：了解hive是什么**背景说到这个问题，还得先说个小故事，在很久很久以前…有一个叫facebook的贼有名的公司，他们内部搭建了数据仓库（你可以理解成把一大堆数据放到一个地方，然后做报表给老板看！），是基于mysql的。后来随着数据量的不断增加，这种传统的数据库扛不住了…于是经过一系列的折腾换到了hadoop上（hadoop是个大数据体系，用的是里面的hdfs，做存储的...
2019-06-28 08:35:04
339
原创 大数据学习第17天
1、storm事务性topology的提出对于容错机制，Storm通过一个系统级别的组件acker，结合xor校验机制判断一个msg是否发送成功，进而spout可以重发该msg，保证一个msg在出错的情况下至少被重发一次。但是在一些事务性要求比较高的场景中，需要保障一次只有一次的语义，比如需要精确统计tuple的数量等等。Storm 0.7.0引入了Transactional Topology,...
2019-06-27 09:04:05
125
原创 大数据学习第16天：
Storm的实时性可能主要体现在：1.相比Hadoop，Storm是为实时处理而设计的；2.Storm的Topology启动后，一直处理就绪状态，等待数据输入，一旦有数据会立即处理；这一点不同于Hadoop，Hadoop每处理一个Job都需要重新提交，而且对于实时到来的数据也无法立即处理。“Storm中流动的是数据，Hadoop中流动的是代码”，这个说法很精辟。3.Storm在处理过程中基于...
2019-06-25 20:37:44
138
原创 大数据学习第15天
Storm 流计算编程模型（一）基础介绍随着互联网的更进一步发展，从Portal信息浏览型到Search信息搜索型到SNS关系交互传递型，以及电子商务、互联网旅游生活产品等将生活中的流通环节在线化。对效率的要求让大家对于实时性的要求进一步提升，而信息的交互和沟通正在从点对点往信息链甚至信息网的方向发展，这样必然带来数据在各个维度的交叉关联，数据爆炸已不可避免。因此流式处理加NoSQL产品应运而...
2019-06-24 19:39:44
204
原创 大数据学习第14天
倒排索引概述编辑在关系数据库系统里，索引是检索数据最有效率的方式,。但对于搜索引擎，它并不能满足其特殊要求：1）海量数据：搜索引擎面对的是海量数据，像Google，百度这样大型的商业搜索引擎索引都是亿级甚至百亿级的网页数量 ，面对如此海量数据 ,使得数据库系统很难有效的管理。2）数据操作简单：搜索引擎使用的数据操作简单 ,一般而言 ,只需要增、 删、 改、 查几个功能 ,而且数据都有特定的...
2019-06-21 20:06:05
531
原创 大数据学习第十三天：
ZooKeeper是什么ZooKeeper(ZK)是一个分布式开源协调服务框架，是Google的Chubby一个开源的实现，是hadoop的一个子项目主要用来解决分布式系统的一致性问题，封装好了复杂易出错的关键服务，通过简单的接口为外部提供高性能、稳定的服务实际应用场景包括：统一命名服务、分布式配置管理、集群管理、分布式锁、分布式队列 ……结合zookeeper详细说明CAP定理CAP理...
2019-06-20 19:52:36
165
原创 哨兵解决的问题与原理：
哨兵解决的问题：Redis的主从模式可以将主节点的数据改变同步给从节点，从节点就可以起到两个作用：（1）作为主节点的一个备份。一旦主节点出现了故障，不可达，从节点可以作为后备，顶上来，保证数据尽量不丢失。（2）从节点可以扩展主节点的读能力。如果主节点撑不住大量并发的读操作，此时可以分担主节点的读能力。主从复制也随之带来了一下几个问题：（1）一旦主节点出现了故障，需要手动的将一个从节点晋升...
2019-06-20 19:37:37
827
原创 大数据学习第12天：
什么是持久化： 将数据从掉电易失的内存存放到能够永久存储的设备上Redis提供了几种数据持久化选项：根据指定的时间间隔，RDB（Redis DataBase，Redis数据库）持久化会为你的数据集创建时间点快照。RDB 在默认情况下，Redis 将数据库快照保存在名字为 dump.rdb的二进制文件中方式：产生一个RDB: ...
2019-06-19 20:46:28
428
原创 大数据学习第11天：
大数据学习第11天：好友推荐案例：qq好友推荐 Hadoop好友world，hello好友是world…依次类推。 那么hadoop和hello有共同的好友world，所以hadoop和hello可能具有好友关系代码如下package com.sxt.hadoop.mr.fof;import java.io.IOException;import org.apache.hadoo...
2019-06-18 21:12:03
121
原创 大数据学习第9天：
大数据学习第9天：Yarn分布式集群环境部署client发出请求到resourceManager，resourceManager启动Appication master为任务分配相关的资源，分配完成后返回信息到resource Manager，再由resourceManager将任务分发到不同的NodeManager。NodeManager启动Container执行需要的MapReduce工作。...
2019-06-14 20:49:20
235
原创 大数据学习第8天：
大数据学习第8天：学习主题：mapreduce的计算原理1学习目标：什么是分布式计算分布式计算的定义分布式计算是一门计算机科学，主要研究对象是分布式系统。分布式系统是由若干通过网络互联的计算机组成的软硬件系统[1]，且这些计算机互相配合以完成一个共同的目标（往往这个共同的目标称为“项目”）；分布式计算指在分布式系统上执行的计算。分布式计算是将一个大型计算任务分成很多部分分别交给其他的...
2019-06-13 21:10:24
129
原创 大数据学习第7天：
大数据学习第7天：学习主题：HDFS命令操作和高可用学习目标：hdfs HA的原理：•HDFS 2.x–解决HDFS 1.0中单点故障和内存受限问题。–解决单点故障•HDFS HA：通过主备NameNode解决•如果主NameNode发生故障，则切换到备NameNode上–解决内存受限问题•HDFS Federation(联邦)•水平扩展，支持多个NameNode；•（2...
2019-06-13 11:37:06
296
原创 大数据第六天：
大数据第六天：学习主题：HDFS基础和原理学习目标：**hadoop：**包含分布式文件系统和分布式计算的一个框架。 HDFS，mapreduce不可替代存放海量的数据。数据 --》----》文件—》存放HDFS—》数据文件（元数据，内容数据）—》元数据在NN，内容数据形成block在DN。非常兼容各种分布式计算掌握HDFS的架构：三种节点：NN,SNN,DN。每个节点的...
2019-06-11 19:52:20
163
原创 大数据第五天：
大数据第五天：学习目标：掌握nginx集群Nginx的功能特性基本Http服务，可以作为Http代理服务器和反向代理服务器，支持通过缓存加速访问，可以完成简单的负载均衡和容错，支持包过滤功能，支持SSL 高级Http服务，可以进行自定义配置，支持虚拟主机，支持URL重定向，支持网络监控，支持流媒体传输等邮件代理服务器，支持IMAP/POP3代理服务功能，支持内部SMTP代理服务功能ngi...
2019-06-10 21:05:37
178
原创 大数据学习第四天：
大数据学习第四天：学习主题：shell编程shell :弱类型、 解释型语言解释器：shell ，(bash,ksh,zsh)脚本的执行：当前的shell下启动一个子shell去执行（翻译）脚本shell 是一个交互性命令解释器。shell独立于操作系统，这种设计让用户可以灵活选择适合自己的shell。shell让你在命令行键入命令，经过shell解释后传送给操作系统（内核）执行。 ...
2019-06-06 15:27:25
566
转载 Shell 的source命令
exec和source都属于bash内部命令（builtins commands），在bash下输入man exec或man source可以查看所有的内部命令信息。bash shell的命令分为两类：外部命令和内部命令。外部命令是通过系统调用或独立的程序实现的，如sed、awk等等。内部命令是由特殊的文件格式（.def）所实现，如cd、history、exec等等。在说明exe和source...
2019-06-06 15:23:05
1562
原创 大数据学习第三天：
大数据学习第三天：掌握linux下源码安装软件源码的安装一般由3个步骤组成：配置(configure)编译(make)安装(make install)。configure文件是一个可执行的脚本文件，它有很多选项，在待安装的源码目录下使用命令./configure –help可以输出详细的选项列表。其中--prefix选项是配置安装目录，如果不配置该选项，安装后可执行文件默认放在/...
2019-06-05 19:48:41
189
原创 大数据学习第二天：
大数据学习第二天：linux中安装jdk：首先上传jdk安装包到当前root用户目录下这样做的好处是属于私有 root用户 张三李四不可用，~家目录，拥有最高权限执行 [root@dsj002 ~]# rpm -ivh jdk-8u171-linux-x64.rpm安装之后到 /usr/java/jdk1.8.0_171-amd64 目录查看配置环境变量： (还可以 /e...
2019-06-04 17:27:46
114
原创 大数据第一天学习
大数据学习第一天：1.安装大数据环境1.虚拟机、linux的安装CentOS Linux 6.8正式发布：新版内核+大量更新以下为更新内容：• 全新Linux 2.6.32内核• XFS文件系统内可存储300TB数据• 大量的应用更新，包括LibreOffice 4.3.7办公套件、 Squid 3.4缓存和转发网络代理• Git、YUM、Postfix、OpenLDAP、stun...
2019-06-03 21:08:06
212
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人