大数据
大数据体系
cist-tty
golang/云计算 开荒学习中,请多指教。
展开
-
windows+eclipse+远程提交hadoop集群
先将 最下面的的“旺旺大礼包”下载并解压0.环境变量配置 在环境变量中添加 HADOOP_HOME ------>Hadoop 解压后的目录 HADOOP_USER_NAME ----->集群中hadoop文件创建的所有者 (windows 和linux中的用户名称不同时使用) 将HADOOP_HOME加入PATH中(注意 JAVA原创 2018-01-10 14:52:18 · 386 阅读 · 0 评论 -
[大数据]Scala 利用java 线程池实现FIFO调度器
Scala 利用java 线程池实现FIFO调度器1 设计想法三个提交事件 继承任务事件 分别是 提交事件(TaskSubmited) 任务成功事件(TaskSucceeded) 任务失败事件(TaskFailed)事件管理抽象类 EventLoop 里面有阻塞队列 eventQueue 原子操作的停止标志 stop 事件处理线程eventThread 里面run方法调用onReceiv...原创 2018-11-01 19:57:24 · 375 阅读 · 0 评论 -
[大数据]Scala 速学手册3
Scala 速学手册3高阶函数1 概念Scala混合了面向对象和函数式的特性,我们通常将可以做为参数传递到方法中的表达式叫做函数。在函数式编程语言中,函数是“头等公民”,高阶函数包含:作为值的函数、匿名函数、闭包、柯里化等等。2 作为值的函数可以像任何其他数据类型一样被传递和操作的函数,每当你想要给算法传入具体动作时这个特性就会变得非常有用scala> val arr = Arr...原创 2018-11-01 19:56:36 · 193 阅读 · 0 评论 -
[大数据] 搜索日志数据采集系统 flume+hbase+kafka架构 (数据搜狗实验室)
1 收集规划 说明:D1 日志所在服务器1 —bigdata02.comD2 日志所在服务器2 —bigdata03.comA flume2 — bigdata02.com日志收集C flume3 — bigdata03.com 日志收集B flume1 — bigdata01.com日志整合E kafka —bigdata01.com,bigd...原创 2018-05-17 15:55:26 · 3004 阅读 · 1 评论 -
[大数据]Scala 速学手册2
Scala 速学手册21 类、对象、继承、特质1.1 类1 类的定义//在Scala中,类并不用声明为public。//Scala源文件中可以包含多个类,所有这些类都具有公有可见性。class Person { //用val修饰的变量是只读属性,有getter但没有setter //(相当与Java中用final修饰的变量) val id = "9527" //用va...原创 2018-10-24 11:28:13 · 165 阅读 · 0 评论 -
[大数据] Scala 速学手册1
Scala 基础介绍1 Scala1.1 什么是ScalaScala是一种多范式的编程语言,其设计的初衷是要集成面向对象编程和函数式编程的各种特性。Scala运行于Java平台(Java虚拟机),并兼容现有的Java程序。1.2为什么要学Scala优雅速度快:开发速度快;静态编译,运行速度快学习大数据组件2 Scala基础2.1 声明变量object VariableDem...原创 2018-10-24 09:37:40 · 207 阅读 · 0 评论 -
[大数据]hadoop 联邦机制 及 配置文件
hadoop 联邦机制1 原理即多个ha 联合组成一套集群环境,对外提供一致接口【ViewFs】(相当于扩容) 即cluserID 相等 但是相同的datanode服务于不同的namenode。 原理是通过namenodeID和blockPool-id来判别文件存放的位置。(不同的namenode存放不同的文件夹)原理图: 2 配置文件1 vi core-site.x...原创 2018-08-07 19:16:39 · 931 阅读 · 1 评论 -
[大数据] zookeeper JAVA API 使用
title: [大数据] zookeeper JAVA API 使用 tags: - zookeeper - 大数据 - 分布式 categories: - 大数据 date: 2017-07-10 18:57:38 description: [大数据] zookeeper JAVA API 使用1.基本使用org.apache.zookeeper....原创 2018-07-27 16:46:50 · 233 阅读 · 0 评论 -
zookeeper 介绍、结构与选举机制
1. Zookeeper概念简介:1 介绍Zookeeper是一个分布式协调服务;就是为用户的分布式应用程序提供协调服务 1. zookeeper是为别的分布式程序服务的 2. Zookeeper本身就是一个分布式程序(只要有半数以上节点存活,zk就能正常服务) 3. Zookeeper所提供的服务涵盖:主从协调、服务器节点动态上下线、统一配置管理、分布式共享锁、统一...原创 2018-07-19 09:55:18 · 306 阅读 · 0 评论 -
[大数据]基础 Linux 命令 学习笔记 -1 常用命令
title: 基础 Linux 命令 学习笔记-1 tags: - linux - 常用命令 categories: - 实用技能 description:linux常用命令最近几篇是关于linux系统的操作命令,今天是第一篇的常用命令 1.进入到用户根目录cd ~ 或 cd2.查看当前所在目录pwd3.进入到kfk用户根目录c...原创 2018-07-18 16:37:03 · 294 阅读 · 0 评论 -
[大数据]hbase HA配置
1 集群规划 bigdata01.com bigdatan2.com bigdata03.com master master regionserver regionsever regionsever2 修改配置vi hbse-env.shexport JAVA_HOME=/opt/modules/jdk1.7.0_6...原创 2018-05-04 14:17:53 · 161 阅读 · 0 评论 -
[大数据] hadoop HA 配置
前提:已经通过上一篇的环境配置好了zookeeper环境1 集群规划 bigdata01.com bigdata02.com bigdata02.com namenode namenode datanode datanode datanode journalnode journalnode journalnode...原创 2018-05-04 00:23:21 · 196 阅读 · 0 评论 -
[大数据]Zookeeper 配置
Zookeeper 环境配置1 版本选择因为要和后面的hive kafka集成 所以选择了 zookeeper-3.4.5-cdh5.10.0 2 文件配置复制并修改配置文件:cp conf/zoo_sample.cfg conf/zoo.cfgvi conf/zoo.cfg-----------------------------------------...原创 2018-05-03 17:01:01 · 134 阅读 · 0 评论 -
[大数据]hadoop 环境配置(1)
1 基础环境搭建Centos 6.4 环境 hadoop 环境搭建1 用户添加sodo adduser kfk2 hostname 更改sudo vi /etc/sysconfig/network3 hosts 更改sudo vi /etc/hosts4 关闭防火墙sudo vi /etc/sysconfig/selinuxS...原创 2018-05-03 16:39:38 · 132 阅读 · 0 评论 -
[大数据]Scala 利用Akka 实现RPC框架
Scala 利用Akka 实现RPC框架1 介绍项目介绍:目前大多数的分布式架构底层通信都是通过RPC实现的,RPC框架非常多,比如前我们学过的Hadoop项目的RPC通信框架,但是Hadoop在设计之初就是为了运行长达数小时的批量而设计的,在某些极端的情况下,任务提交的延迟很高,所有Hadoop的RPC显得有些笨重。Spark 的RPC是通过Akka类库实现的,Akka用Scala语言开...原创 2018-11-02 12:12:59 · 543 阅读 · 0 评论