- 博客(15)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Scala学习（二）
Scala的一些高级特性高阶函数通常将可以作为参数传递到方法中的表达式叫做函数。在函数式编程语言中，函数是“头等公民”，高阶函数包含：作为值的函数、匿名函数、闭包、柯里化等等。作为值的函数&匿名函数可以像任何其他数据类型一样被传递和操作的函数，每当你想要给算法传入具体动作时这个特性就会变得非常有用。val arr = Array(1, 2, 3, 4, 5)val f1 =...
2019-08-11 23:21:01
95
原创 Scala学习（一）
变量声明关键字val和var使用val定义的变量值是不可变的,可以理解为java里用final修饰的变量; 使用var定义的变量是可变得如: val i = 1变量类型Scala编译器会自动推断变量的类型, 也可以指定变量类型如: val str: String = "hello"常用类型与Java一样，有7种数值类型Byte、Char、Short、Int、Long、Float...
2019-08-03 23:31:13
201
原创 MyBatis中collection标签的使用
MyBatis中<collection>标签的使用使用<collection>进行一对多的查询下面的栗子要输出每个班级和其学生列表表结构和数据:class表:+------+| c_id |+------+| 1 || 2 || 3 |+------+student表:+------+--------+-------+| s_...
2018-12-04 23:12:06
13062
1
原创 hive在执行查询sql时出现java.lang.IllegalArgumentException: Wrong FS: hdfs://node1:9000/user/hive/warehouse/.
hive在执行查询sql时出现java.lang.IllegalArgumentException: Wrong FS: hdfs://node1:9000/user/hive/warehouse/test1.db/employee, expected: hdfs://cluster1原因是hadoop由普通集群修改成了高可用集群后没有更改hive设置中warehouse在hdfs上的储存路径...
2018-10-21 08:50:05
3738
1
原创 Spark高可用集群搭建
SparkSpark 是一个开源的类似于 Hadoop MapReduce 的通用的并行计算框架， Spark基于 map reduce 算法实现的分布式计算， 拥有Hadoop MapReduce 所具有的优点； 但不同于 MapReduce 的是Spark 中的 Job 中间输出和结果可以保存在内存中，从而不再需要读写 HDFS， 因此 Spark 能更好地适用于数据挖掘与机器学习等需要迭...
2018-10-16 16:33:35
344
转载 HBase基本原理,集群搭建和简单操作
相关概念集群搭建下载地址: http://hbase.apache.org/downloads.html安装上传并解压tar zxvf ./hbase-1.3.1-bin.tar.gz重命名为hbase进入conf目录修改配置文件1)修改regionservers文件node1node2node32)修改hbase-site.xml文件<configu...
2018-10-09 22:28:40
191
转载 flume简单入门
Flume 介绍概述Flume 是一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。 Flume 支持定制各类数据发送方，用于收集各类型数据；Flume 支持定制各类数据发送方，用于收集各类型数据；同时， Flume 提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。 一般的采集需求，通过对 flume 的简单配置即可实现。 针对特殊场景也具备良好的自定义扩展能力。 ...
2018-10-09 00:16:19
908
原创 Zookeeper集群搭建和基本使用
关于ZookeeperZookeeper 是一个分布式协调服务的开源框架。 主要用来解决分布式集群中应用系统的一致性问题ZooKeeper 典型应用数据发布与订阅发布者将数据发布到 ZK节点上，供订阅者动态获取数据，实现配置信息的集中式管理和动态更新。(适合数据量很小的场景， 这样数据更新可能会比较快)命名服务(Naming Service)通过使用命名服务，客户端应用能够根...
2018-10-02 00:29:13
157
原创 Storm的ack原理和使用
Storm的ack原理通过Ack机制，spout发送出去的每一条消息，都可以确定是被成功处理或失败处理， 从而可以让开发者采取动作。比如在Meta中，成功被处理，即可更新偏移量，当失败时，重复发送数据。因此，通过Ack机制，很容易做到保证所有数据均被处理，一条都不漏。另外需要注意的，当spout触发fail动作时，不会自动重发失败的tuple，需要spout自己重新获取数据，手动重新再发送一...
2018-09-28 22:35:00
1562
原创 Redis安装和Redis-Cluster搭建
Redis安装Redis是c语言开发的。安装redis需要c语言的编译环境。如果没有gcc需要在线安装。yum install gcc-c++Redis下载地址: https://redis.io/download将下载好的安装包上传到linux, 解压tar zxf redis-3.2.12.tar.gz进入redis-3.2.12目录进行编译cd redis-3...
2018-09-28 13:14:12
362
原创 Storm集群的搭建和使用入门
StormStorm是一个流式计算框架，数据源源不断的产生，源源不断的收集，源源不断的计算。（数据实时产生、实时传输、实时计算、实时展示）Storm只负责数据的计算，不负责数据的存储。2013年前后，阿里巴巴基于storm框架，使用java语言开发了类似的流式计算框架佳作，Jstorm。2016年年底阿里巴巴将源码贡献给了Apache storm，两个项目开始合并，新的项目名字叫做stor...
2018-09-27 23:19:52
4878
原创 Kafka集群的安装使用入门
关于kafkaApache Kafka 是一个开源消息系统， 由 Scala 写成。 是由Apache 软件基金会开发的一个开源消息系统项目。Kafka 最初是由 LinkedIn 开发， 并于 2011 年初开源。 2012 年10 月从 Apache Incubator 毕业。 该项目的目标是为处理实时数据提供一个统一、 高通量、 低等待的平台。Kafka 是一个分布式消息队列： 生产...
2018-09-26 20:45:11
118
原创 Hadoop高可用原理及集群的搭建
Hadoop High AvailabilityHA(High Available), 高可用，是保证业务连续性的有效解决方案, 通常通过设置备用节点的方式实现;一般分为执行业务的称为活动节点(Active)，和作为活动节点的一个备份的备用节点(Standby), 当活动节点出现问题, 导致正在运行的业务不能正常运行时, 备用节点此时就会侦测到, 并立即接替活动节点来执行业务, 从而实现业务的...
2018-09-23 15:32:46
693
原创 sqoop安装及简单入门
Apache SqoopSqoop 是 Hadoop 和关系数据库服务器之间传送数据的一种工具。它是用来从关系数据库如： MySQL， Oracle 到 Hadoop 的HDFS，并从 Hadoop 的文件系统导出数据到关系数据库。 由 Apache 软件基金会提供。Sqoop： “SQL 到 Hadoop 和 Hadoop 到 SQL” 。Sqoop 工作机制是将导入或导出命令翻译成 ma...
2018-09-21 20:39:33
179
原创 CentOS6.7下Azkaban的安装
CentOS6.7下Azkaban的安装Azkaban 介绍Azkaban 安装部署准备工作开始安装上传并解压压缩包执行sql脚本创建SSL配置(https)修改配置文件azkaban web 服务器配置文件修改azkaban 执行服务器配置启动启动web 服务器启动执行服务器登录web管理平台Azkaban 介绍Azkaban 是由 Linkedin 公司推出的一个批量工作流任务调度器，用于...
2018-09-19 19:05:32
386
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人