houpk999的博客

1.Scala六大特征Java和scala可以无缝混编，都是运行在JVM上的； 类型推测，不用指定类型； 并发和分布式（Actor，类似java多线程Thread）； 特征trait，类似java的interface和abstract结合； 模式匹配，match case，类似java的switch case； 函数式编程，类似C的函数；2.Scala数据类型Scala所有类型都是类，Scala中Any是顶级父类，就是任意类型； Any下面两个体系 值类型(AnyVal)和引.

1.Dockerfile是什么Dockerfile是什么Dockerfile是用来构建docker镜像的文件，是由一系列命令和参数构成的脚本。Dockerfile构建三步骤①编写Dockerfile；②docker build，生成自定义镜像；③docker run，运行镜像。2.Dockerfile基础知识2.1Dockerfile基础每条保留字指令必须为大写字母，且后面跟随至少一个参数； 指令按照从上到下，顺序执行； #表示注释； 每条指令都会创建一个新的镜像层，并

目录1.什么是数据卷2.如何添加数据卷2.1命令方式2.2Dockerfile方式3.使用数据卷3.1Docker与宿主机数据共享3.2Docker间数据卷共享1.什么是数据卷Docker数据卷类似虚拟机的共享文件夹。数据卷作用①用于容器数据持久化；②容器间数据共享。其中容器数据持久化不是说容器停止运行，数据还保存，而是容器删除，数据依然保存。Docker产生的数据，如果不通过docker commit生成新的镜像，使数据成为镜像的一部分保存下来...

1.配置国内镜像源Docker在默认安装之后，通过命令docker pull 拉取镜像时，默认访问docker hub上的镜像，在国内网络环境下，下载时间较久，所以要配置国内镜像仓库。修改方式如下：//第一步：新建或编辑daemon.json# vi /etc/docker/daemon.json//第二步：daemon.json中编辑如下{ "registry-mirrors": ["http://hub-mirror.c.163.com"]}//第三步：重启docke

1. Docker产生背景存在问题① 开发和运维环境或配置不同，导致开发环境运行良好的交付产物在运维环境出问题，此类问题让人不胜其烦。② 传统运维过程中，如果线上有十台机器，每台都需要重新部署一次，重复劳动。以上出现了两种解决方案：虚拟机和容器虚拟机 vs 容器虚拟机在一定程度可以解决这些问题。虚拟机是虚拟出一套硬件后，在上面运行一套完整的操作系统，在该系统上再运行所需的应用，架构如下：server：宿主机硬件Host OS：宿主机操作系统Hypervisor：硬件模拟

1.Git介绍Git的作者是Linux的创作者Linus。Git是版本管理工具，可以记录所有文件的所有版本，可以有效追踪文件变化，同时可以支持回滚到之前的状态。Git与github的关系Git是在本地使用的一个版本管理工具，其作用就是可以让你更好的管理你的本地程序。github是一个网站，开发者可以在github上建立远程仓库，将本地的git仓库上传到github远程仓库，与其他开发者协作。没有github的情况下，Git也可以在本地进行版本管理。Git与Github之间关系类似客户端

同其他组件类似，有两种使用FastDFS的方法，一种是使用命令行的方式，另一种是通过API方式。1.命令行● 启动FastDFS的tracker服务fdfs_trackerd /etc/fdfs/tracker.conf● 重启trackerfdfs_trackerd /etc/fdfs/tracker.conf restart● 关闭trackerfdfs_trackerd /etc/fdfs/tracker.conf stop● 启动FastDFS的storage服

分别介绍基于源码进行单机版搭建，和基于Docker进行分布式搭建。一般实际开发中可以选择使用后者，这里介绍前者的作用是为了熟悉FastDFS的架构设计。1.基于源码单机版搭建配置依赖环境第一步：FastDFS是源码安装，先从官网下载源码，进行编译，编译依赖gcc环境，所以首先安装gcc。使用yum可以不管所依赖的库，自动寻找依赖关系。yum –y install gcc-c++第二步：FastDFS依赖libevent库，所以需要安装这个库。yum –y install lib

FastDFS简介FastDFS（Fast Distributed File System-快速分布式文件系统）是一个开源的轻量级分布式文件系统。它的主要功能包括：文件存储，文件同步和文件访问，以及高容量和负载平衡。主要解决了海量数据存储问题，特别适合以中小文件（建议范围：4KB < file_size <500MB）为载体的在线服务。由于FastDFS不支持文件切分，所以不适合大文件存储，而HDFS可以存储超大文件，不适合存储大量小文件。FastDFS架构设计①系统组成Fast

1. kafka监控使用插件对Kakfa进行监控，以可视化的形式监控Kafka集群。较常见的有Kafka Monitor和Kafka Manager。其中Kafka Monitor使用简单，但功能很弱。使用较多的是Kafka Manager。1.1 Kafka MonitorKafka Monitor的使用步骤如下所示：①上传jar包KafkaOffsetMonitor...

1.Producer API1.1Producer结构及发送消息流程Producer结构Producer由main和sender两个线程，以及一个线程共享变量RecordAccumulator组成。其中main线程有三个器：拦截器、序列化器、分区器。如下图所示，其中topic属于kafka server。Producer消息发送流程如上图所示，步骤如下：①ma...

1.Kafka架构演进通过kafka架构演变过程可以更好的理解Kafka架构。第一阶段：原始状态，一个生产者多个消费者第二阶段：分区设计。Kafka的分区也类似Spark的分区，是针对一个topic的分区，当生产速度远大于消费速度时，topic越来越大，这时候可以进行分区，每个分区保存topic一部分数据。分区可以提高吞吐量。分区后，Producer将数据发往不同分区，每个...

1.基本概念1.1Kafka是什么Kafka是一个分布式的基于发布/订阅模式的消息队列，主要应用于大数据实时处理领域。1.2消息队列应用场景传统消息队列有三大应用场景： 1.异步处理 2.流量消峰 3.解耦1.3消息队列两种模式消息队列两种模式：点对点模式和发布/订阅模式。点对点模式点对点模式中生产者和消费者一对一，消费者收到消息后，这条消息...

1、Zookeeper是什么Zookeeper类似Eureka。Zookeeper负责存储和管理大家都关心的数据，然后接受观察者的注册，一旦这些数据的状态发生变化，Zookeeper负责通知已经在Zookeeper上注册的观察者做出相应的反应。类似医院挂号平台的挂号提醒功能，患者（观察者）点击挂号提醒，医生出号后通知患者，Zookeeper提供的就是挂号提醒功能。（或者上课老师无法上课...

Sqoop作用Sqoop就是一个小工具，用于将RDBMS与Hadoop（HDFS、HBase、Hive）之间数据互导，执行命令行就可以实现其功能。Sqoop原理Sqoop原理是将导入或导出命令翻译成mapreduce程序来实现。Sqoop使用1.导入数据“导入”概念指：从非大数据集群（RDBMS）向大数据集群（HDFS，HIVE，HBASE）中传输数据，叫做：导入，即使用i...

先说结论：Spark无法做对数据的顺序性有要求的计算，原因是RDD有多个分区，而排序只能保证各个分区数据顺序性，无法保障全局数据的顺序性。1.缘起这是个让我困惑很久的结论了，最终的解答源于一个问题：根据车辆的轨迹信息，计算车辆的行驶里程。解决这个问题需要两步：①将车辆定位信息按时间戳进行排序；②使用reduce算子进行距离累加操作。原代码如下所示：carLocationIn...

概述Spark的离线作业进行编排主要有两种：第一种是使用Linux的crontab定时任务；第二种是使用组件（例如Oozie）进行编排。各自优缺点：crontab的优点是简单易行，缺点是如果多个作业之间存在先后关系，较难实现（比如前一个任务执行结束后，创建一个文件夹，后一个任务检测到文件夹后开始执行）；Oozie的优点是较好地解决了多个Spark任务统筹编排，缺点是使用比较...

概述Spark操作Mysql的方式有两种，一种是常见的JDBC（甚至mybatis），另一种是Spark SQL。JDBC跟Spark没有关联，是Java语言特性，可以使用JDBC将结果从Mysql中读出来，再使用Spark进行相应的运算，使用JDBC相对比较简单。Spark SQL相比JDBC的优势在于读取Mysql后的结果为DataFrame，可以直接使用Spark进行相应的...

功能：判断车辆轨迹数据在指定区域内停留时间超过半小时。实现思路：车辆定位数据生成RDD，遍历RDD每个元素，判断是否在指定区域内，如果在，则累加计算停留时间，最后判断停留时间是否超过半小时。代码：sortLocationInfoRDD.foreachPartition( new VoidFunction<Iterator<CarLo...

点击打开链接点击打开链接