- 博客(27)
- 资源 (3)
- 收藏
- 关注
原创 cron服务
cron服务是linux的内置服务,但它不会开机自动启动。可以用以下命令启动和停止服务: /sbin/service crond start /sbin/service crond stop /sbin/service crond restart /sbin/service crond reload 以上1-4行分别为启动、停止、重启服务和重新加载配置。 要把cron设为在开机的时候自动
2017-09-14 16:24:21 644
原创 Spark编程模型RDD设计以及运行原理
**Spark编程模型RDD设计以及运行原理** 一、 RDD介绍 RDD:弹性分布式数据集,是一个分区的只读记录的集合。也可以这样理解,是一个提供了许多操作接口的数据集合。它还包括容错、数据集内的数据可以并行处理等。 二、 RDD操作类型 RDD的操作类型分为两类,转换(transformations)和行动(action),转换是根据原有的RDD创建一个新的RDD,行动是对R
2017-08-17 15:16:00 493
原创 Spark运行模式
**Spark运行模式** 一、 Spark运行架构介绍 术语定义: Application:指的是用户编写的Spark应用程序,包含了一个Driver功能的代码和分布在集群中多节点上运行的Executor代码。 Driver:Spark中的Driver就是运行Application的main()函数,并且创建SparkContext。SparkContext为Spark准备运行环境,
2017-08-17 15:12:38 521
原创 Spark以及生态圈介绍
**Spark以及生态圈介绍** 一、 Spark简介 官方解释: Apache Spark™ is a fast and general engine for large-scale data processing. 打开官网网站解释一下。 二、 Spark关键词 三、 Spark生态系统 • Spark Core:包含Spark的基本功能;尤其是定义
2017-08-17 15:06:17 934
原创 IKAnalyzer介绍及使用
**IKAnalyzer介绍 使用** 一、 IK介绍 为什么要分词呢,刚开始介绍的时候介绍过,我们要提取语句的特征值,进行向量计算。所有我们要用开源分词工具把语句中的关键词提取出来。至于详细的介绍我们后期进行项目实战的时候会一一介绍,目前我们只需要学会用这个工具,为之后的项目实战打下基础。 IK Analyzer是什么呢,就是我们需要的这个工具,是基于java开发的轻量级的中文分词工具
2017-08-17 15:00:29 4559
原创 HDFS单机版安装
**HDFS单机版安装** 一、 准备机器 10.211.55.8 9000、50070、8088 二、 安装 1、 安装java环境export JAVA_HOME=/data/program/software/java8export JRE_HOME=/data/program/software/java8/jreexport CLASSPATH=.:$CLASSP
2017-08-17 14:56:43 656
原创 Kafka集群安装
**Kafka安装** 一、利用三台服务器做KAFKA集群。 服务器1 10.211.55.7 9092 服务器2 10.211.55.8 9092 服务器3 10.211.55.9 90921.1 下载 kafka_2.9.2-0.8.1 下载地址:https://archive.apache.org/dist/kafka/0.8.1/kafka_2.9.2-0
2017-08-17 14:52:21 242
原创 Kafka背景及架构介绍
**背景及架构介绍** 一、 背景 什么是kafka呢,他是LinkedIn开发的一个分布式消息系统,用scala编写的,可以水平扩展和高吞吐率。 原本开发自LinkedIn,用作他们的活动流和运营数据处理管道的基础,之后被多家公司使用,慢慢发展壮大起来。 二、 简单介绍 kafka是分布式的,基于发布/订阅的消息系统。 1、 即使对TB级以上数据也能保证常数时间复杂度的访
2017-08-17 14:46:15 483
原创 Mongodb安装
**Mongodb** 一、 准备机器 操作系统:centos 6 机器:10.211.55.7 端口:27017 二、 安装 1、 下载MongoDB(64位)wget http://fastdl.mongodb.org/linux/mongodb-linux-x86_64-2.4.9.tgz2、 安装MongoDB(安装到/data/program/softwa
2017-08-17 14:41:50 243
原创 安装zookeeper,并配置集群
安装zookeeper,并配置集群1、准备三台机器做集群 服务器1 10.211.55.7 2181/2881/3881 服务器2 10.211.55.8 2181/2881/3881 服务器3 10.211.55.9 2181/2881/3881 2、配置 2.1配置java环境 将jdk-8u141-linux-x64.tar.gz上传到三台服务器安装配置。
2017-08-17 14:35:46 634
原创 Zookeeper详解
Zookeeper详解 一、 zookeeper是什么 ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务 具体介绍可以看官方网站:https://zookeeper.apache.org/ 二、 zookeeper能做什么 1、 配置维护:在分布式系统中,一般会把服务部署到n台机器上,服务配置文件都是相同的,如果配置文件的配置选项发生了改变,那我们就得一台一
2017-08-17 14:23:08 340
原创 一、ELK安装配置
**elk安装配置**ELK 由 ElasticSearch 、 Logstash 和 Kibana 三个开源工具组成。 ElasticSearch:负责数据的索引和查询。 Logstash:负责数据的收集和过滤以及存储。 Kiabana:负责界面展示,利于查询和查看。一、安装ElasticSearch 1.1、安装jdk,官网下载jdk安装并且配置环境变量。 这边只是列出java环境变
2017-03-24 11:19:12 564
原创 六、DC/OS 运行 marathon-lb
**DC/OS 运行 marathon-lb**1、增加对外的marathon-lb,通过dc/os ui 默认安装,或者通过cli安装 前提:必须存在一个public agent $ dcos package install marathon-lb 安装成功后可访问:http://public agent ip:9090/haproxy?stats 2、增加内部的marathon-lb
2017-01-11 10:28:27 702
原创 五、DC/OS 增加节点
**DC/OS 增加节点**1、前期环境配置参考: http://blog.csdn.net/huohuangfengcheng/article/details/53994851 http://blog.csdn.net/huohuangfengcheng/article/details/539779202、拷贝dcos-install.tar到要增加的节点,关于如何找到这个文件可以参考如下链
2017-01-11 09:53:50 787
原创 四、DC/OS local-universe安装配置
**DC/OS local-universe安装配置**1、参照 *安装配置DC/OS 注意事项(http://blog.csdn.net/huohuangfengcheng/article/details/53967406)中的2和3做好python的配置 2、git 拉取universe的源码 $ git clone https://github.com/mesosphere/univ
2017-01-08 15:58:23 1213
原创 三、DC/OS运行spark
DC/OS运行spark1、提交命令如下: dcos spark run –submit-args=’–deploy-mode cluster –num-executors 4 –executor-cores 1 –executor-memory 2G –conf spark.mesos.coarse=false –conf spark.driver.cores=1 –conf spark.dri
2017-01-07 01:18:58 900
原创 二、DC/OS 安装前期准备
**DC/OS 安装前期准备**如果运行df -Th 显示Type为xfs格式,那么就不需要看以下配置,如果不是,则需要更改为xfs格式。 df -Th Filesystem Type Size Used Avail Use% Mounted on devtmpfs devtmpfs 1.9G 0 1.9G 0% /dev tmpfs
2017-01-03 15:26:09 532
原创 一、DC/OS 安装前期准备
一、DC/OS 安装前期准备前提:服务器选择的centos7.2,这里以一台服务器为例,其他服务器全部执行相同操作。 1、配置服务器hostname hostnamectl set-hostname dcos005 2、生成key,并将key传递到所有其他服务器,实现ssh免密码登录 ssh-keygen -t rsa ssh-copy-id -i /root/.ssh/id_rsa.p
2017-01-02 13:56:45 836
原创 **安装配置DC/OS 注意事项*
**安装配置DC/OS 注意事项*1、dc/os 1.8 需要python3的支持,dc/os默认带有python3。2、如果想自己安装本地库(local universe)执行命令:#make local-universe,出现如下错误: File “/usr/python3.5/lib/python3.5/urllib/request.py”, line 1324, in unknown
2017-01-01 18:08:00 1777
3、Cenos环境准备(java环境、hosts配置、防火墙关闭).mp4
2020-07-30
2、scala和IDE的安装以及使用以及maven插件的安装.mp4
2020-07-30
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人