- 博客(11)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 Docker 的基本使用
安装 docker 后 查看 docker 的镜像 docker images 查看进程 docker ps 查看已经终止的 docker ps -a 停止进程 docker stop 58dfed71e41b Docker 在容器内的改动都是暂时的 保存改动为新的 image docker commit -m ‘fun’ ID name 停止容器 docker stop...
2018-03-29 10:46:28
167
原创 Kafka 的配置及应用
Kafka 简介 1.简介 Kafka 对消息保存根据 Topic 进行归类，发送者称为 Producer，消息接受者称为 Consumer，Kafka 集群中有多个 Kafka 实例组成，每个实例称为 broker。无论是 kafka 集群，还是 producer 和 consumer 都依赖于 zookeeper 来保证系统可用性集群保存一些 meta 信息。 使用 Sc...
2018-03-27 22:42:57
1675
原创 Hadoop 及 YARN 的高可用（HA）配置
机器节点名称：node1、node2、node3、 Linux：Centos6.9 上传 Hadoop 的配置 1.使用 hadoop 用户进入/home/hadoop/apps 目录下 2.上传安装文件并解压：tar -zxvf hadoop-2.6.0-cdh5.7.0.tar.gz 3.使用 root 用户创建软连接 ln -s /home/hadoop/apps/had...
2018-03-25 18:31:55
5297
1
原创 Hadoop 及 YARN 的高可用原理
HDFS 高可用配置参考http://hadoop.apache.org/docs/r2.7.3/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabilityWithQJM.html Hadoop 高可用介绍 Hadoop2.x中的高可靠指的是可以同时启动2个NameNode。其中一个处于工作状态(Active )，另一个处于随时待命状态(Sta...
2018-03-25 17:38:54
1593
原创 Zookeeper 的安装及应用
系统环境：Centos6.9 Zookeeper 的介绍 分布式系统-CAP 定理 1. 分区容错性 2. 一致性 3. 可用性 不可以同时满足以上三个 4. 一致性和可用性的平衡方案 最终一致性 案例：Zookeeper Zookeeper 的应用实践 最终一致性：保证最终数据到达一致 顺序性：从同一个客户端发起的事物请求，最终会严格按照发送顺序被...
2018-03-25 01:06:33
266
1
原创 virtualBox 克隆 Linux，配置网卡
新建虚拟机之后，安装完操作系统之后就可以作为母版备用，直接从母版复制多个集群来搭建集群。 在 VM 中复制虚拟机 在这个命名框的下面有个不起眼的勾选框“重新初始化所有网卡的 MAC 地址(R)”。我们要多个机器来构建集群。如果要同时开启2个及以上的副本，它们在同一个网络中。在同一个网络中的多个电脑拥有相同的 MAC 地址就会引起混乱。 修改新副本中的网络设置 在上面勾选了“重新...
2018-03-24 20:40:23
834
原创 数据可视化处理 ECharts
数据可视化常见框架： 1）echarts 工作推荐（百度开源） 2）highcharts 3）D3.js 4）HUE 前三个需要开发 5）Zeppelin 推荐 本次主要使用的是 ECharts 框架开发教程 官网下载 我们需要的是完成的，自己也可以用常用的 点击打开后是 js 文件 将文件保存 echarts.min.js 创建Web项目 使用 IDEA 在 ...
2018-03-22 01:24:12
2813
原创 Spark on Yarn提交任务缓慢
在使用 Spark on Yarn模式在集群中提交任务的时候运行很缓慢，并且还报了一个WARN 使用集群提交任务 ./bin/spark-submit \ --class org.apache.spark.examples.SparkPi \ --master yarn \ --deploy-mode cluster \ --executor-memory 1G \ -...
2018-03-22 01:03:46
2336
原创 Spark on YARN 的两种模式
目前 Apache Spark 支持四种模式 分别是 local：开发模式使用 Standalone：Spark 自带模式，即独立模式，自带完整服务，可以单独部署到一个集群中。目前 Spark 在 standalon 模式下是没有单点故障问题，通过 zookeeper 实现的。架构和 MapReduce 是完全一样的。 Spark On Mesos ：官方推荐这种模式，目前而言，Spark 运...
2018-03-19 02:10:23
5181
原创 Maven本地仓库导入JAR包
常用的 Maven 仓库 http://mvnrepository.com/ http://search.maven.org/ 1）在 github 下载一个 jar 包 执行命令：git clone https://github.com/wzhe06/ipdatabase.git 2）编译下载的项目 在现在文件含有pom.xml目录下执行命令：mvn clean pac...
2018-03-18 15:20:06
676
原创 Hadoop 上 Hive 的安装与启动
我把最近 Hadoop 学习的版本换成 CDH（感觉集合性比较好） CDH 地址：http://archive.cloudera.com/cdh5/cdh/5/ 下载 Hive 的版本：hive-1.1.0-cdh5.7.0.tar.gz 1）第一步：解压 Hive 解压命令：tar -xvf hive-1.1.0-cdh5.7.0.tar -C /opt 2) 第二步：mysql...
2018-03-11 17:32:00
12671
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人