- 博客(7)
- 问答 (1)
- 收藏
- 关注
原创 spark学习之旅----spark基础scala
本篇文章是学习了课程中scala的相关知识点之后,对本人认为比较重点的知识做一些总结和记录,供日后学习使用。第一点:scala有两种变量类型:val var 。val 变量类型:不可变变量 也就是 常量,声明常量的时候使用。var 变量类型:可变变量 也就是 变量,声明变量的时候使用。在spark的RDD数据集开发中,大部分情况下都是使用val 不可变变量,所以val声明用的较多。...
2018-06-22 14:28:55 192
翻译 Git使用操作
简明一句介绍Git:分布式版本控制系统,充当 项目或者笔记、代码等等文档 的版本记录者。 (粑粑再也不用担心你找不到兄弟姐妹啦~)Git安装Linux上安装git: 命令行输入:git 系统会检测你有没有安装git,并且还会提醒你怎么安装gitapt-get install git root用户安装,非root用户前面加上 sudo或者通过git源码安装,下载g...
2018-04-27 18:48:52 162
原创 Docker镜像是什么、包含什么、能做什么
镜像是Docker容器的基石,容器是镜像的运行实例,有了镜像才能启动容器。base镜像----提供了一个基本的操作系统环境,用户可以根据需要安装和配置软件base镜像通常是各种Linux发行版的Docker镜像比如ubuntu、Debian、centos等。base镜像只是在用户空间与发行版一致,kernel版本与发行版是不同的。比如说虚机系统是ubuntu14.04,运行一个容器是cen
2018-01-12 18:00:47 18152
原创 有关容器的what、why、how的问题
what---什么是容器?容器是一种轻量级、可移植、自包含的软件打包技术,为应用提供封装和隔离,创建并测试好的容器无需任何修改就能够在生产系统的虚拟机、服务器或者公有云主机上运行。 容器比虚拟机的优势在于:体积上比虚拟机小很多—-所有的容器共享同一个HostOS;容器比虚拟机部署和启动速度更快、开销更小、更容易迁移。why---为什么需要容器?超强的可移植能力 容器的优势
2018-01-10 17:17:14 280
原创 Docker学习第一章---学习环境和运行第一个容器
安装Docker运行第一个容器 全部操作均在root权限下进行1.安装Docker安装前准备:容器需要管理工具、runtime和操作系统。管理工具:Docker Engine;runtime:runc ,Docker默认的runtime;操作系统:centos6.9根据自己的环境选择对应的安装https://docs.docker.com/engine/install
2018-01-08 17:48:46 315
原创 我的集群---前提准备
搭建hadoop+spark集群之前,先配置好系统基础环境centos6.5系统root权限下操作1 vi /etc/selinux/config修改selinux=disabled2 关闭防火墙 service iptables stop chkconfig iptables off3 网络配置 vi /etc/sysconfig/network-scripts/if
2018-01-04 11:18:05 249
原创 kafka学习记录集
kafka笔记一(本人是kafka小白,想把自己的笔记记录下来,慢慢学习,逐渐成长)一、首先安装kafka集群,最近最新版本是1.0,下载kafka1.0安装包,解压缩,修改配置文件,安装,测试,详见另一篇博客笔记:kafka集群安装部署 二、完成kafka消息订阅三剑客:producer生产者、broker中间件、consumer消费者 三、利用kafkaAPI编写生产消费demo(1)建立m
2017-12-01 14:40:13 221
空空如也
AWS S3 与HDFS之间如何实现数据传输,代码实现
2017-08-14
TA创建的收藏夹 TA关注的收藏夹
TA关注的人