大数据
安庭轩
这个作者很懒,什么都没留下…
展开
-
docker的安装和使用
docker的安装和使用 一、什么是docker? Docker 是一个开放源代码软件项目,它让应用程序布署在软件容器下的工作可以自动化进行,借此在 Linux 操作系统上,提供一个额外的软件抽象层以及操作系统层虚拟化的自动管理机制。 Docker 利用 Linux 核心中的资源分脱机制以及 Linux 核心名字空间来创建独立的软件容器。 二、与虚拟机对比 更快的启动速度 更高效的资源利用率 更高的系统支持量 持续交付与部署 更轻松的迁移 更轻松的维护与扩展 更弱的隔离性(Docker 属于进程之间的隔离,原创 2020-12-31 16:50:14 · 270 阅读 · 0 评论 -
Spark(一)
一、什么是Spark? Spark是加州大学伯克利分校 AMP(Algorithms,Machines,People)实验室开发的通用内存并行计算框架,围绕着 Spark 推出了 SparkSQL、SparkStreaming、MLlib 和 GraphX 等组件,逐渐形成大数据处理一站式解决平台。 二、为何会出现Spark,Hadoop不香了吗? Hadoop 已经成了大数据技术的事实标准,Hadoop MapReduce 也非常适合于对大规模数据集合进行批处理操作,但是其本身还存在一些缺陷。特别是 Ma原创 2020-12-28 17:38:22 · 273 阅读 · 0 评论 -
hadoop(单)+mysql+hive+zookeeper+hbase+hue+rabbitmq+kafka+vertica
Linux用户登录,sudo -s 切换到root用户,/usr/local下创建tool目录(个人习惯) 一、SSH免密登录 cd /root/.ssh,使用rsa生成秘钥,ssh-keygen -t rsa 一路回车即可 cat id_rsa.pub >> authorized_keys 二、JDK安装配置(本地有jdk-8u171-linux-x64.tar.gz包,下同) 1.rz上传jdk并解压到/usr/local/tool目录下 tar -zxvf jdk-8u171-linux原创 2020-12-28 17:12:23 · 356 阅读 · 0 评论