大数据专栏
以大数据为基础的环境搭建
忘川之水&
不要一味地低头拉车,还要抬头仰望生活。
展开
-
ElasticSearch单节点环境配置
修改Linux配置参数//修改文件数配置,在文件末尾添加如下配置vim /etc/security/limits.conf * soft nofile 65536* hard nofile 131072* soft nproc 2048* hard nproc 4096// 修改* soft nproc 1024 为 * soft nproc 2048vim /etc/security/limits.d/20-nproc.conf * soft nproc 2048 #将该条原创 2020-12-21 20:39:42 · 1239 阅读 · 0 评论 -
hadoop各个组件总结大纲(细致入微)
原创 2020-11-29 17:51:55 · 128 阅读 · 0 评论 -
hadoop生态圈—hadoop生态圈图谱
原创 2020-11-28 10:20:38 · 570 阅读 · 0 评论 -
Spark各种基本角色介绍
Spark是基于内存计算的大数据并行计算框架。因为其基于内存计算,比Hadoop中MapReduce计算框架具有更高的实时性,同时保证了高效容错性和可伸缩性。从2009年诞生于AMPLab到现在已经成为Apache顶级开源项目,并成功应用于商业集群中,学习Spark就需要了解其架构。Spark特点1.快:与Hadoop的MapReduce相比,Spark基于内存的运算要快100倍以上,基于硬盘的运算也要快10倍以上。Spark实现了高效的DAG执行引擎,可以通过基于内存来高效处理数据流。2.易用:原创 2020-11-26 11:06:15 · 2119 阅读 · 2 评论 -
Spark的集群安装
文章目录1.下载spark安装包2.上传压缩包并解压3.修改配置文件4.拷贝配置到其他主机5.配置spark环境变量6.启动spark7.spark的web界面7.1 执行第一个spark程序8.启动Spark-Shell8.1 运行spark-shell 读取本地文件 单机版wordcount8.2 读取HDFS上数据注意:在windows真机上scala 直接解压配置环境变量即可1.下载spark安装包下载地址spark官网:http://spark.apache.org原创 2020-11-03 15:57:56 · 571 阅读 · 0 评论 -
HADOOP环境搭建(CDH 伪分布式)虚拟机亲测
文章目录安装环境服务部署规划1.上传压缩包并解压第一步:上传压缩包并解压第二步:查看hadoop支持的压缩方式以及本地库第三步:修改配置文件第四步:创建文件存放目录第五步:安装包的分发第六步:配置hadoop的环境变量第七步:集群启动第八步:浏览器查看启动页面安装环境服务部署规划1.上传压缩包并解压第一步:上传压缩包并解压第二步:查看hadoop支持的压缩方式以及本地库第三步:修改配置文件1.修改core-site.xml2.修改hdfs-site.xml3.修改hadoop-env.sh原来的注释掉4.修原创 2020-09-25 20:40:58 · 130 阅读 · 0 评论 -
虚拟机之Centos 7安装与设置
首页选择自定义开启登录虚拟机,修改网卡配置vi /etc/sysconfig/network-scripts/ifcfg-ens33重启网络服务生效 service network restart原创 2020-10-07 20:59:46 · 152 阅读 · 0 评论