![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据-hadoop
文章平均质量分 65
hadoop笔记
木子丶Li
一只不断成长的JAVA后台攻城狮
展开
-
ElasticSearch(一)
ElasticSearch 基础知识点与安装部署1.ES是什么ElasticSearch,简称ES,是一个开源的、高扩展的、分布式全文搜索引擎,是整个ElasticStack技术栈的核心,它可以近乎实时的存储、检索数据。它具有非常优秀的扩展性,可以扩展到上百台服务器,处理PB级别的数据。一句话总结:是一个分布式、RESTful风格的搜索和数据分析引擎,能够解决不断涌现出的各种用例。2.全文索引Google,百度类的网站搜索,它们都是根据网页中的关键字生成索引,我们在搜索的时候输入关键字,它们原创 2022-03-29 14:57:01 · 2234 阅读 · 0 评论 -
大数据学习笔记(四)-Hadoop集群脚本分发和群起
前面,已经搭建好了三台服务器,并实现了单机器启动,现在,将要实现集群启动,并使用xsync.sh煎熬本实现集群之间的配置分发,集群群起,这样就只需在一台机器上操作,就可以配置集群了。直接开干:1.配置集群分发脚本scp(secure copy)安全拷贝scp -r $pdir/$fname $user@hadoop$host:$pdir/$fname命令 递归 要拷贝的文件路径/名称 目的用户@主机:目的路径/名称将hadoop1原创 2021-03-10 16:46:04 · 392 阅读 · 1 评论 -
大数据学习笔记(三)-yarn&日志
大数据学习笔记(三)-yarn配置yarn并允许MapReduce## 配置yarn-env.sh 修改JAVA_HOMEexport JAVA_HOME=/opt/module/jdk1.8.0_51## 配置yarn-site.xml<!-- Reducer获取数据的方式 --><property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_s原创 2021-01-04 15:40:22 · 208 阅读 · 0 评论 -
大数据学习笔记(三)-hdfs
单台服务器启动HDFS1.修改配置文件1.1.hadoop-env.shLinux系统中获取JDK的安装路径:[atguigu@ hadoop101 ~]# echo $JAVA_HOME/opt/module/jdk1.8.0_144修改JAVA_HOME 路径:export JAVA_HOME=/opt/module/jdk1.8.0_1441.2.core-site.xml<!-- 指定HDFS中NameNode的地址 --><property><原创 2020-12-31 16:05:31 · 122 阅读 · 0 评论 -
大数据学习笔记(二)-官方案例-Grep/WordCount
1、官方Grep案例1.首先,在hadoop-2.7.2文件夹下创建一个input目录然后,将etc/hadoop/*.xml复制到input目录中cp etc/hadoop/*.xml input/2.然后启动hadoop中的examples包中的grep案例,知道input路径和output路径,注意:此时若output文件夹存在,则会报output已存在错误hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.原创 2020-12-31 15:16:22 · 290 阅读 · 0 评论 -
大数据学习笔记(二)
环境搭建java环境1.在/opt 下创建两个文件夹,一个module,一个softwaresoftware放安装包,module放安装包解压后的文件将准备好的jdk和hadoop2.7.2tar包放入software文件夹中hadoop2.7.2下载地址:http://archive.apache.org/dist/hadoop/common/hadoop-2.7.2///解压至/opt/module文件夹下tar -zxvf jdk-tar包 -C /opt/module修改 /原创 2020-12-29 15:06:28 · 221 阅读 · 0 评论 -
大数据学习笔记(一)
概念大数据:指无法在一定时间范围内用常规软件工具进行捕捉、关联和处理的数据集合,是需要新处理模式才能具有更强的决策力,洞察力和流程优化能力的海量、高增长率和多样化的信息资产。特点大量高速多样低价值密度应用场景物流仓储:大数据分析助力商家精细化运营、提升销量、节约成本零售:分析用户消费习惯,为用户购买商品提供方便,从而提升商品销量。旅游:深度结合大数据能力与旅游行业的需求,共建旅游产业智慧管理、智慧服务和智慧营销的未来。商品广告推荐:给用户推荐可能喜欢的商品保险:海量数据挖掘及风原创 2020-12-04 09:49:11 · 223 阅读 · 0 评论