![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
文章平均质量分 53
宝罗
这个作者很懒,什么都没留下…
展开
-
Mongodb安装
1. 下载Mongodbhttps://www.mongodb.com/try/download/community这里我选择的版本是3.6.23下载完成后上传到虚拟机2.解压并移动到指定目录tar -zxf mongodb-linux-x86_64-rhel70-3.6.23.tgzmv mongodb-linux-x86_64-rhel70-3.6.23 soft/mongodb3.配置环境变量并测试#mongodb 修改/etc/profileexport M原创 2021-12-29 10:35:23 · 713 阅读 · 0 评论 -
FineReport 的使用(持续更新中)
1. 概述报表是以表格、图表的形式来动态展示数据,企业通过报表进行数据分析,进而用于辅助经营管理决策。FineReport 就是一款用于报表制作,分析和展示的工具。2. 产品定位FineReport 是帆软自主研发的企业级 Web 报表工具,秉持零编码的理念,易学易用,功能强大,经过多年的打磨,已经成长为中国报表软件领导品牌。FineReport 通过简单的拖拽操作便可制作中国式复杂报表,轻松实现报表的多样化展示、交互分析、数据录入、权限管理、定时调度、打印输出、门户管理和移动应用等需.原创 2021-12-14 23:27:12 · 1326 阅读 · 0 评论 -
java简单实现wordcount代码
Mapperpublic class workcountmapper extends Mapper<LongWritable, Text,Text, IntWritable> { Text outk =new Text(); IntWritable outv=new IntWritable(1); @Override protected void map(LongWritable key, Text value, Context context) thr.原创 2021-12-13 23:58:10 · 843 阅读 · 0 评论 -
MapReduce工作流程
1. client 客户端有一个文件 200m2. 客户端subnmit()之前 对文件进行切片 hadoop默认切片为128m 所以会切成2片3.客户端提交信息 job.split wc.jar job.xml 如果是本地模式没有jar包4.提交信息给yarn yarn启动 MRAppMaster 进程计算出MapTask数量5.当实例化一个maptask后,创建TextInputFormat,调用里面的RecoreReader方法将切片读取封装成(k,v)传送给Mapper6...原创 2021-12-13 23:41:11 · 1067 阅读 · 0 评论 -
hdfs读写流程
1.首先上传一个文件client 如果是200m的话 blk1 blk2两个切片文件2.向namenode发送数据请求 判断是否重名 判断成功然后上传文件3.确定可以上传 我要上传blk1到那几个datanode上4.namenode返回三个datanodedn1 dn2 dn35.客户端请求dn1上传数据 dn1收到请求会继续调用dn2 dn2调用dn3 建立通道pipenlin6.三个节点dn1 ,2,3 逐级应答客户端7.客户端往dn1上传第一个block块 ...原创 2021-12-13 17:55:13 · 865 阅读 · 0 评论 -
Spark2.4.3基本原理与安装
spark是一个实现快速通用的集群计算平台。它是由加州大学伯克利分校AMP实验室 开发的通用内存并行计算框架,用来构建大型的、低延迟的数据分析应用程序。它扩展了广泛使用的MapReduce计算模型。高效的支撑更多计算模式,包括交互式查询和流处理。spark的一个主要特点是能够在内存中进行计算,及时依赖磁盘进行复杂的运算,Spark依然比MapReduce更加高效。中间结果输出:基于MapReduce的计算引擎通常会将中间结果输出到磁盘上,进行存储和容错。出于任务管道承接的,考虑,当一些查询翻译到Map原创 2021-10-20 16:07:28 · 440 阅读 · 1 评论 -
安装zookeeper和hbase
1.首先下载好zookeeperhe和hbase的下载安装包2.然后解压安装包tar -zxf zeppelin-0.8.1-bin-all.tgzmv zookeeper-3.4.5-cdh5.14.2 soft/zk345tar -zxf hbase-1.2.0-cdh5.14.2.tar.gzmv hbase-1.2.0-cdh5.14.2 soft/hbase1203.配置环境变量vim /etc/profile#ZOOKEEPER enviromente...原创 2021-10-06 13:36:22 · 250 阅读 · 1 评论 -
hive在linux上的安装与使用
1.首先安装hadoop前置条件是虚拟机上必须先安装好hadoop和 mysql2.老方法 先把hive压缩包拖到opt目录下3.然后解压压缩包tar -zxf hive-1.1.0-cdh5.14.2.tar.gzmv hive-1.1.1-cdf5.14.2 soft/hive1104.然后修改文件vi /etc/profile#hive environmentexport HIVE_HOME=/opt/soft/hive110export PATH=$PATH:$...原创 2021-09-21 23:19:42 · 614 阅读 · 0 评论 -
hive启动脚本
#! /bin/bashmy_start(){ if [ $1 == "start" ]; then #start hadoop sh /opt/soft/hadoop260/sbin/start-dfs.sh sh /opt/soft/hadoop260/sbin/start-yarn.sh #shart hive nohup /opt/soft/hive110/bin/hive --service hiveserv...原创 2021-09-21 23:23:03 · 385 阅读 · 0 评论 -
hadoop 伪分布式安装流程
1.首先创建一台虚拟机 内存设置最好要大一些 要不玩不起来 我的设置为100g 然后内存线程什么的根据自己电脑配置来2.然后配置文件 安装jdk什么的 前边有已经写好的shell脚本 可以直接用 或者自己配置也可以3.准备工作完成后下载hadoop安装包4.我的是已经下载好了 先放在/opt 目录下5.然后解压 文件tar -zxfhadoop-2.6.0-cdh5.14.2.tar.gz 解压到什么位置自己选择 我的是 解压到已经创建好的/opt/soft/hadoop...原创 2021-09-09 22:57:39 · 863 阅读 · 0 评论