云计算/大数据
码农印象
修炼的过程中,最好有人和你并肩而行,共同成长!努力做一个文邹邹的工具人,你做得越多,你知道的越多......
展开
-
【Docker】docker容器内安装yum,vim等命令
二.更新apt-get指令三. 安装yum命令个人感叹当时在搞mysql集群,需要改ncf配置文件,进入容器之后是没有vim命令的,然后网上各种说法我总结了几种方式改配置文件1.我上述的 docker容器内安装yum,vim等命令2.可以cp 复制,将容器内的文件复制出来,在复制进去3.通过容器卷技术 -v 挂载4.别人或者你自己的配置好的镜像...原创 2022-07-08 11:51:30 · 10704 阅读 · 7 评论 -
【云计算与大数据】知识点总结
前言第一章1.大数据的四个特点(4V)2.大数据计算模式3.云计算第二章(hadoop)1.Hadoop第三章(HDFS)1.HDFS的相关概念2.HDFS数据复制3.HDFS常用命令第四章(HBase)1.概念2.HBase和传统关系数据的区别第七章(MapReduce)1.MapReduce设计的一个理念2.MapReduce在三个层面上的构思第九章1.概念2.应用场景3.Spark理念4.S...原创 2019-06-14 20:17:47 · 9328 阅读 · 0 评论 -
【Hive】Hive基本操作
前言实验步骤一、实验环境准备1.首先在Linux本地新建/data/hive2目录。2.切换到/data/hive2目录下,使用wget命令,下载http://59.74.172.143:60000/allfiles/hive2中cat_group和goods文件。3.输入jps检查Hadoop相关进程,是否已经启动。若未启动,切换到/apps/hadoop/sbin目录下,启动Hadoop。4....原创 2019-05-28 11:46:02 · 1747 阅读 · 0 评论 -
【Hive】Hive安装部署
前言实验步骤1.首先在Linux本地,新建/data/hive1目录,用于存放所需文件。2.将/data/hive1目录下的hive-1.1.0-cdh5.4.5.tar.gz,解压缩到/apps目录下。3.使用vim打开用户环境变量。4.由于Hive需要将元数据,存储到Mysql中。所以需要拷贝/data/hive1目录下的mysql-connector-java-5.1.26-bin.jar到...原创 2019-05-28 11:19:22 · 306 阅读 · 3 评论 -
【HBase】Shell基本操作
前言实验步骤1.首先,我们切换到/apps/hadoop/sbin目录下,开启hadoop相关进程2.然后切换到/apps/hbase/bin目录下,开启hbase相关进程3.使用JPS查看相关进程4.输入hbase shell进入shell环境5.使用version命令查看版本信息6.使用status命令查看服务器状态7.使用whoami命令可查看当前用户8.使用list命令来查看一下都有哪些表...原创 2019-05-28 11:10:52 · 515 阅读 · 0 评论 -
【HBase】HBase安装
前言实验步骤1.首先在Linux本地,新建/data/hbase1目录,用于存放所需文件。2.将/data/hbase1目录下,HBase的安装包hbase-1.0.0-cdh5.4.5.tar.gz,解压缩到/apps目录下。3.添加HBase的环境变量。首先使用vim打开用户环境变量文件。4.下面开始配置HBase。切换目录到/apps/hbase/conf目录下,并使用vim编辑hbase-...原创 2019-05-28 11:10:17 · 413 阅读 · 0 评论 -
【Mapreduce】Mapreduce实例——WordCount
前言一、 MapReduce的工作原理二、MapReduce框架的作业运行流程三、实验环境四、实验内容五、实验步骤MapReduce采用的是“分而治之”的思想,把对大规模数据集的操作,分发给一个主节点管理下的各个从节点共同完成,然后通过整合各个节点的中间结果,得到最终结果。简单来说,MapReduce就是”任务的分解与结果的汇总“。一、 MapReduce的工作原理在分布式计算中,MapRe...原创 2019-05-24 13:34:24 · 4157 阅读 · 1 评论 -
【Hadoop】开发插件安装
前言1.Eclipse开发工具以及Hadoop默认已经安装完毕,安装在/apps/目录下。2.在Linux本地创建/data/hadoop3目录,用于存放所需文件。3.将插件hadoop-eclipse-plugin-2.6.0.jar,从/data/hadoop3目录下,拷贝到/apps/eclipse/plugins的插件目录下。4.进入ubuntu图形界面,双击eclipse图标,启动ecl...原创 2019-05-24 13:25:20 · 366 阅读 · 0 评论 -
【Hadoop】Shell基本操作
前言1.打开终端模拟器,切换到/apps/hadoop/sbin目录下,启动Hadoop2.执行jps,检查一下Hadoop相关进程是否启动3.在/目录下创建一个test1文件夹4.在Hadoop中的test1文件夹中创建一个file.txt文件5.查看根目录下所有文件6.还可以使用ls -R的方式递归查看根下所有文件7.将Hadoop根下test1目录中的file.txt文件,移动到根下并重命名...原创 2019-05-24 13:19:51 · 1570 阅读 · 0 评论 -
【Hadoop】完全分布式安装
进入主界面:一个主结点,两个从结点集群搭建之主节点1、下载安装包及测试文档切换目录到/tmpcd /tmp下载Hadoop安装包wget http://59.74.172.143:60000/hadoop-2.6.0-cdh5.4.5.tar.gz下载JDK安装包wget http://59.74.172.143:60000/jdk-7u75-linux-x64.tar.gz下...原创 2019-05-24 13:06:25 · 526 阅读 · 0 评论