基础
stephen@
放羊的牧羊犬
展开
-
python3和python2切换 和 pip共存问题(已解决)
系统信息IDE: PyCharm 2018.3.5 (Community Edition)JRE: 1.8.0_152-release-1343-b28 amd64JVM: OpenJDK 64-Bit Server VM by JetBrains s.r.oOS Platform Windows 10 10.01进入python官网,选择Downloads—>all relea...原创 2019-03-14 18:17:40 · 5999 阅读 · 0 评论 -
配置slave
问题描述: 设置Hadoop的slave有多少个,本节以设置两个slave。要完成添加slave,要克隆slave或者自建slave,本教程是克隆虚拟机,如果没有克隆多个虚拟机slave,请完成克隆虚拟机并且修改克隆好的虚拟机的IP地址和修改虚拟机系统的主机名.(以下简称hostname),才能完成Hadoop的slave文件配置。第一步: 打开slaves文件第二步: 添加你自...原创 2019-04-06 10:42:10 · 5384 阅读 · 0 评论 -
创建从机(slave)
第五章主要是创建从机的教程,分别是克隆虚拟机,安装密钥(本教程是主机无密码登录从机),在安装完密钥的基础上使用ssh传输文件。5.3 创建从机(slave) 5.3.1 克隆虚拟机并创建从机 VMware 克隆虚拟机,克隆你最想回到系统的状态,克隆虚拟机可以快速的创建虚拟机,免去重复安装的烦恼。 5.3.2 安装密钥 在搭建Hadoop环境需要设置无密...原创 2019-04-06 16:25:37 · 2770 阅读 · 0 评论 -
克隆虚拟机并创建从机
问题描述:本小节克隆虚拟机并创建从机,克隆的状态是 从 主机(master)已经完成安装hadoop的7个配置文件 克隆到 从机(slave)上。克隆数目为两个,并对应修改其主机名(hostname)和ip地址。其中hadoop中主从机的别名、节点名、主机名和IP地址映射关系如下表:NamefunctionhostnameIP addressMasterNameNo...原创 2019-04-06 16:45:50 · 2547 阅读 · 0 评论 -
安装密钥
前言:在linux系统中,ssh是远程登录的默认工具,因为该工具的协议使用了RSA/DSA的加密算法.该工具做linux系统的远程管理是非常安全的。telnet,因为其不安全性,在linux系统中被搁置使用了。" 公私钥"认证方式简单的解释:首先在客户端上创建一对公私钥 (公钥文件:~/.ssh/id_rsa.pub; 私钥文件:~/.ssh/id_rsa)。然后把公钥放到服务器上(~/.ss...原创 2019-04-06 17:09:52 · 3377 阅读 · 1 评论 -
修改hadoop-env.sh配置文件
前言:序号配置文件名配置对象主要内容1hadoop-env.shhadoop运行环境用来定义hadoop运行环境相关的配置信息2core-site.xml集群全局参数用于定义系统级别的参数,如HDFS URL 、Hadoop的临时目录等3hdfs-site.xmlHDFS如名称节点和数据节点的存放位置、文件副本的个数、文件的读取权限等4...原创 2019-04-01 19:53:36 · 35081 阅读 · 6 评论 -
Hadoop集群概念设计
Hadoop是什么什么是Hadoop集群Hadoop能做什么Hadoop是什么? Hadoop是一种分析和处理大数据的软件平台,是Appach的一个用Java语言所实现的开源软件的加框,在大量计算机组成的集群当中实现了对于海量的数据进行的分布式计算。 Hadoop的框架最核心的设计就是:Hadoop Distributed File System,Hadoop(以下简称HDFS)和M...原创 2019-03-28 21:00:57 · 7786 阅读 · 2 评论 -
初始化hdfs
提出问题: 什么是HDFS 怎么初始化HDFS什么是HDFS本小节不再详述hdfs,请参考构建HDFS里面对HDFS介绍怎么初始化HDFS在master节点上运行,初始化HDFS第一步:找到hadoop根目录的bin,输入初始化代码:hdfs namenode - format成功结果如下,如抛出错误,按照抛出具体问题自行google、bing、百度解决。(to be ...原创 2019-04-11 20:06:32 · 4448 阅读 · 0 评论 -
在master节点启动hdfs
问题提出: 在master节点启动hdfs第一步: 接着上篇的步骤,在master节点上,在hadoop的根目录的/sbin上启动hdfs的全部节点, 成功结果如下,如抛出错误,按照抛出具体问题自行google、bing、百度解决。启动个别节点启动namenode sbin/hadoop-daemon.sh start namenode启动datanode sbin...原创 2019-04-11 20:20:57 · 4255 阅读 · 0 评论 -
查看各个节点启动状态
提出问题: 查看各个节点启动状态第一步:查看master节点启动状态 在master(hadoop001)上查看slave1和slave2启动状态 在slaves(hadoop002和hadoop003)上(to be continued )快速链接上一篇汇总目录下一篇 云计算数据平台-hadoop集群 ...原创 2019-04-11 20:27:24 · 8431 阅读 · 0 评论 -
修改core-site.xml配置文件
前言配置Hadoop的主要5个文件序号配置文件名配置对象主要内容1hadoop-env.shhadoop运行环境用来定义hadoop运行环境相关的配置信息2core-site.xml集群全局参数用于定义系统级别的参数,如HDFS URL 、Hadoop的临时目录等3hdfs-site.xmlHDFS如名称节点和数据节点的存放位置、文件副本的...原创 2019-04-02 20:44:37 · 37824 阅读 · 9 评论 -
Hadoop运行结果
5.5 Hadoop运行结果Hadoop的各个web界面的地址web界面地址HDFS页面hostname:50070YARN的管理界面hostname:8088HistoryServer的管理界面hostname:19888Zookeeper的服务端口号hostname:2181Mysql的服务端口号hostname:3306Hive...原创 2019-04-11 22:07:29 · 3323 阅读 · 0 评论 -
使用HDFS管理界面
进入HDFS管理界面这里可以看到HDFS的管理情况在hadoop001打开浏览器,进入HDFS管理界面,输入:192.168.216.128:50070点击Datanodes(to be continued )快速链接上一篇汇总目录下一篇 云计算数据平台-hadoop集群 ...原创 2019-04-11 22:27:09 · 9391 阅读 · 1 评论 -
使用ssh传输文件
使用SSH在电脑之间传输文件,因为本教程已经用VMware 14 克隆 CentOS 7,把主机的整个Hadoop文件到其他电脑上,达到Hadoop创建从机的要求。在此就不再详述如果是使用其他台式物理电脑的朋友,可以使用使用ssh将配置好的hadoop传到另外从机电脑上本教程使用ssh将在主机上配置好的hadoop和环境变量路径传到另外两台虚拟机第一步:查看此时路径:使用scp传输Ha...原创 2019-04-08 22:30:14 · 23060 阅读 · 0 评论 -
执行下载文件
问题描述: 在web页面下载文件第一步: 在master机的浏览器打开192.168.216.128:50070第二步: 出现如下界面:结果:(to be continued )快速链接上一篇汇总目录下一篇 云计算数据平台-hadoop集群 ...原创 2019-04-15 19:23:55 · 2345 阅读 · 0 评论 -
使用yarn管理界面
这里可以看到yarn的管理情况在hadoop001打开浏览器,输入:192.168.216.128:8088进入yarn管理界面(to be continued )快速链接上一篇汇总目录下一篇 云计算数据平台-hadoop集群 ...原创 2019-04-12 21:54:52 · 7742 阅读 · 0 评论 -
构建HDFS
5.4 构建HDFS Hadoop 附带了一个分布式文件系统(Hadoop Distributed File System,以下简称HDFS),基于 Hadoop 的应用程序使用 HDFS 。HDFS 是专为存储超大数据文件,运行在集群的商品硬件上。它是容错的,可伸缩的,并且非常易于扩展。 当数据超过一个单个物理机器上存储的容量,除以跨独立机器数。管理跨越机器的网络存储特定操作被称为分布...原创 2019-04-09 21:13:28 · 2819 阅读 · 0 评论 -
hadoop功能测试
第六章主要是Hadoop的功能测试,本小节主要是叙述相关章节6.功能测试 6.1 执行上传文件 6.2 执行下载文件(to be continued )快速链接上一篇汇总目录下一篇 云计算数据平台-hadoop集群 ...原创 2019-04-14 14:10:07 · 2799 阅读 · 0 评论 -
搭建Hadoop
第五章主要是搭建Hadoop的操作说明,本小节主要是叙述相关章节 5.1 Hadoop集群概念设计 5.2 安装Hadoop 5.2.1 修改hadoop-env.sh配置文件(一) 5.2.2 修改core-site.xml配置文件(二) 5.2.3 修改hdfs-site.xml配置文件(三) 5.2.4 修改mapred-site.xml配置文件 (四...原创 2019-03-27 19:36:12 · 859 阅读 · 0 评论 -
配置hadoop环境变量
问题描述: 将之前解压的JDK的根目录和Hadoop根目录添加到/etc/profile文件里面。具体路径如下:NameContentJAVA_HOME的路径/usr/Mysoft/jdk1.8.0_141HADOOP_HOME的路径/Myhadoop/Hadoop-2.7.4/第一步: 打开profile文件第二步: 导入Hadoop根目录...原创 2019-04-06 10:25:59 · 4079 阅读 · 0 评论 -
修改yarn-site.xml配置文件
前言配置Hadoop的主要5个文件序号配置文件名配置对象主要内容1hadoop-env.shhadoop运行环境用来定义hadoop运行环境相关的配置信息2core-site.xml集群全局参数用于定义系统级别的参数,如HDFS URL 、Hadoop的临时目录等3hdfs-site.xmlHDFS如名称节点和数据节点的存放位置、文件副本的...原创 2019-04-05 22:22:29 · 19373 阅读 · 2 评论 -
修改CentOS-7系统的IP地址
修改CentOS-7系统的IP地址:以192.168.216.129改成192.168.216.128为例第一步:查看CentOS-7的原始IP第二步:修改ifcfg-ens33文档的静态IP地址修改前:修改后:第三步:重启网卡第四步:检查...原创 2019-03-25 08:56:53 · 1323 阅读 · 0 评论 -
修改CentOS-7系统的主机名
(to be continued )快速链接上一篇汇总目录下一篇3.1 修改CentOS-7系统的IP地址云计算数据平台-hadoop集群 3.3 修改CentOS-7的IP地址与主机名的映射关系 )...原创 2019-03-25 17:34:17 · 1013 阅读 · 0 评论 -
修改CentOS-7的IP地址与主机名的映射关系
(to be continued )快速链接上一篇汇总目录下一篇 云计算数据平台-hadoop集群原创 2019-03-25 17:39:06 · 1543 阅读 · 0 评论 -
关闭CentOS-7防火墙
(to be continued )快速链接上一篇汇总目录下一篇 3.3 修改CentOS-7的IP地址与主机名的映射关系 云计算数据平台-hadoop集群 4.1 Putty使用方法 ...原创 2019-03-25 17:47:38 · 838 阅读 · 0 评论 -
PuTTY使用方法
(to be continued )快速链接上一篇汇总目录下一篇 3.4 关闭CentOS-7防火墙 云计算数据平台-hadoop集群 4.2 FileZilla使用方法原创 2019-03-25 18:12:14 · 1929 阅读 · 0 评论 -
FileZilla使用方法
(to be continued )快速链接上一篇汇总目录下一篇 4.1 Putty使用方法 云计算数据平台-hadoop集群 4.3 安装JDK原创 2019-03-25 18:26:28 · 2580 阅读 · 0 评论 -
安装JDK
(to be continued )快速链接上一篇汇总目录下一篇 4.2 FileZilla使用方法云计算数据平台-hadoop集群 5.1 Hadoop集群概念设计原创 2019-03-26 20:52:03 · 842 阅读 · 0 评论 -
CentOS-7系统的基本配置
hadoop别名、节点名、主机名和IP地址映射关系表NamefunctionhostnameIP addressMasterNameNodehadoop001192.168.216.128Slave1DataNodehadoop002192.168.216.129Slave2DataNodehadoop003192.168.216.130...原创 2019-03-25 16:50:08 · 684 阅读 · 0 评论 -
部分工具的使用方法(搭建Hadoop基础工具)
搭建Hadoop基础工具有PuTTY,FileZilla和JDK这三个工具4. 部分工具的使用方法 4.1 Putty使用方法 PuTTY is an SSH and telnet client, developed originally by Simon Tatham for the Windows platform. PuTTY is open source software t...原创 2019-03-25 18:03:37 · 776 阅读 · 0 评论 -
VMware 14安装 CentOS 7
前言所需的软件下载链接: VMwareWorkstationPro14.0.0 (以下简称VMware) CentOS-7-x86_64-DVD-1810.iso(以下简称CentOS-7)第一步: 安装VMware过程,本文不再细述.第二步: 新建虚拟机,典型(推荐)->安装程序光盘映像文件,选中下载好的centos7.iso第三步: 记住这虚拟机...原创 2019-03-22 20:51:58 · 707 阅读 · 0 评论 -
安装Hadoop
5.2 安装Hadoop 本章节为安装Hadoop的具体操作 5.2.1 修改hadoop-env.sh配置文件(一) 5.2.2 修改core-site.xml配置文件(二) 5.2.3 修改hdfs-site.xml配置文件(三) 5.2.4 修改mapred-site.xml配置文件 (四) 5.2.5 修改yarn-site.xml配置文件(五)...原创 2019-03-29 20:41:22 · 1482 阅读 · 0 评论 -
VMware 14 克隆 CentOS 7
第一步: 选项卡选择你需要克隆的系统(你最想回到系统的状态)第二步: 选择虚拟机->管理->克隆第二步: 克隆虚拟机中的当前状态第三步: 选择创建完整克隆(不建议选择创建链接克隆,因为链接克隆必须能够访问原始虚拟机才能运行,在配置其他状态的时候需要的要求比较高。第四步: 记住这虚拟机名称,还有位置,它是存放虚拟机的路径,最好放在默认目录。第五步:...原创 2019-03-22 21:03:03 · 823 阅读 · 0 评论 -
学习git分布式版本管理系统(干货)
Git分布式版本管理系统 特色一:分布式 特色二:分支什么是Git 为了将修改记录的整体流程分叉保存。分叉后的分支不受其他分支的影响,在同一个数据库里可以同时进行多个修改,分叉的分支可以合并学习Git的干货推荐三个网站:廖雪峰python 廖雪峰,wiki写的教程不错,有讲历史来由,有对比,由浅入深,通俗易懂,比较系统教程。还有其他javaScript教程、Python教程...原创 2019-03-13 21:43:48 · 2756 阅读 · 0 评论 -
修改hdfs-site.xml配置文件
前言配置Hadoop的主要5个文件序号配置文件名配置对象主要内容1hadoop-env.shhadoop运行环境用来定义hadoop运行环境相关的配置信息2core-site.xml集群全局参数用于定义系统级别的参数,如HDFS URL 、Hadoop的临时目录等3hdfs-site.xmlHDFS如名称节点和数据节点的存放位置、文件副本的...原创 2019-04-03 21:45:00 · 15119 阅读 · 3 评论 -
代码注释
本文档大概指出了部分语言的相关注释的注意事项,主要涵盖JavaScript、Java、C++、Python等公司中大量使用的语言注释的好处 佛系讲解代码注释的好处(转载请指明出于breaksoftware的csdn博客)部分注释文件注释写入文件头部""" filename:[文件名] author:〈版权〉 describe:〈描述〉 修改人:〈修...原创 2019-03-27 10:45:14 · 593 阅读 · 0 评论 -
修改mapred-site.xml配置文件
前言配置Hadoop的主要5个文件序号配置文件名配置对象主要内容1hadoop-env.shhadoop运行环境用来定义hadoop运行环境相关的配置信息2core-site.xml集群全局参数用于定义系统级别的参数,如HDFS URL 、Hadoop的临时目录等3hdfs-site.xmlHDFS如名称节点和数据节点的存放位置、文件副本的...原创 2019-04-04 21:33:30 · 16199 阅读 · 2 评论 -
史上最全的正则表达式-匹配中英文、字母和数字
前言在做项目的过程中,使用正则表达式来匹配一段文本中的特定种类字符,是比较常用的一种方式,下面是对常用的正则匹配做了一个归纳整理。部分匹配匹配中文:[\u4e00-\u9fa5]英文字母:[a-zA-Z]数字:[0-9]匹配中文,英文字母和数字及_:^[\u4e00-\u9fa5_a-zA-Z0-9]+$同时判断输入长度:[\u4e00-\u9fa5_a-zA-Z0-9_]{4,10...原创 2019-03-27 18:18:26 · 15719 阅读 · 0 评论 -
执行上传文件
使用putty端上传文件,在web页面查看文件情况第一步: 在master节点打开浏览器输入192.168.216.128:50070,点击Utilities查看当前文件情况第二步: 在putty端输入第三步: 查看结果(to be continued )快速链接上一篇汇总目录下一篇 云计算数据平台-hadoop集群 ...原创 2019-04-14 14:28:01 · 2780 阅读 · 0 评论