linux系统
小A__
人生不就是写,写,写吗!!!
展开
-
Spark在Linux安装的单机--集群的不同安装模式步骤
本文包含三种模式安装:单机、Standalone、Yarn等一、单机模式 1).下载spark2.1.2.tar.gz 2).解压安装: $>cd /home/hyxy/soft/ $>cp /mnt/hgfs/2.安装环境/download/apache-spark/spark-2.1.2-bin-hadoop2.7...原创 2018-08-27 21:29:26 · 343 阅读 · 0 评论 -
Linux如何修改静态IP
Linux修改静态IP 在master主机上: 1.VMware-->编辑-->虚拟网络编辑器-->还原默认配置-->重置网络设置(主要图省事,为了使Windows与虚 拟机同一个段位) 2.VMware-->编辑-->虚拟网络编辑器-->选中VM8-->关掉DHCP(不然系统会自动找那个动态的ip) ...原创 2018-05-29 14:27:21 · 11654 阅读 · 0 评论 -
hdfs分布式文件系统 默认数据存放路径、及相关配置属性详细解析
hdfs默认数据存放路径1. 默认存放路径:{hadoop.tmp.dir} = /tmp/hadoop-${user.name} 即:$> /tmp/hadoop-hyxy, 注意:/tmp是临时存放文件的路径,但是有时候系统重启,或者数据量太大的时候,系统会 删除里面某些数据,因此一般会修...原创 2018-05-29 13:57:06 · 29515 阅读 · 1 评论 -
Hadoop的伪分布搭建流程,详细步骤
1.通过挂载上传软件至/home/hyxy/soft $>cp jdk1.8.XXX.tar.gz ~/soft $>cp hadoop.2.7.3.tar.gz ~/soft 2.解压相关软件 $>tar -zxvf jdk1.8.XXX.tar.gz $&...原创 2018-05-29 13:32:06 · 1742 阅读 · 1 评论 -
start-all.sh 中出现:Host Key verification failed.解决办法
我们在master主机上开启服务:start-all.sh,可能会报错,例如:提示:slave2 : Host Key verification failed. 主机钥匙认证失败 解决方法: 这时:需要在master主机上:ssh slave1 ...原创 2018-05-29 13:04:49 · 4567 阅读 · 3 评论 -
Hadoop需要了解的 block-块 的含义
Hadoop存储数据是以block存储的HDFS的相关概念 1.hdfs设计原理 负载均衡、考虑分布式计算 -- -->block机制 ① block size : 块大小是为了解决负载均衡,和移动计算;针对文件说的 ② 副本数:解决数据的可靠性...原创 2018-06-04 18:19:11 · 6102 阅读 · 0 评论 -
使得在虚拟机能复制粘贴 -- Linux安装增强
在虚拟机一般不能从其他地方粘贴复制,这需要在虚拟机上安装增强Linux安装增强 1.选择【虚拟机】-->【安装VMware Tools】-->加载VMware Tools的镜像 2.复制【VMwareTools-10.0.10-4301679.tar.gz】至桌面Desktop 3.解压【VMwareTools-10.0.10-4301679....原创 2018-06-04 17:20:44 · 1414 阅读 · 0 评论 -
Linux如何通过sudo获得root权限???
给hadoop账户添加sudo权限: 在root下: chmod u+w /etc/sudoers vi /etc/sudoers 在 root ALL=(ALL) ALL下添加一行: Mcwang ALL=(ALL) ALL //添加sodo授权 chmod u-w /etc/sudoers 撤销文件的写权限 ...原创 2018-05-16 22:22:02 · 11155 阅读 · 0 评论 -
Hadoop,JDK ,SSH 无密钥的Linux下详细的步骤方法
搭建Hadoop,需要在安装jdk,hadoop,以及配置它们的环境变量,还有SSH(虚拟机自带,不用自己安装)三台主机的普通用户都是同一个:Mcwang2018/5/16创建三台虚拟机:master、slave1、slave2三台主机ip地址分别为: master:192.168.201.135 slave1: 192.168. 201.133 ...原创 2018-05-16 19:29:42 · 742 阅读 · 0 评论 -
Namenode,Datanode,SecondaryNamenode的文件结构
NameNode1.NameNode的文件结构//中间省略很多行 分析:从上图可以看出,NameNode的文件结构包含edits、fsimage、seen_txid、VERSIONedits编辑日志(edit log):当客户端执行写操作时,首先NameNode会在编辑日志中写下记录,并在内存中保存一个文件系统元数据,这个描述符会在编辑日志改动之后更新。所有对HDFS的写操作都会记录在此文件中si...原创 2018-05-26 19:55:53 · 403 阅读 · 0 评论 -
Shell Test命令参数
数值测试参数说明-eq等于则为真-ne不等于则为真-gt大于则为真-ge大于等于则为真-lt小于则为真-le小于等于则为真字符串测试参数说明=等于则为真!=不相等则为真-z 字符串字符串的长度为零则为真-n 字符串字符串的长度不为零则为真文件测试参数说明-e 文件名如果文件存在则为真-r 文件名如果文件存在且可读则为真-w 文件名如果文件存在且可写则为真-x 文件名如果文件存在且可执行则为真-s ...原创 2018-05-22 13:08:13 · 506 阅读 · 0 评论 -
Shell test命令
Shell test 命令Shell中的 test 命令用于检查某个条件是否成立,它可以进行数值、字符和文件三个方面的测试。实例1:数值测试num1=100num2=100if test $[num1] -eq $[num2]then echo '两个数相等!'else echo '两个数不相等!'fi结果:两个数相等!实例2:字符串测试num1="ru1noob"...原创 2018-05-22 13:06:48 · 1006 阅读 · 0 评论 -
Shell printf命令
Shell printf命令printf 命令模仿 C 程序库(library)里的 printf() 程序。printf 由 POSIX 标准所定义,因此使用 printf 的脚本比使用 echo 移植性好。printf 使用引用文本或空格分隔的参数,外面可以在 printf 中使用格式化字符串,还可以制定字符串的宽度、左右对齐方式等。默认 printf 不会像 echo 自动添加换行符...原创 2018-05-21 20:20:53 · 245 阅读 · 0 评论 -
浏览器上访问master:50070成功,但活跃节点为0 的解决办法
本次Hadoop有三个节点: master: namenode slave1 : datanode slave2: datanode http://master:50070 浏览器上可以显示hadoop页面,但就是活跃节点为0,解决方法:...原创 2018-05-31 22:23:08 · 3877 阅读 · 0 评论 -
通过 FileSystem API访问BlockLocations 和DataNode信息
1.通过FileSystem API访问BlockLocations块位置信息 指定一个文件名,查看存储文件信息的block位置信息@Test public void BlockByFs() throws IOException{ Configuration conf=new Configuration(); FileSystem fs=FileSyste...原创 2018-06-23 14:34:26 · 1123 阅读 · 0 评论 -
Shell指令对于数组相关命令的详解
Shell 数组 数组中可以存放多个值。Bash Shell 只支持一维数组(不支持多维数组),初始化时不需要定义数组大小(与 PHP 类似)。与大部分编程语言类似,数组元素的下标由0开始。 Shell 数组用括号来表示,元素用"空格"符号分割开,语法格式如下: array_name=(a1 a2 ... an)使用规则 ...原创 2018-05-12 17:11:38 · 609 阅读 · 0 评论 -
配置Zookeeper组件的步骤和讲解-- 集群模式
本文主要是在Zookeeper单机的条件下,去部署配置集群的zookeeper, 单机模式的配置是在: 【https://blog.csdn.net/xiaozelulu/article/details/81211258】博客下完成。自动容灾(自动故障转移):需要在HDFS部署环境中配置两个组件: 1.Zookeeper集群 2.ZK...原创 2018-07-29 14:16:28 · 710 阅读 · 0 评论 -
Exception in thread "main" java.lang.UnsatisfiedLinkError: org.apache.hadoop.io解决方法
本地执行MapReduce数据,可能会出现下面的错误: 抛异常:Exception in thread "main" java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z 原因:...原创 2018-06-28 13:58:33 · 7539 阅读 · 5 评论 -
了解MapReduce之Partition分区的概念与执行过程(附例子)
Partition1.用户需求 在执行MR程序时我们可能想要将不同的数据放到不同的文件中。2.概念 partition是在map阶段完成后执行的。然后将分好区的数据传输到reduce端,也就是由Partitioner来决定每条记录应该送往哪个reducer节点。mapreduce中默认的分区是HashPartition类; 核心代码:...原创 2018-07-09 20:02:06 · 4021 阅读 · 0 评论 -
MapReduce计算奇偶行分别求和--附例子
例题:一个age文件,里面每行都是一个年龄,一共1-20行,需求:奇偶行求和!!!编写Mapper和Reducer阶段需要了解的数据类型在Mapper阶段:/** * 四个泛型类型分别代表: * KeyIn Mapper的输入数据的Key,这里是每行文字的起始位置(1,2...20) * ValueIn Mapper的输入数据的Value,这里...原创 2018-07-09 10:18:42 · 1303 阅读 · 0 评论 -
MyEclipse连接HDFS API后,run执行之后出现的报错,,, Errors!!!
在MyEclipse连接Hadoop集群时,编写语句后,run执行之后出现的Errors!!!其中,出现以下几点:执行语句后出现的问题: 1)java.lang.IllegalArgumentException: Wrong FS: hdfs://master:9000/test.txt, expected: file:/// at org.apache.hadoop.fs.FileSyste...原创 2018-06-19 19:05:41 · 1002 阅读 · 0 评论 -
java.lang.Exception: java.lang.OutOfMemoryError: Java heap space MyEclipse运行报错,内存溢出(解决)
MyEclipse运行之后报错:java.lang.Exception: java.lang.OutOfMemoryError: Java heap spaceCaused by: java.lang.OutOfMemoryError: Java heap space at org.apache.hadoop.mapred.MapTask$MapOutputBuffer.init(MapTask....原创 2018-06-30 22:54:45 · 946 阅读 · 0 评论 -
HDFS API 操作--MyEclipse中连接集群Hadoop
安装MyEclipse2014,开启服务:start-all.sh,我们的目的是:在MyEclipse中连接hadoop集群,之后,从hadoop中的集群获取HDFS(文件分布式系统)的各种数据信息,hdfs API-------------------- 1.HDFS:hadoop分布式文件系统--> 两种表现形式:1.hadoop fs shell命令:【hadoop...原创 2018-06-10 18:40:17 · 873 阅读 · 0 评论 -
MyEclipse如何设置断点
MyEclispe设置断点,及如何一步一步执行,获取信息步骤:1. 首先:设置断点2.选中方法名:createfile -->右键-->选择Debug AS ,即可出现断点的视图,也可以直接选中这个【小昆虫】双击。断点的视图如下:3.一行一行执行:我的电脑上f6不好使,需要:Fn + f6 (f6在左上角有标记)这个就执行的结果示意图: 4.主要步骤如上!! ...原创 2018-06-10 17:47:45 · 5728 阅读 · 0 评论 -
NameNode与block的一点联系
1.namenode与secondarynamenode是否放到同一个节点 不能,原因:单节点内存大小有物理限制;2.namenode内存大小由谁决定? 由集群中的块的数量决定; 换算规则:默认情况下。每个block大小对应元数据为150字节。 那么,如集群中存在1亿个块文件,元数据大小为1亿*150/(1024*1024*1024)=14G3.如何减少block的数量? 设置dfs.bloc...原创 2018-06-23 22:32:35 · 813 阅读 · 0 评论 -
HDFS API 读操作 -seek指针操作 ,append追加文件
1.通过java.net.URL类访问写入HDFS数据 /* * 通过java.net.URL类访问写入HDFS数据 * 结论:通过URL的方式不能实现对HDFS的写操作,抛java.net.UnknownServiceException: protocol (协议)doesn't support output */ @Test p...原创 2018-06-23 15:27:49 · 2265 阅读 · 1 评论 -
通过FileSystem API 访问获取HDFS数据,创建文件,获取文件相关属性的方法
1.从hadoop URL读取数据 static { URL.setURLStreamHandlerFactory(new FsUrlStreamHandlerFactory()); } @Test public void readByURL() throws Exception { URL _url = new URL("hdfs://master:9000/test.tx...原创 2018-06-23 14:59:00 · 2400 阅读 · 0 评论 -
Shell echo命令
Shell echo命令 1.显示普通字符串 echo “hello world” 双引号可以忽略 2.显示转义字符 echo "\"It is a test\"" "It is a test" ...原创 2018-05-21 19:14:18 · 1417 阅读 · 0 评论 -
数据类型及关键字
一、表: 表是DB用来存储数据的结构模型, 表是一个二维结构。 有行:也叫记录(record) 有列:也叫字段(Field)二、SQL:结构化查询语言,用途就是通过DBMS来操作DB的。 里面含有 (1)DDL语言:数据定义语言 create:用来创建表等。 alter: 用来修改表结构的。 dro...原创 2018-05-08 12:59:47 · 3135 阅读 · 0 评论 -
Hadoop分别启动namenode,datanode,secondarynamenode等服务
查找当前解压文件之后,hadoop2.7.3的默认配置文件, 四个文件的.xml, 1.core-default.xml hadoop-2.7.3\share\hadoop\common\hadoop-common-2.7.3.jar 2.hdfs-default.xml hdfs\hadoop-hdfs-2.7.3 3.mapred-...原创 2018-05-20 23:01:27 · 42170 阅读 · 0 评论 -
软件包管理- rpm yum的常用命令
Linux软件包安装二进制软件包管理 A、RPM B、YUM RPM软件包的一个例子: jdk-7u80-linux-x64.rpm其中包括软件名(jdk),版本号(7u80),适用平台(linux-x64) (1)卸载: $> rpm –e [ --nodeps ] jdk...原创 2018-05-12 17:47:22 · 179 阅读 · 0 评论 -
Linux系统下,安装jdk,配置环境变量
1.先进入usr文件夹下2.再进入local下,可以看到之前下载的软件包jdk -7....rpm , /usr/local 3.先检查jdk是否安装,然后利用RPM进行解压4.查看jdk解压后,安装的路径:/usr/java/jdk/1.7.0.80 (java文件夹是解压自动创建的)5.jdk安装之后,查看它:6.配置JDK环境变量:进入配置文件/etc/profile 里面修...原创 2018-05-05 20:20:43 · 154 阅读 · 0 评论 -
SSH无密钥登陆笔记
SSH无密钥登陆 (.ssh的权限是700,authorized_keys权限是600) 1)master :在~下 ssh-keygen -t rsa //生成自己的私钥和公钥,/home/Mcwang就会自动生成.ssh文件 chmod 700 .ssh //.ssh权限700 cp id_rsa.pub authorized_keys chmod 600 authorized...原创 2018-05-18 12:20:21 · 153 阅读 · 0 评论 -
Linux条件下如何卸载jdk 和安装jdk
虚拟机自带jdk,当然我们也可以卸载安装另外的jdk版本jdk的卸载与安装1.将系统自带的jdk1.7版本卸载 $>rpm -qa | grep java //查询安装jdk的版本 $>yum -y remove java* //彻底删除jdk (需要使用root权限: sudo 或r...原创 2018-05-18 10:04:06 · 743 阅读 · 0 评论 -
Linux更改主机名
Linux修改主机名: 1.暂时修改:hostname newname 2.长久修改:sudo vi /etc/sysconfig/network如何通过sudo获得root权限,博客即在: https://blog.csdn.net/xiaozelulu/article/details/80343532...原创 2018-05-18 09:43:54 · 313 阅读 · 0 评论 -
linux更改eth0配置
Linux更改eth0配置(重启失效) ifconfig eth0 up 开启eth0 sudo dhclient eth0 更新eth0IP地址 sudo ifconfig eth0 运行原创 2018-05-18 09:41:11 · 5287 阅读 · 0 评论 -
win10对hosts文件 获得写权限
win10操作系统下修改hosts权限问题: 找到hosts文件, 右键单击,选中属性--》安全--》点击高级--》添加, --》选择主体--》点击高级--》立即查找--》在搜索结果中找到电脑账户, --》点击确定,--》确定--》将权限勾选,点击确定、应用, 此时可以修改hosts并保存文件。...原创 2018-05-18 09:09:21 · 4329 阅读 · 0 评论 -
VMWare虚拟机上安装系统(CentOS系统)
*前期准备:你需要在你的电脑上安装好VMWare虚拟机,方法比较简单,直接下一步下一步 就可以,产品秘钥百度有很多,随便用一、打开VMWare虚拟机,选择创建创建新的虚拟机,如图所示:最后,点击完成就可以了二、启动虚拟机,开始安装系统,如图所示:选择第一个下一步:相当于格式化:然后前进,前进,一直前进,知道点击完成,最后,点击设置的用户名,和密码,就可以进入自己的虚拟机了然后,你就可以在虚拟机里面...原创 2018-04-26 10:38:11 · 2780 阅读 · 0 评论 -
JDBC异常处理
JDBC异常处理JDBC 中,和异常相关的两个类是 SQLException 和 SQLWarning。1. SQLException 类:用来处理较为严重的异常情况。 比如 : ① 传输的 SQL 语句语法的错误; ② JDBC 程序连接断开...原创 2018-05-09 00:16:42 · 1107 阅读 · 0 评论 -
Linux常用命令
一、常用命令 1.文件处理命令 命令名称命令愿意 执行权限 功能描述语法 选项 举例lslist所有用户 显示命令文件 ls 选项 目录或文件-a:显示所有文件;-l:详细信息;-d:查看目录属性; cdchange directory所有用户 切换目录 cd 目录 cd /切换到根目录pwdprint working directory 所有用户 显示当前所在工作目录pwd to...原创 2018-04-23 19:10:34 · 230 阅读 · 0 评论