长安一片月-CSDN博客

原创关于SQL Server级联操作

首先推荐一个SQL Server 基本练习连接：https://www.2cto.com/database/201804/737669.html。数据库中有三张表：department(部门),major(专业),teacher(老师)创建三张表：-- 创建表-- 创建院系信息表use stuManage;create table department( dNo ch...

2018-10-30 11:35:25 3167

原创 Day12-Hadoop中MapReduce编程

hadoop------------------------------- 1.组成：common、hdfs、mapreduce、yarn。 2.hadoop集群搭建流程：3种搭建流程。 3.hdfs shell命令 4.hdfs体系结构：主从结构{namenode、datanode、secondarynamenode} 都是守护进程而非节点。【官网结构图】 fs...

2018-08-25 10:24:45 213

原创 Day09-hdfs API

hdfs API-------------------- 1.HDFS:hadoop分布式文件系统--> 两种表现形式：1.hadoop fs shell命令：【hadoop fs -commond】 2.java API方式访问: 【DistributedFileSystem】对应的HDFS 2.搭建IDE ...

2018-08-25 10:21:42 223

原创 Day09-搭建IDE

hdfs API----------------------- 1. 2. 搭建IDE a. b. 集成eclipse环境 1.将hadoop-eclipse-plugin-2.6.0.jar复制到 2. 3. 4. 5.创建hadoop链接： a>.打开【MapReaduce Loca...

2018-08-25 10:20:46 171

原创 Day08-hdfs commond命令

hdfs commond命令---------------------------- 1.appendToFile追加文件至目标文件末尾；(开yarn进程) $>hadoop fs -appendToFile text111.txt /spaceQuota/text.txt 2.getmerge:合并文件 $>hadoop fs -getm...

2018-08-25 10:19:03 145

原创使用rpm命令查看软件是否安装，卸载、安装软件

使用rpm命令查看软件是否安装，卸载、安装软件常用命令rpm -qa | grep mysql //查看系统是否安装mysqlrpm -e mysql //卸载mysqlrpm -i 安装包 //安装软件rpm相关命令：-a：查询所有套件；-b<完成阶段><套件档>+或-t <完成阶段><套件档>+...

2018-08-25 10:15:45 10070

原创关于继承Reducer类，内部方法分析

写自己的MyReducer类需要继承Reducer类。其中逻辑算术写在reduce()函数中，setup()函数在整个reducer中是靠前面执行的，且只执行一次。所以很多需要设计在输出前面的且不重复执行的可以写在setup()方法中。...

2018-07-24 17:03:38 634

原创出错：/bin/bash: line 0: fg: no job control

问题：在windows的myeclipse上运行MapReduce在Linux的yarn上，会出现这个错误。4个配置文件已经配好，Linux上的集群和yarn也已经开启。原因：我是刚配置完mapred-site.xml文件中的mapreduce.framework.name值为yarn，集群上也修改了一些配置文件。解决：第二天使用Myeclipse就能直接使用，简单来说重启电脑。...

2018-07-24 17:01:16 1879

原创在myeclipse中运行MR从http://localhost:8080/到http://master:8088/

问题：我把4个配置文件已经设置为在hdfs存储，在yarn上运行，但是打包driver类放到lib目录下，也添加到path中，集群也打开了，问题就是运行的时候显示job在localhost上运行。即The url to track the job: http://localhost:8080/ 没有: mapreduce.Job: The url to track the job: htt...

2018-07-23 23:06:02 1943

原创提交MapReduce任务出错：unknown queue: default

报错：unknown queue: default原因：提交job作业，给application设置队列，如果没有设置队列，默认加载default队列，问题是学习配置任务队列的时候，我把参数设置order,phone，这样把之前root下默认的default给覆盖掉了。解决：在重新配置root下的队列中多加一个default用,隔开。错误截图：capacity-schedu...

2018-07-23 22:04:36 3692

JAVA 常用框架和工具集成开发工具（IDE）：Eclipse、MyEclipse、Spring Tool Suite（STS）、Intellij IDEA、NetBeans、JBuilder、JCreatorJAVA服务器：tomcat、jboss、websphere、weblogic、resin、jetty、apusic、apache负载均衡：nginx、lvsweb层框架：Spring MV...

2018-07-15 09:30:39 798

原创非常好用的刺客推荐

最近玩王者荣耀喜欢上玩一个刺客，这个刺客是兰陵王，它前期刷完一波野后立即升4级，抓人简直无解。杀人秘籍：1.开大隐身走到敌人附近，保证1和2技能都能打中，先放2技能再1技能眩晕，最后反向补大招，这样就算杀不死也能跑掉。如果能必定杀死先平A几刀，最后反向大。...

2018-07-15 09:26:01 209

原创 hadoop2-第十二章-Sqoop安装与使用

Sqoop的安装与使用Sqoop介绍Sqoop即 SQL to Hadoop ，是一款方便的在传统型数据库与Hadoop之间进行数据迁移的工具，充分利用MapReduce并行特点以批处理的方式加快数据传输，发展至今主要演化了二大版本，Sqoop1和Sqoop2，我们以Sqoop1为案例进行讲解，Sqoop2商用不太稳定。Sqoop工具是Hadoop下连接关系型数据库和Hadoop的桥梁，支持关系型...

2018-06-21 21:52:51 240

原创 hadoop1-实验四-ubuntu-14.04.5-desktop-i386中安装Hbase

ubuntu-14.04.5-desktop-i386中安装Hbase实验环境：1.ubuntu-14.04.5系统2.hbase-1.1.5-bin.tar.gz安装包3.hadoop伪分布式搭建完成一、安装Hbase 1. 使用传输工具将Hbase安装包发送到Ubutu系统的/home/hadoop/下载目录下 2. 解压Hbase安装包到/usr/local下 $>sud...

2018-06-21 14:15:05 623

原创 Kafka的安装和简单实例测试

Kafka的安装和简单实例测试一、安装kafka前提：事先将kafka_2.10-0.10.1.0.tgz安装包放入到~/下载目录下。注：kafka的使用依赖zookeeper,安装kafka前必须先安装zookeeper, 下载稳定版本0.10.1.0的kafka.此安装包内已经附带zookeeper,不需要额外安装zookeeper.1. 进入~/下载目录，查看安装包是否存在$&g...

2018-06-19 09:02:26 693

原创第十一章-安装Flume(使用Flume操作两个实例)

一、安装Flume1. 解压Flume安装包到/usr/local中$>sudo tar -zxf apache-flume-1.7.0-bin.tar.gz -C/usr/local2. 给Flume文件夹改名$>cd /usr/local$>sudo mv apache-flume-1.7.0-bin/ flume3. 修改flume文件夹的拥有者$&...

2018-06-08 15:06:17 1757

原创 Storm编程实践(安装Maven-使用Maven编译运行代码-mvn 打包)

Storm编程实践(安装Maven-使用Maven编译运行代码-mvn 打包)实验报告（三）《Hadoop数据分析平台II》实验报告实验名称：Storm编程实践姓名/学号：甘宇/041540120 日期：18.6.4 实验环境：操作系统：Linux Hadoop版本：2.6.0或以上版本 Zookeeper版本：3.4.6或以上版本 Storm版本：0.9.6或以上版本 Mav...

2018-06-08 09:44:43 1254

原创 Ubuntu14中安装zookeeper3.4.6和Storm0.9.6

安装Zookeeper1. 解压安装包到/usr/local中2. 修改/usr/local下的zookeeper-版本号文件夹改为zookeeper3. 修改zookeeper文件的拥有者为hadoop用户4. 修改配置文件/usr/local/zookeeper/conf/zoo.cfga. 在zookeeper目录下新建tmp文件b. 将con...

2018-06-07 19:01:17 288

原创 Day04-静态IP设置、克隆虚拟机、Hadoop完全分布式搭建

静态IP设置、关闭防火墙、克隆虚拟机、Hadoop完全分布式搭建静态IP的设置-------------------------- 1.VMware-->编辑-->虚拟网络编辑器-->还原默认配置-->重置网络设置 2.VMware-->编辑-->虚拟网络编辑器-->选中VM8-->关掉DHCP 3.查看网络相关配置： ...

2018-06-07 14:27:57 468

原创 Day06-HDFS的体系结构(namenode作用、datanode作用、block)、fsimage文件、edits文件和checkpoing检查点机制

HDFS的体系结构(namenode作用、datanode作用、block)、fsimage文件、edits文件和checkpoing检查点机制和Namenode开启过程HDFS的体系结构------------------------- 1.namenode[守护进程]作用：管理文件系统名称空间；【fsimage元数据镜像文件】管理客户端对文件的访问。【edits操作文件...

2018-06-07 13:08:28 588 1

原创 Day07-hdfs dfsadmin 常用命令-包括手动合并镜像文件(fsimage)与操作文件(edits)，手动滚动操作文件

hdfs dfsadmin 常用命令-包括手动合并镜像文件(fsimage)与操作文件(edits)，手动滚动操作文件手动操作checkpoint----------------------------- 1.安全模式：【开启状态】 $>hdfs dfsadmin -safemode enter //进入 $>hdfs dfsadmin -safemode le...

2018-06-07 13:02:39 2441

原创如何减少block的数量？也就是减小Namenode的内存压力？

问题：如何减少block的数量？也就是减小Namenode的内存压力？答：设置dfs.blocksize参数即可，这个参数是设置块的大小，默认是128M，现实应用中可以提高块的大小，如：256M或者512M,这样可以减小快的数量，从而减小Namenode 的内存大小...

2018-06-07 12:54:03 760

原创 nanemnode内存大小有谁决定？

问题：nanemnode内存大小有谁决定？答：由集群中的块的数量决定；换算规则：默认情况下，每个block大小对应元数据为150字节。那么，如集群中存在1亿个块文件，元数据大小为1亿*150/1024*1024*1024=14G ...

2018-06-07 12:50:03 301

原创 namenode与secondarynamenode是否放到同一个节点？

1.namenode与secondarynamenode是否放到同一个节点？答：不能。原因：内存！！！！！单节点内存大小有物理限制。2.现实应用中Namenode和SecondaryNamenode能不能放在一台机器上？答案：因为Namenode的内存是它的瓶颈，SecondaryNamenode负责复制edits_*-*和fsimage_txid,然后整合成新的fsimage_文件，并...

2018-06-07 12:48:35 7162

原创 Namenode处于安全模式时，对hadoop进行查看操作，edits_inprogress_txid中没有事物事件的增加，txid没有增加？

1. 问题：Namenode处于安全模式时，对hadoop进行查看操作，edits_inprogress_txid中没有事物事件的增加，txid没有增加？答案：Namenode处于安全模式时，对hadoop不能进行创建、修改，可以对其进行查看，我的理解是因为处于安全模式，一般是为fsimage_镜像文件和edits_***-***操作文件进行整合新的镜像文件做准备，合成新的fsimage...

2018-06-07 12:46:10 1015

原创在Linux系统中使用java、javac等命令，报错：bash: ./java: cannot execute binary file

问题：在Linux系统中装完jdk(我的是Ubuntu14)，环境变量都配完了，一切都准备结束。使用java命令，报错：bash: ./java: cannot execute binary file 原因：Linux系统是32位的，而安装的jdk版本是64位的。当然运行不了。解决方法：最简单的是重新下载一个32位的jdk，一般32位的jdk文件都带有i586等字样，重新安装jdk，把之前安装的j...

2018-06-07 12:42:33 3611

原创 CentOS6.5搭建hadoop完全分布式集群

搭建完全分布式集群-------------------------------前提条件：已经按照之前的步骤搭建完伪分布式。https://blog.csdn.net/weixin_42006411/article/details/80500217搭建hadoop伪分布式链接：点击打开链接方法：克隆虚拟机。 1.修改静态ip a.删除之前的mac地址，记录现在的mac地址，并修改name为...

2018-05-29 18:29:58 1398 1

原创 CentOS6.5搭建hadoop伪分布式集群

搭建伪分布式集群： 1.ssh无密登录 a.在家目录下创建.ssh文件夹，修改文件夹权限为700 $>mkdir ~/.ssh $>chmod 700 ~/.ssh b.生成公钥 $>ssh-keygen -t rsa -P '' -f ~/.ssh c.将公钥添加至认证库，修改authorized_keys的权限为600 ...

2018-05-29 18:26:44 1014 1

原创弹出界面eth0：错误：激活连接失败：Device not managed by NetworkManager or unavailable

问题描述：刚配置完网络ip为静态ip，想重启网卡$>service network restart最后一条显示：弹出界面eth0：错误：激活连接失败：Device not managed by NetworkManager or unavailable原因：windows中没有开启VMware NAT Service和VMnetDHCP服务解决方法：把VMware NAT Service和V...

2018-05-29 17:31:39 4068 1

原创 eth0: 错误：没有找到合适的设备：没有找到可用于链接’System eth0’的设备

问题：弹出界面eth0: 错误：没有找到合适的设备：没有找到可用于链接’System eth0’的设备详细原因：给克隆后的虚拟机配置静态ip。已经把/etc/sysconfig/network-scripts/ifcfg-eth0中的内容修改完，重启网络服务的时候，(切换root，或sudo)su root,service network restart，出错：弹出界面eth0: 错误：没有找到合...

2018-05-29 17:04:06 5544 1

原创给虚拟机修改静态IP

问题：给虚拟机修改静态IP。解决：a.打开VMware虚拟机-->编辑-->虚拟网络编辑器-->选中vmnet8-->恢复默认设置(这样windows的vmnet8和虚拟机的vmnet8网络在同一个段位，windows能ping同虚拟机。为防止重启电脑windows的vmnet8网络ip会自动分配，可以给windows中的vmnet8取消自动分配，设置ipv4为静态ip)-...

2018-05-29 17:02:02 1302 1

原创通过克隆虚拟机搭建hadoop集群，开启hadoop后，live node 只出现一个，随机是slave1或slave2

问题：克隆虚拟机，配置hadoop完全分布式。每台机器都配置完静态ip，主机名，主机和ip映射。开启hadoop集群，(start-dfs.sh)，master主机上namenode和secondarynamenode，slave1主机上的datanode，slave2主机上的slave2主机上的datanode都开启了，但是在master:50070网址上live node 只有一个，这个nod...

2018-05-29 17:00:22 2608 3

原创 centos6.5设置静态ip

centos6.5设置静态ip1. 桥连模式DEVICE=eth0 TYPE=Ethernet UUID=edece2c6-947e-4e8b-ab2e-43ed59c6a614 ONBOOT=yes NM_CONTROLLED=yes BOOTPROTO=static #修改成 static 或 none 都行 HWADDR=00:0C:29:5e:1f:c3 DEFR...

2018-05-29 16:57:16 475 1

原创 start-dfs.sh脚本分析，从源码分析

start-dfs.sh脚本分析启动start-dfs.sh 加载config.xml (hadoop相关配置信息)启动hadoop-daemons.sh(启动slaves和hadoop-daemon.sh)启动hadoop-daemon.sh(根据相关参数，运行)启动hdfs (根据参数，找到对应的class文件进行运行) 举个栗子：启动 namenode① start-dfs.sh② ha...

2018-05-29 16:54:24 2943 4

原创 Linux安装hadoop配置完全分布式

搭建hadoop完全分布式工具：CentOS6.5jdk8hadoop2.7.6安装包都是.tar.gz后缀三台虚拟机192.168.136.133 Master192.168.136.134 Slave1192.168.136.135 Slave2在每个虚拟机上添加ip映射的主机名$ sudo vim /etc/hosts127.0.0.1 localhost192.16...

2018-05-16 22:09:51 4321 3

原创 Linux-CentOS下安装jdk

Linux下安装JDK两种安装方法1）rmp2）yumRMP包管理安装Linux版的jdk前提条件：将已下载好的jdk放在Linux中我把jdk放在了/usr/local中我的是jdk-7u80-linux-x64.rpm其中包括软件名(jdk),版本号(7u80),适用平台(linux-x64)开始安装：rpm -ivh jdk-7u80-linux-x64.rpm安装的默认路径是/usr/ja...

2018-05-05 17:56:07 138

原创 CentOS6.5 网络连接问题

CetnOS6.5 无法连接网络。（重启网卡，出现错误：正在决定 eth0 的 IP 信息…失败；无链接。检查电缆吗？或 Determining IP information for eth0… failed; no link present. Checkcable?[FAILED]）ifconfig 不显示 eth0的inet addr我根据网上的方法重启网卡,说是可以解决上网功能。servic...

2018-05-02 15:23:46 1945 1

原创 Java 学习笔记一 JAVA前言

JAVA前言1、JAVA的特点1)简单(Java语法是C++语法的一个"纯净"版本)2)可移植性(一次编译到处执行)3)面向对象4)分布式(Java把套接字连接等繁琐的网络任务变得非常容易)5)健壮性(Java编译器会检查出很多其他语言在运行时才检查出的错误；Java采用的指针模型可以消除重写内存和数据崩溃的可能)6)多线程(多线程编程的简单性是Java成为服务器端流行的开发语言的原因之一)7)安...

2018-04-25 21:38:17 182 1

原创 Linux常用命令2--vim/vi

Linux常用命令2--vim/vi文本编辑器Vim/ViVim/Vi简介不抱有一丝幻想，不放弃一点机会，不停止一日努力成功的秘诀就在于多努力一次。为了成功，你努力了多少次Vim/Vi是一个功能强大的全屏幕文本编辑器，是Linux/Unix上最常用的文本编辑器，它的作用是建立、编辑、显示文本文件.插入命令命令作用a 在光标后附加文本A 在本行行末附加文本i 在光标前插入文本I 在本行开始插入文...

2018-04-25 12:32:56 279 1

原创 Linux常用命令

一、文件处理命令命令名称：ls命令原意：list命令路径：/bin/ls执行权限：所有用户功能描述：显示目录文件语法：ls 选项[-ald] [目录或文件]-a 显示所有文件，包含隐藏文件-l 详细信息显示-d 查看目录属性eg:ls -al /home命令名称：cd命令原意：change directory命令路径：shell内置命令执行权限：所有用户功能描述：切换目录语法：cd [目录]Ex:...

2018-04-24 22:10:49 99 1