C_time的博客

Sqoop的概念及安装 hadoop生态圈中的一个迁移工具一个整合工具（hadoop和关系型数据库之间的数据迁移） tar -zxvf /home/sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz -C /usr/local/ ok 修改环境变量 先改个名 vi /etc/profile 然后更新一下 看看sqoop里面的东西 将学习文档删掉吧 ...

多表的join连接

++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++ _++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++ join相关 create table dept( deptno int, dname String, loc String ) row format...

（分到不同的目录去）第一行最后 分区的关键字 partitioned by 上面的语句 year就是表外字段 id comment dt 就是表内字段 hive的分区表创建 create table if not exists comm( id int, comment String, dt String ) partitioned by(year String) row format del...

Hive的基础数据类型和复杂数据类型 Array create table if not exists arr1( name String, score Array<double> ) row format delimited fields terminated by '\t' collection items terminated by ',' ; load data loca...

MapReduce的老版本API

Hive的udf入门

这个就没法演示了 数据太大了 几十兆 视频也没给 没法敲 看看截图吧 create external table if not exists log1( id string comment 'this is id column', phonenumber bigint, mac string, ip string, url string, tiele string, column1 strin...

Hive的远程模式 cd /usr/local/hive-1.2.1 rm -rf ./examples/ 2.我们第一台已经配好 所以2不用管了 copy hive文件 scp -r …/hive-1.2.1 hadoop02:/usr/local/ scp -r …/hive-1.2.1 hadoop03:/usr/local/ copy hive的配置文件 scp -r /etc/...

Hive的概念介绍 Hive的安装 Hive的基本命令

3.57.0版本azkaban 下载地址 https://github.com/azkaban/azkaban/archive/3.57.0.tar.gz 然后上传到服务器 然后解压到当前目录 就是home下· tar -zxvf /home/azkaban-3.57.0.tar.gz 然后查看一下解压好的目录ll 然后在[root@hadoop01 azkaban-3.57.0]# 目录下 使用...

记得以前能用来着 安装Hbase突然不能用了 三个机子都启动后 zkServer.sh start jps查看可以有QuorumPeerMain服务 但是查探三台机子的zkServer.sh status 出现 Error contacting service. It is probably not running. 找到安装Zookeepe时建立的存储文件夹 zkdata 我当时放到了home...

ERROR: Can’t get master address from ZooKeeper; znode data == null 这个错误原因很多 网上一大堆 我说我的 如果你安装了HA 那么 hbase的hbase-site.xml的rootdir属性不能是这个 应该跟hadoop的core-site.xml的的dfs.nameservices一样 写那个虚拟的名字 并将hadoop的co...

2.5.0 看红字 将时区设置完后 可以使用一种简单粗暴的方式统一时间 只不过适用于我们学习阶段 在工作时 不可以 要按部就班的使用时间服务器 改脚本 小技巧 pwd 获取当前路径 然后拖到桌面 然后登陆web页面 点击创建好project 然后点击upload 上传后flows下会有名字出现 然后点击excute flow 然后你可以schedule选择时间去执行...

一、看提示就是没有找到winutils.exe文件 二、去github下载 一个名为 hadoop-common2.7.1-bin 的东西 下载zip格式 https://github.com/zhuxishun/hadoop-common-2.7.1-bin-master 三、注意 请下载与你hadoop版本对应的包 在linux下hadoop version即可知道你的版本 我的是2.7.1所...

1.首先 我的配置 安装了 jdk1.7.0_79 hadoop-2.7.1 zookeeper-3.4.7 yarn也有昂 这些不重要 hive-1.2.1 sqoop-1.4.6 azkaban-web-2.5.0 azkaban-executor-2.5.0 然后下载的hbase是hbase-1.2.1版本的 可以到官网下载 2.其次 最重要的是 我已经搭建了HA 高可用 安装过程吃过一次...

先贴图 我是执行Hbase的mr出现的错误 在它执行完输出结果之后出现了错误 刚开始找解决办法 java.net.ConnectException: Call From hadoop01/192.168.37.111 to 0.0.0.0:10020 failed on connection exception: 一直在搜索出现的异常 没注意到第一句话 mapred.ClientServiceD...

？？？ ？？？ ？？？

mr中的常用数据类型 Text IntWritable VIntWritable DoubleWritable floatWritable shortWritable longWritable VLongWritable byteWritable booleanWritable NullWritable MapWritable 自定义数据类型 Top-N 数据 hello qianfeng hel...

1.Zookeeper的基本概念 是一个分布式服务的协调服务 Zookeeper是强一致性 立马能看到结果 Zookeeper能管理分布式服务 这些server中有一个叫Leader Zookeeper是奇数台服务器 Zookeeper的节点 既是目录又是文件 因为它每个节点都能存储数据 （但是只能存储少量数据 因为Zookeeper只是协调服务） 而Linux的节点只能是目录 只有最...

Rpc Yarn中的Rpc协议 hadoop2.x中的Rpc Rpc案例 写个程序 模拟NameNode和DataNode之间的通信 Rpc是CS模式 有客户端和服务端 所以先写一个协议（就是个接口） package qf.com.rpc; /* *@author Shishuai E-mail：1198319583@qq.com *@version Create time ：...

Maven的安装

Mapreduce的相关概念

特殊符号的含义 cd ~ 到当前用户的家目录 cd - 回退到上一次所在位置 cd …/ 点点 代表上一层目录 cd ./ 关闭防火墙 service iptables status/start/stop/restart chkconfig iptables --list service iptables off/on 网卡启动停止 ...

Awk和MapReduce的处理方式比较

常用帮助命令 man ls help --ls info ls 常用man ls 按q退出 ps -ef ps -fe 查看进程 ps -ef | grep xxxx gang为管道下 grep是过滤 然后写要查看的进程 ps -ef | grep java 查看当前java进程 | 管道 cmd1 | cmd2 将cmd1输出结果交给cmd2命令来执行 grep过滤 grep sshd /va...

（要先看hdfs的ha配置再看这个 这个·有很多省略 上一篇说的比较详细） 官网配置网址 http://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/ResourceManagerHA.html 仍然使用notepad++的插件功能 连接hadoop01 然后找到usr下的local下的hadoop-2.7.1下的etc下的...

1.Hdfs的ha配置 2.Hdfs的ha测试

Hadoop集群配置

关机状态下右击虚拟机 管理 克隆 完整克隆 起名字 选位置 然后就可以了 启动新创建的hadoop02 需要做一些配置 能让Windows连接上我们的服务器 克隆完的虚拟机 大概要改4个地方 1.修改网卡信息 密码跟原来的一样 都是root 我们ifconfig看看 好像是不对 我们自己修改 回车后 有两个网卡 eth0（以前的hadoop1的） 需要dd删除掉 我们使用第二个eth1 需要...

官网的内容http://hadoop.apache.org/ Welcome to Apache™ Hadoop®! What Is Apache Hadoop? The Apache™ Hadoop® project develops open-source software for reliable, scalable, distributed computing. 灵活的 可扩展的 分布式...

截图上也说了 要写成一行 要用分号来分隔的 写if 结束必须有fi反制 写if 必须跟着then 单一的一个if then else else后面不能有then 要是多个条件 if then elif then else fi 没有else if 只有 elif 后面必须跟then else 后面不能跟then 循环 while for util for例子 seq 1 20 虚拟化...

centos自带的就有好多 其中最常见的是bash这个 例子 进入编辑我的第一个shell脚本程序 第一句写井号感叹号然后写解释器目录 例如 #!/bin/bash 这是一种约定俗称的写法 然后写内容 打印一句话helloworld 保存退出 然后怎么运行呢 一种加上可执行的权限 一种是加上解释器来执行 刚开始时不能执行的 没有权限 加上 chmod 744 ./firstshell后...