排序:
默认
按更新时间
按访问量

virtualbox ubuntu系统挂载window上的目录

背景在virtual box 虚拟机中ubuntu系统访问window上的资源,每次移动、查找文件都不方便。我们可以挂载相应的目录到ubuntu系统中,这样可以方便的访问window上的资源。virtual box设置共享文件夹添加共享文件夹    选择一个盘符,这里我们选D盘,给共享文件夹起一个...

2018-06-23 18:23:39

阅读数:41

评论数:0

Hadoop-Apache Avro数据序列化系统

背景    Avro由hadoop之父Doug Cutting开发,旨在解决hadoop中序列化的语言可移植性。是一种能够被多种语言(C,C#,C++,JAVA,PHP,Python,Ruby)处理的数据格式。    Avro模式通常用JSON来写,使用二进制格式进行编码。Avro是自描述语言,数...

2018-06-23 17:10:22

阅读数:14

评论数:0

hive中的事物操作

背景    hive中默认是不支持事物的,Hive的常见也一般都是一次写入,频繁读取。加入事物之后,支持update、insert、delete操作保存的文件格式必须为crc格式file需要修改配置文件开启事物表必须分桶    找到hive目录下conf文件夹中的hive-site.xml文件,需...

2018-06-22 10:50:50

阅读数:12

评论数:0

hive中的distribute by

1.背景    hive中有一个store表,字段分别是"商店所属人标识"(merid),“商户余额(money)”,“商店名称(name)”。求每个法人下属的商店的余额按照降序排序。//merid,money,name B     10 store_B_4...

2018-06-22 10:07:56

阅读数:7

评论数:0

hive--安装hive,基本命令

说明    对hive基本命令进行实战,要求本机安装着mysql和启动hdfs。    hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,    并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。     其优点是学习成本低,可...

2018-06-20 17:37:25

阅读数:18

评论数:0

hadoop二次排序应用,实现两表连接join操作

背景    有两个文件customer.txt,orders.txt分别记录着客户的信息和客户的订单信息。我们要实现数据库中的join操作,类似于“select a.*,b.* from A a,B b where a.cid = b.cid;”。//customer.txt中记录的是客户信息 /...

2018-06-20 13:48:05

阅读数:12

评论数:0

mysql存储过程和函数

概念    存储过程Procedure是一组为了完成特定功能的SQL语句集合,经编译后存储在数据库中,用户通过指定存储过程的名称并给出参数来执行。    存储过程中可以包含逻辑控制语句和数据操纵语句,它可以接受参数、输出参数、返回单个或多个结果集以及返回值。    由于存储过程在创建时即在数据库服...

2018-06-18 15:01:31

阅读数:14

评论数:0

hadoop HA高可用集群搭建

背景因为hadoop集群只有一个namenode,如果机器或者进程不可用之后,整个集群就瘫痪了,namenode节点存在单点故障的问题。HA架构    通常一个典型的HA集群有两个namenode,在任一时刻只有一个namenode是active状态,另外一个namenode处于standby待命...

2018-06-15 17:31:25

阅读数:16

评论数:0

多线程-利用semaphore多线程顺序打印ABC

semaphore介绍先说它的构造方法: //参数permits是许可的数量     public Semaphore(int permits) { sync = new NonfairSync(permits); }     //第二个参数是,是否是公平锁 pub...

2018-06-15 10:42:06

阅读数:56

评论数:0

hadoop配置机架感知,原理

背景“hadoop权威指南”里面有说明,配置机架感知的目的就是要最大程度发挥hadoop的性能,要做到这点就是知道hadoop集群的网络拓扑结构(it knows the topology of your network)。如果集群中的机器都跑在一个机架上,那么我们什么都不用做,集群下的节点默认都...

2018-06-13 11:13:44

阅读数:145

评论数:0

hadoop读写mysql数据库

需求描述我们有两张表“成绩表”和“总分表”,从成绩表中计算出每个学生的总成绩,记录到总分表中。表结构//成绩表记录学生id,课程id,这科分数 CREATE TABLE `score` ( `id` int(11) NOT NULL AUTO_INCREMENT, `sid` int(11...

2018-06-12 16:25:07

阅读数:111

评论数:0

MySQL数据库无法远程连接的解决办法

远程登陆数据库的时候出现了下面出错信息:  ERROR 2003 (HY000): Can't connect to MySQL server on 'xxx.xxx.xxx.xxx'修改root用户可以从任意ip登录mysql -u root –p //root用户本机登录mysql mysq...

2018-06-12 14:53:27

阅读数:37

评论数:0

hadoop链式处理

场景说明:hadoop是按照key的hash值来进行分区,假如分区后某个区的数据量很大,导致绝大多数的数据发往一个reducer节点,拖慢整个job的进度。

2018-06-10 17:58:50

阅读数:50

评论数:0

hadoop二次排序理解实战

描述MapReduce框架对处理结果的输出会根据key值进行默认的排序,这个默认排序可以满足一部分需求,但是也是十分有限的。在我们实际的需求当中,往往有要对reduce输出结果进行二次排序的需求。输入数据1 -12 2 -20 3 10 4 -5 5 15 1 20 2 30 3 40 4 25 ...

2018-06-08 10:41:14

阅读数:172

评论数:0

hdfs使用随机采样器进行分区划分实现全排序,totalOrderPartitioner,sampler

问题描述现在有个sequenceFile文件里面记录着年份和温度,key是年份value是温度,找出每年的最高气温然后按照年份递增排序。因为reducer默认会对key进行排序,解决办法有两种:第一种使用一个reducer,第二种是使用分区函数对年份进行分段,在每一个段是递增排序,几个reduce...

2018-06-07 10:47:37

阅读数:147

评论数:0

hadoop sequenceFile详解

hadoop不仅可以处理文本信息,还可以处理二进制格式数据,sequenceFile就是这样的文件。有以下特点:可分割支持压缩每一行都是一个key value对可以设置同步点SequenceFile的格式是由一个header 跟随一个或多个记录组成。前三个字节是一个Bytes SEQ代表着版本号,...

2018-06-06 16:35:42

阅读数:38

评论数:0

ubuntu linux下安装idea创建桌面快捷方式

在windows上测试hadoop生态中的一些程序的时候,难免出现一些莫名其妙的错误,所以一些测试、编写程序的时候转战到ubuntu系统,下载idea.tar.gz解压。每次启动的时候都需要到idea目录bin下执行:./idea.sh这样比较麻烦,现在我们在桌面上创建快捷方式://创建快捷方式 ...

2018-06-06 14:18:11

阅读数:40

评论数:0

ubuntu设置静态ip后不能联网问题,Ubuntu:未找到合法的活动链接

问题描述在安装ubuntu14之后,以下命令编辑ip配置文件,添加静态ip如下,发现不能联网vim /etc/network/interfacesauto eth0 iface eth0 inet static address 192.168.1.215 netmask 255.255.255.0...

2018-06-05 18:03:28

阅读数:43

评论数:0

hdfs集群节点的服役和退役(上线 下线)

问题描述我们在维护hadoop集群的时候,需要动态增加和删除datanode或者yarn管理节点,而不是停掉整个集群。首先,hadoop配置文件目录下的hdfs-site.xml中维护这集群“白名单”和“黑名单”两个文件,如果没有的话需要在配置文件中添加这两个属性。<prop...

2018-06-02 12:10:06

阅读数:152

评论数:0

hdfs基本命令操作

hdfs基本命令操作使用oiv查看hadoop镜像文件进入hadoop name目录下,/home/hadoop/hadoop/tmp/dfs/name/current。输入: "hdfs oiv"查看oiv命令使用详情。hdfs oiv -i fsimage_...

2018-06-02 10:05:37

阅读数:48

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭