- 博客(18)
- 收藏
- 关注
RSS订阅原创 VM ware 网络配置net模式+静态IP，解决虚拟机克隆后上不去网问题
1.VMware-->编辑-->虚拟网络编辑器-->选择VMnet82.点开NAT上设置3.生成MAC地址，并记录下来4.启动虚拟机，ifconfig，HWaddr即为MAC地址，看与步骤3生成的MAC地址是否相同5.MAC地址不同，则vi /etc/udev/rules.d/70-persistent-net.rules如果有多个，比如eth0,eth1,eth2等等，比对AT...
2018-06-10 23:38:38
1232
转载 pentaho data integration(kettle)连接hadoop2.2.0
pdi即kettle，支持hadoop的操作，但是默认支持的是hadoop0.2.0。但是由于我目前所用的是hadoop2.2.0，主要想用pdi来控制hadoop的作业调度。经过几天痛苦的试探过程，目前能够初步实现这个功能。 经本人测试，按照下面修改之后，可以使用transformation中Big Data组件中的Hadoop File Input和Hadoop File Outp...
2018-05-23 14:09:03
532
原创 avro
Avro 是一个数据序列化系统，设计用于支持大批量数据交换的应用。是Hadoop的一个子项目。它的主要特点有：1 丰富的数据结构类型2 快速可压缩的二进制数据形式3 存储持久数据的文件容器4 远程过程调用RPC5 简单的动态语言结合功能，Avro和动态语言结合后，读写数据文件和使用RPC协议都不需要生成代码，而代码生成作为一种
2017-10-18 21:02:39
348
原创 MapReduce的表关联
Join方式（1）Reduce端连接（2）Map端连接（3）SemiJoin半连接（1）Reduce端连接原理Map端的主要工作：打标签，为来自不同表（文件）的key/value对打标签以区别不同来源的记录。然后用连接字段作为key，其余部分和新加的标志作为value，最后进行输出。reduce端的主要工作：在reduce端以连接字段作为key的分组已经完成，我们只
2017-10-17 21:29:34
824
原创 Mapreduce运行67%异常解决
错误信息如下：经查询为比较器方法调用错误 //错误代码为： job.setSortComparatorClass(ReduceGroupComparetor2.class); //修改为 job.setGroupingComparatorClass(ReduceGroupComparetor2.class);然后就可以正常运行了详细代码如下：package com.zhiyo
2017-10-17 17:09:03
1653
转载 MapReduce的输入输出格式
默认的mapper是IdentityMapper，默认的reducer是IdentityReducer，它们将输入的键和值原封不动地写到输出中。默认的partitioner是HashPartitinoer，它根据每条记录的键进行哈希操作来分区。 输入文件：文件是MapReduce任务的数据的初始存储地。正常情况下，输入文件一般是存在HDFS里。这些文件的格式可以是任意的；我
2017-10-17 00:01:55
492
原创 TotalSort全排序（抽样取中值）
package com.zhiyou.bd17.mr1014;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;import org.apache.h
2017-10-16 23:21:44
656
原创 SecondarySort二次排序代码
package com.zhiyou.bd17.mr1014;import java.io.DataInput;import java.io.DataOutput;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.P
2017-10-16 23:02:05
668
原创 DesDumplicate去重代码
package com.zhiyou.bd17.mr;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.LongWritable;import org
2017-10-16 20:05:08
444
转载 UserLoginTimes代码
package com.zhiyou.bd17.mr;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.IntWritable;import org.
2017-10-16 19:49:14
518
原创 WordCount代码
package com.zhiyou.bd17.mr;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.IntWritable;import org.
2017-10-16 19:20:35
1035
原创 HdfsUtils
package com.zhiyou.db17;import java.io.FileInputStream;import java.io.FileOutputStream;import java.io.FileReader;import java.io.FileWriter;import java.io.IOException;import org.apache.
2017-10-16 12:52:41
2212
原创 hdfs的pom文件
4.0.0 com.zhiyou.db17 hdfsdb17 0.0.1-SNAPSHOT org.apache.hadoop hadoop-client 2.7.3
2017-10-16 12:46:32
916
原创 Linux centos6.5版本 自动连接 设置
1.使用命令ifconfig查看ip地址，检查是否错误只有lo，没有显示自己 设置的ip地址，网关等，说明你的 网络没有设置自动连接； 2. 接下来进入网络配置文件路径cd /etc/sysconfig/network-scripts/进入后 ls3. 修改 vi ifcfg
2017-10-09 22:09:21
947
原创 mybatis-generator 代码自动生成工具（maven方式）
由于MyBatis属于一种半自动的ORM框架，所以主要的工作将是书写Mapping映射文件，但是由于手写映射文件很容易出错，mybatis-gennerator插件帮我们自动生成mybatis所需要的dao、bean、mapper xml文件。这里主要通过eclipse工具，来讲解实现;1、建表语句CREATE TABLE `user` ( `id` int(11) N
2017-10-06 11:52:11
408
原创 以Linux核心Centos最小化系统 网关，ip ，DNS服务器地址 修改方法
1.使用命令ifconfig查看ip地址，检查是否错误inet 即为IP地址，netmask 为子网掩码2. 接下来进行修改vi /etc/sysconfig/network-scripts/ifcfg-ens33(PS:我用的是CentOS7,所以ifcfg文件的后缀是这个，依个人进行修改)进去后是这个样子的。IPADDR=192.168.110.118为
2017-09-27 23:28:02
1620
原创 Java中static关键字用法总结
1. 静态方法 通常，在一个类中定义一个方法为static，那就是说，无需本类的对象即可调用此方法 声明为static的方法有以下几条限制： · 它们仅能调用其他的static 方法。 · 它们只能访问static数据。 · 它们不能以任何方式引用this 或super。class Simple { static void go() {
2017-09-24 15:21:57
282
转载 jQuery的基本用法
jQuery是目前使用最广泛的javascript函数库。据统计，全世界排名前100万的网站，有46%使用jQuery，远远超过其他库。微软公司甚至把jQuery作为他们的官方库。对于网页开发者来说，学会jQuery是必要的。因为它让你了解业界最通用的技术，为将来学习更高级的库打下基础，并且确实可以很轻松地做出许多复杂的效果。一、选择网页元素jQuery的基本设计和主要用法，就是"选择某个
2017-09-18 16:37:42
601
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人