- 博客(15)
- 问答 (1)
- 收藏
- 关注
原创 网络驱动简介
文档原地址:https://docs.microsoft.com/zh-cn/windows-hardware/drivers/network/introduction-to-network-drivers
2017-10-08 17:02:21 462
原创 微软官网关于网络驱动程序设计指南
微软源网页:https://docs.microsoft.com/zh-cn/windows-hardware/drivers/network/网络驱动简介
2017-10-08 17:00:15 590
原创 微软官网上关于驱动开发教程的文档结构
微软硬件驱动开发中心首页:https://developer.microsoft.com/zh-cn/windows/hardware 微软驱动程序开发文档首页:https://docs.microsoft.com/zh-cn/windows-hardware/drivers/index 下面所列出的文档都可以在上面那个文档中找到相关链接,为了方便就单独的提出来了。 Windows 驱动程序基
2017-01-19 20:59:42 333
原创 MapReducer中文编码
如果输入文件有中文,输出文件可能会出现乱码。乱码问题的话一般都是编解码错误。 本文的最后有一篇参考文档,那篇文档已经解决了问题了,但是,可是自己是小白,那篇文档没做解释的话,有的我理解不了,所以就把那篇文章解释了一遍。基础好的可以直接看那篇文章。编码的问题首先看一下这段代码String s = "中国";Text t1 = new Text();Text t2 = new Text();t1.
2017-01-07 09:25:23 2108
原创 Hadoop2.X的ChainMapper和ChainReducer
编程过程中,有时候需要多个map才能完成任务,虽然知道ChainMapper和ChainReducer可以做到这一点,但是不是很清楚,从网上到的一些讲解也不是很清楚,所以自己看API文档,总结了一下。 这个是ChainMapper和ChainReducer的官方API文档。 http://hadoop.apache.org/docs/r2.7.3/api/index.htmlChainMappe
2017-01-05 14:22:34 2754 1
原创 hadoop 的排序:key排序和分组排序
引入和说明熟悉mapreduce执行流程的都知道,mapreduce流程中,一共有两类排序,第一种是对于key的排序,默认是是根据key的递增排序。第二种是对于reduce的组排序,将两条记录的key带入到 分组函数中,如果返回0,则说明两个记录是一组的,所以就把他们的value合到一个迭代器中,也就是reduce函数的第二个参数。最下面那个代码(小标题是总体代码)包括了 map ,reduce,两
2016-12-22 09:38:34 2126
原创 mapreduce的输入格式详解
输入流程解析文件从上传到HDFS到输入到map函数中,大致可以分为4步。文件上传到hdfs中,被划分为若干份block,输入时,将所有block读取,划分为若干个split,每个split对应与一个map task,然后每个split划分为多个recordvoid map( K1 key, # record的key V1 value, # record的value
2016-12-19 15:22:02 1114
转载 Java线程池ExecutorService
转载于: 【Java线程】Java线程池ExecutorService http://blog.csdn.net/vking_wang/article/details/9619137线程池 ExecutorService 详细介绍以及注意点区别 http://blog.csdn.net/chenaini119/article/details/51849222学习zookeeper时,看的代码中
2016-12-17 16:17:00 330
原创 ZooKeeper实战
在极客学院学习了zookeeper课程,为了理解更加深刻,大致写一下课程内容master选举架构图那个WorkServer节点创建了master节点,则此节点就是整个集群的master。程序流程WorkServer创建的时,即添加监听器,一旦master节点被删除,则立刻创建master节点,如果创建成功,则其就是master,如果创建不成功,则说明有WorkServer已经创建了master节点,
2016-12-16 21:24:44 2335
原创 hadoop与zookeeper完全分布式安装
集群配置 主机名 NN DN RM NM ZK JN node1 √ √ √ node2 √ √ √ √ node3 √ √ √ √ √ node4 √ √ √ √注:打勾的说明,本台主机配置有该项服务。服务
2016-12-12 09:39:25 2043
原创 hive sql详解
hive数据类型hive基本数据类型 基本类型 大小(字节) 描述 TINYINT 1 有符号整数 SMALLINT 2 有符号整数 INT 4 有符号整数 BIGINT 8 有符号整数 STRING 最大2GB 字符串,类似SQL的VARCHAR类型 FLOAT 4 单精度浮点数 DOUBLE 8 双精度
2016-12-11 22:39:25 8272
原创 Hbase完全分布式安装
下载hbase安装包从hbase下载地址找一个下载网站,然后下载一个安装包,本文下载hbase的版本为hbase-1.0.3-bin.tar.gz 解压安装包# 解压安装包到/usr/localcd /usr/localtar -zxvf hbase-1.0.3-bin.tar.gz配置文件 hbase-env.sh# 配置JDK路径JAVA_HOME
2016-12-11 09:51:22 500
原创 Hbase访问方式之Hbase shell
Hbase的访问方式1、Native Java API:最常规和高效的访问方式; 2、HBase Shell:HBase的命令行工具,最简单的接口,适合HBase管理使用; 3、Thrift Gateway:利用Thrift序列化技术,支持C++,PHP,Python等多种语言,适合其他异构系统在线访问HBase表数据; 4、REST Gateway:支持REST 风格的Http API访问H
2016-12-10 09:42:04 10808
原创 Hadoop2.X伪分布式安装
安装JDK配置ssh免密码登录配置hosts文件下载hadoop安装包并安装配置hadoop环境变量创建一些用到的文件夹和文件更改hadoop目录的所有用户配置hadoop文件aHadoop-envshb mapred-envshc yarn-envshdcore-sitexmle hdfs-sitexmlfmapred-sitexml格式化HDFS启动服务测试是否启
2016-12-07 23:13:35 469
转载 Hive系统架构简介
文章转载自:http://www.yiibai.com/hive/Hive是什么Hive 不是Hive特点Hive架构Hive架构的更一般的架构Hive工作原理Hive是什么?Hive是一个数据仓库基础工具在Hadoop中用来处理结构化数据。它架构在Hadoop之上,总归为大数据,并使得查询和分析方便。最初,Hive是由Facebook开发,后来由Apache软件基金会开发,并作为进一步
2016-12-07 22:06:24 3947
空空如也
hadoop中reducer中使用treemap,新的value会覆盖所有旧的value
2017-01-09
TA创建的收藏夹 TA关注的收藏夹
TA关注的人