关闭

Hadoop那些事儿(六)---Hive入门程序

关于hive的入门知识点,网上有很详细的资料,我是看的 http://yiibai.com/hive/ 提供的教程,在这里我就不重复了。然后最近一直在蒙圈中,在使用过程中有问题一直解决不了,卡了好久。下面来写hive的jdbc程序。 我还是在之前hadoop的项目中写的,首先引入hive的依赖包,位于安装目录下,我这里的地址是/usr/local/hive/lib 我引入了所有含有hive的ja...
阅读(834) 评论(0)

使用maven-clover2-plugin测试代码覆盖率

首先给两个官网的地址: http://docs.atlassian.com/maven-clover2-plugin/2.3.1/usage.html http://maven.apache.org/archives/maven-1.x/plugins/clover/properties.html大家可以先看一下 下面我先说一下我对clover的理解:当测试代码执行时,代码覆盖系统会收集哪些语...
阅读(575) 评论(0)

Hadoop那些事儿(五)---Hive安装与配置

hadoop+hive...
阅读(1934) 评论(0)

Hadoop那些事儿(四)---MapReduce编程实例(基础)

前言上一篇文章,以WordCount为例讲了一下MapReduce的代码结构及运行机制,这篇文章将通过几个简单的例子进一步认识MapReduce。1.数据检索问题描述假设有很多条数据,我们从中查找包含某个字符串的语句。解决方案这个问题比较简单,首先在Map中获取当前读取的文件的文件名作为key,将要解析的数据按句号分割,逐句判断,如果包含指定的字符串则作为value输出。在Reduce中对属于同一文...
阅读(1975) 评论(1)

Hadoop那些事儿(三)---MapReduce编程浅析

1.map和reduce1.1 mapReduce处理逻辑在本系列文章的第一篇中,曾对MapReduce原理做过简单的描述,在这里再重述一遍。 首先我们有两个文件word1.txt和word2.txt 其中word1.txt的内容如下:aaaa bbbb cccc dddd aaaa word2.txt的内容如下:aaaa cccc dddd eeee aaaa 这里的两个文件很小,我们先假设这...
阅读(1048) 评论(2)

Hadoop那些事儿(二)---MapReduce开发环境搭建

上一篇文章介绍了在ubuntu系统中安装Hadoop的伪分布式环境,这篇文章主要为MapReduce开发环境的搭建流程。1.HDFS伪分布式配置使用MapReduce时,如果需要与HDFS建立连接,及使用HDFS中的文件,还需要做一些配置。 首先进入Hadoop的安装目录cd /usr/local/hadoop/hadoop2在HDFS中创建用户目录./bin/hdfs dfs -mkdir -p...
阅读(1757) 评论(7)

Hadoop那些事儿(一)–--Hadoop初探

前言Hadoop是什么? 用百科上的话说:“Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。” 可能有些抽象,这个问题可以在一步步学习Hadoop的各种知识以后再回过头来重新看待。Hadoop大家族Hadoop不是一个单一的项目,经过10年的发展,Hadoop已经成为了一个拥有近20个...
阅读(3224) 评论(3)

我的2016--一篇很烂的年终总结

眼瞅着又到年底了,趁着CSDN举办《我的2016》的活动,在这个被雾霾淹没的冬至的夜晚,坐在瑜伽垫上写下了这篇文章,我想趁着这个机会总结一下我最近的这几年,而不仅仅是这个即将逝去的2016.我与CSDN第一次在csdn上写博客是在2013年9月,当时我正在读大二,我当初决定写博客,只是单纯的想把自己学到的一些东西或者解决问题的一些思路和方法记录下来,避免遗失。掰着指头数一数,已经3年半了,很庆幸自...
阅读(1802) 评论(11)

nginx那些事儿

本文为我学习nginx时的笔记与心得,如有错误或者不当的地方,还望不吝指出1 基本概念1.1 正向代理和反向代理正向代理:一般来说,我们说的代理技术就是指正向代理技术。 使用正向代理技术一般用来访问我们无法访问的服务器。正向代理服务器介于用户和目标服务器之间,比如用户A想去访问目标服务器B,但是各种原因无法直接访问,这时就可以通过使用正向代理服务器C,用户A向代理服务器C发送一个请求并指定目标服务...
阅读(2757) 评论(0)

memcached 学习笔记

memcachedMemcached 是一套高性能的、分布式内存对象缓存系统。 注意,memcache不是数据库。1 memcached1.1 特点a.协议简单 使用文本协议和二进制协议,协议简单,性能高效.b.基于 libevent 的事件处理 libevent 是个程序库,它将 Linux 的 epoll、BSD 类操作系统的 kqueue 等事件处理功能封装成统一的接口...
阅读(731) 评论(1)
189条 共19页1 2 3 4 5 ... 下一页 尾页
    链接
    点我聊天
      易   途
      GitHub
    qq群:468297202
    个人资料
    • 访问:478535次
    • 积分:6650
    • 等级:
    • 排名:第3800名
    • 原创:188篇
    • 转载:1篇
    • 译文:0篇
    • 评论:150条
    Coding
    你只看到我在不停的忙碌,却没看到我奋斗的热情。你有朝九晚五,我有通宵达旦。你否定我的现在,我决定我的未来。你可以轻视我的存在,我会用代码证明这是谁的时代!梦想是注定孤独的旅行,路上少不了质疑和嘲笑,但那又怎么样 。哪怕遍体鳞伤 也要coding。我是java程序员 我为自己代言!
    博客专栏
    最新评论