java43135
码龄13年
求更新 关注
提问 私信
  • 博客:30,545
    30,545
    总访问量
  • 7
    原创
  • 6
    粉丝
  • 56
    关注
IP属地以运营商信息为准,境内显示到省(区、市),境外显示到国家(地区)
IP 属地:浙江省
加入CSDN时间: 2012-03-28
博客简介:

java43135的专栏

查看详细资料
个人成就
  • 获得1次点赞
  • 内容获得3次评论
  • 获得8次收藏
  • 博客总排名2,236,261名
创作历程
  • 2篇
    2013年
  • 12篇
    2012年
TA的专栏
  • hadoop及其生态系统
    5篇
  • hadoop学习
    5篇
  • hive
    2篇
  • 求职
    1篇

TA关注的专栏 0

TA关注的收藏夹 0

TA关注的社区 0

TA参与的活动 0

创作活动更多

新星杯·14天创作挑战营·第13期

这是一个以写作博客为目的的创作活动,旨在鼓励大学生博主们挖掘自己的创作潜能,展现自己的写作才华。如果你是一位热爱写作的、想要展现自己创作才华的小伙伴,那么,快来参加吧!我们一起发掘写作的魅力,书写出属于我们的故事。我们诚挚邀请你们参加为期14天的创作挑战赛!注: 1、参赛者可以进入活动群进行交流、互相鼓励与支持(开卷),虚竹哥会分享创作心得和涨粉心得,答疑及活动群请见:https://bbs.csdn.net/topics/619781944 【进活动群,得奖概率会更大,因为有辅导】 2、文章质量分查询:https://www.csdn.net/qc

90人参与 去参加
  • 最近
  • 文章
  • 专栏
  • 代码仓
  • 资源
  • 收藏
  • 关注/订阅/互动
更多
  • 最近

  • 文章

  • 专栏

  • 代码仓

  • 资源

  • 收藏

  • 关注/订阅/互动

  • 社区

  • 帖子

  • 问答

  • 课程

  • 视频

搜索 取消

hadoop学习笔记之二:MapReduce基本编程

hadoop学习笔记之二:MapReduce基本编程引言在本系列的上篇文章中介绍了Hadoop的基本概念和架构,本文将通过一个实例演示MapReduce基本编程。在继续进行前希望能重温下前面的内容,至少理解这张图是怎么回事。实践创建maven工程并加入hadoop依赖我们选用maven来管理工程,用自己喜爱的m2eclipse
转载
博文更新于 2012.11.30 ·
752 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

hadoop-0.20.2.tar.gz

发布资源 2012.12.18 ·
gz

hadoop-0.20.2-eclipse-plugin.jar

发布资源 2012.12.18 ·
jar

数据可视化工具

1.Chartle,http://www.Chartle.net   Chartle是一个易于使用的基于网络的数据可视化应用,可以帮助你创建各种免费的表格、图形、地图、轨迹图、时间表。这个应用还可以保存、发布、内嵌可视化作品。   费用:免费2.Creately,http://creately.com    Creately 是一个可以在网页浏览器或者桌面上制作图表的信息设
原创
博文更新于 2013.07.04 ·
2613 阅读 ·
1 点赞 ·
0 评论 ·
1 收藏

大众点评在线笔试题目

最近一直在关注实习,不提前好好锻炼下。毕业后怎么能找到好工作。许久之前投了大众点评,昨天收到通知,26号在线做笔试。分为逻辑测试和专业测试。逻辑测试分为三个部分:语言,数学,图像;时间有点短,没怎么完成,就猜了呗。第二部分是专业测试,时间90分钟,由于是在线,甚至都可以百度的。以下为投产品的专业测试题:大众点评网2013实习生笔试原题——产品实习生以下题目为必答题
原创
博文更新于 2013.05.26 ·
6395 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

Hive中Mapjoin的使用

顾名思义 MapJoin是在Map端完成Join操作,需要将Join操作中的小表读入到内存,在Map阶段拿另外一个表一个表的数据和内存中表数据做匹配,这种情况下即使笛卡尔积也不会对任务运行速度造成太大的效率影响。应用1:共同点:1、有个较小的表(2、需要做不等值join操作(a.x 而且hive的where条件本身就是在map阶段进行的操作,所以在where里写入不等值
原创
博文更新于 2012.12.12 ·
1328 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

使用Hive的注意点

1.字符集Hadoop和Hive都是用UTF-8编码的,所以, 所有中文必须是UTF-8编码, 才能正常使用。备注:中文数据load到表里面, 如果字符集不同,很有可能全是乱码需要做转码的, 但是hive本身没有函数来做这个2.压缩hive.exec.compress.output 这个参数, 默认是 false,但是很多时候貌似要单独显式设置一遍否则会对结果做
原创
博文更新于 2012.12.11 ·
1280 阅读 ·
0 点赞 ·
0 评论 ·
1 收藏

hadoop学习

学习hadoop已有较长一段时间:     可能基础的薄弱性,进度有点慢。今晨在搜素资料看到淘测试一些文章,觉得很好,速转载: (1)自己学习; (2)与人分享; (3)文章相对基础,是个很好的引路; (4)作者于2010年所写,版本和当前不一样,有问题可参照其他;     这是淘测试链接:www.taobeotest.com   谢谢原作者及阿里系。
原创
博文更新于 2012.11.30 ·
492 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

Hadoop学习笔记之五:使用Eclipse插件

Hadoop学习笔记之五:使用Eclipse插件引言在开发调试过程中,需要将程序打包,运行任务后通过命令或web界面查看运行输出及job运行情况,这个比较繁琐,下面介绍的eclipse插件可以简化这个过程,方便调试。插件安装Hadoop的eclipse plugin跟hadoop发行版一起分发,到hadoop安装目录\ contrib\ecl
转载
博文更新于 2012.11.30 ·
658 阅读 ·
0 点赞 ·
0 评论 ·
1 收藏

Hadoop学习笔记之四:运行MapReduce作业做集成测试

Hadoop学习笔记之四:运行MapReduce作业做集成测试引言通过本系列的前篇文章用MRUnit做单元测试介绍可以很容易对MapReduce进行单元测试,这很必要,可以较早的发现一些代码逻辑的问题。只有单元测试是不够的,我们需要对MapReduce任务进行集成测试,要进行集成测试,得先懂得如何将MapReduce 作业在hadoop集群中运行起来。
转载
博文更新于 2012.11.30 ·
912 阅读 ·
0 点赞 ·
0 评论 ·
2 收藏

Hadoop学习笔记之三:用MRUnit做单元测试

Hadoop学习笔记之三:用MRUnit做单元测试引言借年底盛宴品鉴之风,继续抒我Hadoop之情,本篇文章介绍如何对Hadoop的MapReduce进行单元测试。MapReduce的开发周期差不多是这样:编写mapper和reducer、编译、打包、提交作业和结果检索等,这个过程比较繁琐,一旦提交到分布式环境出了问题要定位调试,重复这样的过程实在无趣,因此先对MapReduc
转载
博文更新于 2012.11.30 ·
1434 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

hadoop学习笔记之一:初识hadoop

hadoop学习笔记之一:初识hadoop引言最近了解到淘宝使用hadoop的项目多了起来,hadoop对于许多测试人员来说或许是个新鲜玩儿,因此,把自己之前整理的学习笔记整理发上来,希望通过此系列文章快速了解Hadoop的基本概念和架构原理,从而助于hadoop相关项目的测试理解和沟通。Hadoop简介Hadoop 是一个实现了 MapRe
转载
博文更新于 2012.11.30 ·
658 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

HBase 线上问题分析小记

HBase 线上问题分析小记在7月初Tcon分布式系统测试实践的分享中,笔者提到了测试人员参与线上问题分析的必要性:1、测试工作中的问题定位提供了大量经验,可以直接应用于线上。2、快速的解决问题可以避免大故障的发生。3、从线上的问题可以帮助我们准确抓住测试的重点和不足。因此在日常的线上维护工作中,积累和很多HBase的问题分析经验,这里于大家分享一下,如有错误和不足请指出。问题
转载
博文更新于 2012.11.30 ·
877 阅读 ·
0 点赞 ·
0 评论 ·
1 收藏

Hive安装出现的问题

Hive的安装比较简单:所需要的版本:hive-0.8.0有三种模式:内嵌模式、独立模式、远程模式暂时采用的是内嵌模式,稍后做真正应用的时候将采用独立模式,将元数据存储在MySql上     遇到的问题:执行使用HWI时$export ANT_LIB=/opt/ant/lib$bin/hive --service hwi 出现问题:coin@had:~/hive-0.8
原创
博文更新于 2012.10.21 ·
1361 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

利用sqoop从sqlserver导入数据到HDFS或Hive

SQL Server Connect for Hadoop  sqoop是一个开源的工具,能将数据表从关系数据库导入HDFS或Hive上。在安装sqoop之前,需安装好Hadoop和JAVA以及Hive。 sqoop的安装:sqoop的版本: sqoop-1.3.0-cdh3u1 (sqoop-1.3.0-cdh3u1.tar.gz) http://archive.cl
原创
博文更新于 2012.10.19 ·
5042 阅读 ·
0 点赞 ·
0 评论 ·
4 收藏

Databases in Hive

Databases in Hive1.如果在hive中未定义数据库的话,这个“default”作为默认的数据库。2.创建数据库的语法很简单:hive> create databasefinancials;  如果financials存在的话,就会抛出错误,可以这样:hive> create databases IF NOT EXISTS financials;3.在“d
翻译
博文更新于 2012.10.19 ·
6741 阅读 ·
0 点赞 ·
0 评论 ·
1 收藏
加载更多