- 博客(33)
- 收藏
- 关注
RSS订阅
原创 hadoop招聘需求每天都在增加，短短半个月时间，需求量几乎翻了一番，这是大数据要爆发的节奏么？
最近经常关注企业hadoop招聘需求的动态变化，多说无益，直接上几张百度的截图：4月20日：4月22日：4月27日：5月8日：
2014-05-08 19:59:56
1578
1
转载 移动终端与云计算将成为IT业优先发展方向
不久前闭幕的博鳌亚洲论坛年会，可谓群英荟萃，思想激荡。带着读者关心的IT产业未来如何发展，以及技术如何创新等问题，科技日报记者采访了微软全球资深副总裁、微软亚太研发集团主席张亚勤博士。他一语道出“天机”：市场、技术等诸多需求将推动IT产业技术创新，云计算、人机交互等技术将引领IT产业新一轮革命。移动终端与云计算将成为IT业优先发展方向张亚勤认为，从Ipod到Iphone再到Ipad
2014-04-28 06:22:34
610
转载 广东省2020年云服务产值达3000亿
《广东省云计算发展规划（2014-2020年）》（以下称“《规划》”）已由省政府正式印发，这也是我省首部云计算发展规划。《规划》不仅分近、中、远三期对我省云计算发展进行了规划，还就加快云计算基础设施建设、推进云计算技术自主创新和产业化、推进云计算普及应用等内容提出了阶段性目标。根据《规划》，到2020年，我省云服务产业规模将达3000亿元。推进光纤到楼入户进村进校《规划》提出，在2020年
2014-04-16 23:58:03
740
转载 云栖小镇联盟，马云告诉你如何玩转云计算
4月11日下午消息，阿里云携中国首个云计算产业联盟——云栖小镇联盟，参加深圳电子信息博览会，45个联盟成员首次公开亮相。阿里巴巴(滚动资讯)集团CTO王坚说：“第一天做云计算的时候，马云就说，我们的目标是在云计算上长出一个比淘宝还要大的公司”。 以下为王坚演讲节选： 政府对云计算产业的信心，是对企业最好的引导。建立产业背后的信用，是对产业最好的政策。 中国企业很难进行
2014-04-15 00:36:22
1263
转载 大数据发展狂潮方兴未艾
大数据开启了一次重大的时代转型，大数据正在改变我们的生活以及理解世界的方式，成为新发明和新服务的源泉，而更多的改变正蓄势待发。随着大数据产业的发展在全世界范围内流行开来，很多国家开始重视大数据产业的发展，我国也不能例外，要把大数据产业发展提升到国家战略层面，应明确大数据发展的战略地位，尽快开展战略性研究。
2014-04-15 00:13:30
743
转载 CITE 2014:云计算市场将迅速崛起
第二届中国电子信息博览会于2014年4月10日-12日在深圳会展中心拉开帷幕。最近云计算市场又热闹了。2014年2月18日，英特尔投资宣布投资上海一铺科技、天津中科蓝鲸和无锡华云数据3家云计算领域服务公司，英特尔自称2014年是云计算领域投资大年。3月26日，微软中国宣布由世纪互联负责运营的Windows Azure公有云服务正式商用。这是一两年前亚马逊、微软、IBM宣布进军中国公有云市场
2014-04-13 23:59:42
618
转载 Error in metadata: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.metastor
对于在使用hive过程中遇到的这个问题：Error in metadata: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.metastore.HiveMetaStoreClient
2014-04-13 23:45:11
767
原创 eclipse下无法编译HBase源代码的解决方法
右键单击HBase工程，并且选择"Properties->Java Build Path"，(1)从Source tab中Remove所有item，然后使用"Add Folder"，添加"src/java"和"src/test"；(2)在Libraries tab中使用"Add Jars"，添加"lib"和"lib/jetty-ext"下所有jar包。接
2014-04-09 00:46:44
1075
原创 应届毕业生hadoop工作拿9k
温馨提示：欢迎加入hadoop技术交流QQ群：338485052.应届生一毕业就找到了hadoop的高薪工作，这连我也不太敢相信，直接看聊天记录吧：hadoop究竟为何物，吴超为何许人也？且看他的技术博客：http://www.superwu.cn/。他也在QQ群（338485052）里哦，还不赶紧来
2014-04-04 00:06:25
809
原创 看hadoop学习视频，找到了10k的工作
温馨提示：欢迎加入hadoop技术交流群：338485052.通过看hadoop的学习视频，然后找到了1w的hadoop工作，废话不多说，直接上图：究竟是神马视频如此给力，百闻不如一见，下面直接上试听视频链接：视频一、http://pan.baidu.com/s/1o6lWWcE；视频二、http://pan.baid
2014-04-03 23:53:46
606
原创 hadoop税后12k
温馨提示：欢迎加入hadoop技术交流QQ群：338485052.废话不多说，直接上图，有图有真相，下面是聊天的截图：亲，你hold住了吗？还不赶快学习hadoop？温馨提示：欢迎加入hadoop技术交流QQ群：338485052.
2014-04-03 01:23:21
850
原创 zookeeper的集群安装
zookeeper是针对大型分布式系统的高可靠的协调系统。由此，我们可知，zookeeper是个协调系统，它的作用对象是分布式系统。那么，为什么分布式系统需要一个协调系统呢？原因如下：开发分布式系统是件灰常困难复杂的事情，其中的困难主要体现在分布式系统的“部分失败”。“
2014-03-23 16:26:25
1123
原创 Hive的安装及使用
温馨提示：欢迎加入hadoop技术交QQ流群：338485052.本篇简单介绍hive的安装及使用。一、hive的安装hive使用的版本是：hive-0.9.0.tar.gz1、解压缩、重命名、设置环境变量命令分别如下：tar -zxvf hive-0.9.0.tar.gzmv hive-0.9.0 hivevi /etc/profile
2014-03-21 12:36:54
1302
原创 Hadoop和HBase版本的匹配
hadoop版本和hbase版本之间必须遵循一定的搭配原则，否则可能会报错，具体匹配规则如下图：温馨提示：欢迎大家加入技术交流qq群：370833141。141
2014-03-20 23:53:32
1887
原创 HBase java API
温馨提示：欢迎加入hadoop技术交流QQ群：338485052.前面介绍了HBase的shell命令操作，现在介绍Hbase java API操作。开发环境：IDE:Eclipsehadoop:hadoop-1.1.2hbase: hbase-0.94.7-security1、获取Configurationprivate
2014-03-15 23:46:28
862
原创 HBase shell命令操作
温馨提示：欢迎加入hadoop技术交流QQ群：338485052.HBase提供了两种接口与用户交互，一种是shell命令，一种是java API.本篇先介绍shell命令的操作。具体命令看下面的表：一、DDL操作1、进入shell命令行：hbase shell，如下图：2、创建表用create命令创建表，
2014-03-15 17:22:45
913
原创 HBase的集群安装
温馨提示：欢迎加入hadoop技术交流QQ群：338485052.前面介绍过了HBase的伪分布安装，现在简单介绍一下HBase的集群安装方法。1、明确集群的结构，主节点HMaster是hadoop1，从节点region server 是hadoop2和hadoop3。2、修改hadoop1上的3个文件：（1）修改hbase-env.sh 最后一
2014-03-13 23:32:44
860
原创 HBase的伪分布安装
温馨提示：欢迎加入hadoop技术交流QQ群：338485052.当然，前提条件是要把hadoop的伪分布环境先搭建起来，关于hadoop的伪分布安装，大家可参考我的其他博文，在这里不再赘述。1、在hadoop0上解压缩、重命名、设置环境变量HBASE_HOME，如下：2、修改文件$HBASE_HOME/conf/hbase-env.sh
2014-03-10 23:21:10
1065
原创 Hadoop MapReduce作业的生命周期
首先，我们来看如下的一张图：作业的整个运行过程分为5个步骤：1、作业的提交和初始化。用户提交作业后，由JobClient实例将作业相关信息（jar包、配置文件xml、分片元信息等）上传到HDFS。然后，JobClient通过RPC通知JobTracker。JobTracker接收到新作业请求后，由作业调度模块对作业进行初始化，为作业创建一个JobInProgre
2014-03-10 22:23:26
1437
原创 如何把hadoop源码关联到Eclipse工程
在eclipse中阅读源码非常方便，为了方便我们平时的学习，下面讲述如何把hadoop源码导入到eclpse的java工程中。1、解压源码首先，我们在windows下使用winRar把hadoop-1.0.4.tar.gz解压，如图1所示：图1解压源码我们关注文件夹src，浏览该文件夹，如图2所示：图2 src文件夹我们需要这三个文件
2014-03-10 13:17:42
1675
原创 Linux基本命令ps
ps –ef | grep javaps是LINUX下非常常用而且非常强大的进程查看命令，常见的作用是查看一个进程是否存在。ps –ef | grep java: 查看java进程是否存在。1、ps简介要对进程进行监测和控制，首先必须要了解当前进程的情况，也就是需要查看当前进程，而ps命令就是最基本同时也是非常强大的进程查看命令。使用该命令可以确定有哪些进程正在运行和运行的状态
2014-03-10 11:15:42
931
原创 hadoop的伪分布安装
温馨提示：欢迎加入hadoop技术交流QQ群：338485052.hadoop有3种安装模式，分别是：本地模式、伪分布模式、集群模式。本文在这里只介绍伪分布安装模式。温馨提示：有意向进一步学习hadoop的伙伴，欢迎加qq:1040195253交流。1、 设置IP地址执行命令：service network restart验证：ifc
2014-03-09 23:25:59
1069
原创 Hadoop MapReduce架构简介
温馨提示：欢迎加入hadoop技术交流QQ群：338485052. MapReduce采用主从结构，JobTracker作为主节点，TaskTracker作为从节点。 其架构图详见图1所示： 图1 MapReduce架构图1、Client 用户编写的MapReduce程序通过Client提交到JobT
2014-03-09 15:23:10
1099
原创 hadoop常见错误问题及解决方法（3）
温馨提示：欢迎加入hadoop技术交流QQ群：338485052.21、从本地上传文件至HDFS文件系统，报如下错误：INFO hdfs.DFSClient: Exception in createBlockOutputStream java.io.IOException: Bad connect ack with firstBadLinkINFO hdfs.D
2014-03-08 23:36:08
1022
原创 hadoop从入门到上手工作视频（2）
温馨提示：欢迎加入超人学院hadoop技术交流QQ群：338485052.视频内容要点如下：11、分布式文件系统简介；12、HDFS的shell操作；13、NameNode体系结构；14、DataNode体系结构；15、使用浏览器查看HDFS目录结构；16、使用java操作HDFS；17、Hadoop的RPC通信原理；18、NameNode的RPC通
2014-03-08 22:55:38
1014
原创 hadoop从入门到上手工作视频（1）
学习视频内容提纲如下：1、介绍hadoop的国内外发展状况；2、介绍hadoop及其周边的很多框架；3、hadoop概念及其发展历程；4、HDFS和MapReduce的体系结构；5、hadoop的特点和集群特点；6、配置Linux环境，为搭建hadoop做准备；7、介绍如何使用SSH进行免密码登陆以及如何安装JDK；8、介绍hadoop的伪分布安装；9、使用Ec
2014-03-06 23:23:40
1186
1
原创 hadoop常见错误问题及解决方法（2）
温馨提示：欢迎加入hadoop技术交流QQ群：338485052.11、报错：/lib/ld-linux.so.2:bad ELF interpreter: 没有那个文件或目录 原因：缺少glibc.i686组件。解决方法：yum installglibc.i686 12、hadoop-site.xml:1:1: 文件提前结束原因：hadoop
2014-03-06 17:57:31
1244
原创 Hadoop常见错误问题及解决方法（1）
遇到问题以后先查看日志，以下是常见的错误情况及解决方法，希望对大家有所帮助。 1、启动hadoop时没有NameNode的可能原因：（1） NameNode没有格式化（2） 环境变量配置错误（3） Ip和hostname绑定失败 2、地址占用报错：org.apache.hadoop.hdfs.server.namenode.NameNode: Address alr
2014-03-06 00:37:35
3405
转载 Hadoop面试45个题目和参考答案
1.Hadoop集群可以运行的3个模式？单机（本地）模式伪分布式模式全分布式模式2. 单机（本地）模式中的注意点？在单机模式（standalone）中不会存在守护进程，所有东西都运行在一个JVM上。这里同样没有DFS，使用的是本地文件系统。单机模式适用于开发过程中运行MapReduce程序，这也是最少使用的一个模式。3. 伪分布模式中的注意点？
2014-03-04 18:04:49
964
原创 HDFS分布式文件系统
温馨提示：欢迎加入hadoop技术交流QQ群：338485052.一、HDFS的简介1、相关概念（1）BlockHDFS中的块Block是个抽象的概念，它比一般文件系统中的块要大得多。当我们在配置Hadoop系统参数时会看到，HDFS默认的Block为64MB。HDFS分布式文件系统的文件也被分成块进行存储，这是文件存储处理的基本逻辑单元。HDF
2014-02-28 01:16:56
1053
翻译 Hadoop虽强大，但不是万能的
温馨提示：欢迎加入hadoop技术交流QQ群：338485052.注：本文翻译自 http://www.cyanny.com/2013/12/05/hadoop-isnt-silver-bullet/ Hadoop是一个分布式海量数据计算的伟大框架。但是，hadoop并不是万能的。比如，以下场景就不适合用hadoop： 1、低延迟数据访问需要实时查询并在
2014-02-26 23:15:18
802
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人