![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
文章平均质量分 64
Helpless_pain
这个作者很懒,什么都没留下…
展开
-
mapreduce
Google三篇论文 Hadoop GFS –> HDFS mapreduce –> Mapreduce bigtable –> HBaseHadoop ** common ** HDFS ** mapreduce ** YARN mapreduce ** 分布原创 2017-04-07 15:10:54 · 522 阅读 · 0 评论 -
集群搭建
====Hadoop集群======================================================注:注意修改自己的ID** 集群** 伪分布式 集群规划: blue01 blue02 blue03 HDFS namenode原创 2017-04-11 09:55:39 · 323 阅读 · 0 评论 -
Zookeeper
====zookeeper==============================================ZooKeeper -- 动物园管理员 hadoop -- 大象 Hive -- 蜜蜂 pig -- 猪 HBase -- 马 ... ** apache的顶级开源项目 ** zo原创 2017-04-13 09:19:59 · 982 阅读 · 0 评论 -
MapReduce常用数据类型
MapReduce: ** ----MapReduce常用数据类型----------------ByteWritable:单字节数值IntWritable:整型数LongWritable:长整型数FloatWritable:浮点数DoubleWritable:双字节数值BooleanWritable:标准布尔型数值 Text:使用原创 2017-04-13 09:22:34 · 5990 阅读 · 1 评论 -
伪分布式
企业大数据来源: 1、企业内部 ** 日志文件(apache、nginx、tomcat、resin、jboss..) ** 数据库(oracle、mysql、DB2) ** 用户行为数据 2、企业外部 ** 爬虫(python) ** 第三方购买(上海数据交易中心) 大数原创 2017-04-05 10:06:31 · 740 阅读 · 0 评论 -
HDFS
====HDFS================================================HDFS(Hadoop Distributed File System) ** block:(见图) ** HDFS把文件划分成block存储在不同节点上 --默认128M(以前是64M,今后可能会变为256M) --dfs原创 2017-04-06 15:31:28 · 591 阅读 · 0 评论 -
HDFS Federation
====HDFS Federation=====================================HDFS Federation 业务1 namenode1(hdfs01) 日志文件[log] --> 分析网站PV、UV... 业务2 namenode2(hdfs02) 数据库[table] --> 用户的购买记原创 2017-04-21 11:37:10 · 414 阅读 · 0 评论