- 博客(5)
- 收藏
- 关注
RSS订阅原创 快速安装scrapy
本文是关于python2.7对scrapy的安装方法，应该python3也类似，看到网上很多博客都是对各个包进行逐一安装，曾今我也安装同样方法安装，但太浪费时间，安装一次需要好几个小时。今天安装前想时间已过这么久，应该python也在发展pip应该更加的完善，抱着试一试的态度用pip重新安装了一遍没想到如此快速。以下便是安装的方法：采用pip install scrapy 的方式进行安装 当然会
2017-05-15 20:59:21
324
原创 Hadoop学习笔记之MapReduce
MapReduce基本概念MapReduce是一种分布式计算模型，是Google提出的，主要用于搜索领域，解决海量数据的计算问题。MR有两个阶段组成：Map和Reduce，用户只需实现map()和reduce()两个函数，即可实现分布式计算。Mapreduce相关术语作业(Job):用户的每一个计算请求，就称为一个作业。 作业服务器（JobTracker）:用户提交作业的服务器，同时，它还
2017-04-17 17:13:01
516
原创 Hadoop学习笔记之HDFS
HDFS基本概念HDFS是Hadoop Distribute File System 的简称，是Hadoop的一个分布式文件系统。 分布式文件系统是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连。分布式文件系统的设计基于客户机/服务器模式。一个典型的网络可能包括多个供多用户访问的服务器。HDFS组件构成Namenode & Secondary Namenode负
2017-04-17 16:19:55
522
原创 hdfs环境搭建，datanode启动失败解决办法。
问题出现：在hdfs配置中start-dfs.sh 无法启动datanode，便无法对文件进行上传。查看日志：2017-03-03 06:03:44,639 WARN org.apache.hadoop.hdfs.server.common.Storage: java.io.IOException: Incompatible clusterIDs in /hadoop2: namenode clu
2017-04-17 16:18:12
1942
1
原创 hbase环境搭建，hmaster启动后会掉解决办法
安装和验证过程中会出现大量的问题，本次主要解决了hbase启动中hmaster在启动后就会停掉错误日志：ERROR org.apache.hadoop.hbase.master.HMasterCommandLine: Failed to start masterjava.lang.RuntimeException: HMaster Aborted问题产生原因：1. 未将hdfs中的core-s
2017-04-17 16:14:45
5066
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人