- 博客(10)
- 收藏
- 关注
RSS订阅转载 搭建spark中一般能遇到的错
一.经验1.Spark Streaming包含三种计算模式：nonstate .stateful .window2.kafka可通过配置文件使用自带的zookeeper集群3.Spark一切操作归根结底是对RDD的操作4.部署Spark任务，不用拷贝整个架包，只需拷贝被修改的文件，然后在目标服务器上编译打包。5.kafka的log.dirs不要设置成/tmp下的目录，貌似tmp目录有文件数和磁...
2018-03-02 16:51:41
1186
原创 hadoop用户启动集群时出现bash:command not found
用 su - root 切回root用户 然后再 su - Hadoop 切回普通用户，就可以start-all.sh启动集群了，前提是在普通用户的vi ~/.bash_profile 中设置好了通用路径...
2018-02-13 10:49:20
3519
原创 flume启动下出现bash:command not found
如果新装的系统，运行一些很正常的诸如：shutdown，fdisk的命令时，悍然提示：bash:command not found。那么 首先就要考虑root 的$PATH里是否已经包含了这些环境变量。 主要是这四个：/bin ,/usr/bin,/sbin,/usr/sbin。 四个主要存放的东东： ./bin: bin为binary的简写主要放置一些系统的必备执行档例如:cat、cp、chmo...
2018-02-12 21:05:25
6730
3
转载 CDH5离线安装（最新版5.3.3内置hadoop2.5.0）
http://www.cloudera.com/content/cloudera/en/documentation/core/latest/topics/installation_installation.html#../topics/cm_ig_install_path_c.html（官方的离线安装） 由于是最新版网上上资料比较少，很多问题只能翻墙去找答案。大家只要严格按照我的步骤一步...
2018-02-12 11:34:30
256
转载 HIve的基本操作
2.基本操作2.1Create Table2.1.1介绍 CREATE TABLE 创建一个指定名字的表。如果相同名字的表已经存在，则抛出异常；用户可以用 IF NOT EXIST 选项来忽略这个异常。 EXTERNAL 关键字可以让用户创建一个外部表，在建表的同时指定一个指向实际数据的路径（LOCATION），Hive 创建内部表时，会将数据移动到数据仓库指向的路径；
2018-01-24 20:51:17
747
原创 MySQL提示:The server quit without updating PID file问题的解决办法
1、可能是/usr/local/mysql/data/mysql.pid文件没有写的权限解决方法 ：给予权限，执行 “chown -R mysql:mysql /var/data” “chmod -R 755 /usr/local/mysql/data” 然后重新启动mysqld！2、可能进程里已经存在mysql进程解决方法：用命令“ps -ef|grep mysqld”查看是否有mysql...
2018-01-24 08:58:33
544
转载 mapreduce的源码
2015.07.20MapReducer源码解析（笔记） MapReducer源码解析（笔记） 第一步，读取数据源，将每一行内容解析成一个个键值对，每个键值对供map函数定义一次，数据源由FileInputFormat:指定的，程序就能从地址读取记录，读取的记录每一行内容是如何转换成一个个键值对？Mapper函数是如何调用键值对？这是由InputFormatClass完成的，它在我们的
2018-01-17 22:45:39
356
转载 MapReduce概述
Hadoop Map/Reduce是一个使用简易的软件框架，基于它写出来的应用程序能够运行在由上千个商用机器组成的大型集群上，并以一种可靠容错的方式并行处理上T级别的数据集。一个Map/Reduce 作业（job） 通常会把输入的数据集切分为若干独立的数据块，由 map任务（task）以完全并行的方式处理它们。框架会对map的输出先进行排序， 然后把结果输入给reduce任务。通常作业的输
2018-01-15 18:29:41
220
转载 Hadoop源码分析
Hadoop源代码分析（一）Google的核心竞争技术是它的计算平台。Google的大牛们用了下面5篇文章，介绍了它们的计算设施。 GoogleCluster：http://research.google.com/archive/googlecluster.htmlChubby：http://labs.google.com/papers/chubby.htmlGFS：htt
2018-01-15 11:20:23
7620
1
原创 namenode都处于standby状态
之前的集群状态一直是很好用，可能中间忙于其他的事情，有些文件失效了吧，这次运行的时候，出现了问题，那就是两个NameNode全部是StandBy的状态，这种问题存在的原因大部分都是因为Zookeeper的zkfc进程未启动成功，当然即使你启动了Zookepper进程也是没用的，因为此时只要ZKFC进程未启动的话，那么，HDFS就没办法与Zookeeper之间建立沟通的桥梁。ZKFC是ZooKeep
2018-01-15 09:09:11
3370
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人