大数据
大数据开发知识点记录和分享
全杰cc
不安分的编程人员一枚
展开
-
centos6.6下hadoop搭建live nodes为0解决方案
最重要的是检擦/etc/hosts下主机名和ip是否匹配正确,如果排除就按以下步骤就行: 首选、防火墙关闭(每台机子):service iptables stop 其次、关闭safemode模式:hadoop dfsadmin -safemode leave 再其次、先删除haoop文件夹下的log等格式化生成的文件,再重新格式化:hdfs namenode -format原创 2016-02-26 19:50:12 · 676 阅读 · 0 评论 -
Rhadoop的安装
说明 环境说明 安装Rhadoop的准备环境 必要的包 环境变量的设置 安装Rhadoop rhdfs的安装只需要在user-client上安装即可 rmr2的安装每个节点都需要安装 测试 rhdfs rmr2 Rhadoop中各个包在集群中的安装情况 补充 相关类型的文章说明环境说明操作系统:centos7.2 hadoop环境使用的是2.7.2 java使用的是1.8安装Rhadoop的准备原创 2016-08-01 13:57:39 · 1969 阅读 · 0 评论 -
hadoop文件夹上传问题
问题描述: java.net.NoRouteToHostException: 没有到主机的路由 at sun.nio.ch.SocketChannelImpl.checkConnect(Native Method) at sun.nio.ch.SocketChannelImpl.finishConnect(SocketChannelImpl.java:717)原创 2016-04-13 14:12:03 · 921 阅读 · 0 评论 -
win下eclipse链接centos7上的hadoop2.7步骤和各种错误
链接步骤 下载eclipse for java 版 下载插件hadoop_dll_winutil_271 下载 hadoop-eclipse-plugin-272rar 在eclipse中进行设置 win上环境变量问题 路径与配置文件问题 缺少jar包链接步骤1.下载eclipse for java 版eclipse win64位下载链接–>解压2.下载插件hadoop_dll_winutil_2.原创 2016-07-20 18:01:16 · 551 阅读 · 0 评论 -
Hive基本操作
hive的基本使用 新建表 查看表和数据 修改表 删除表 数据导入 数据导出 hive的基本使用新建表创建数据(文本以tab分隔) ~ vi /home/cos/demo/t_hive.txt16 2 3 61 12 13 41 2 31 17 21 3 71 2 31 1转载 2016-05-31 09:26:10 · 329 阅读 · 0 评论 -
hadoop错误各种原因
NoRouteToHostException Check system time and time zonesNoRouteToHostException错误描述: INFO hdfs.DFSClient: Exception in createBlockOutputStream java.net.NoRouteToHostException: No route to host 解决办法:是防火墙的原创 2016-07-18 10:13:18 · 1246 阅读 · 0 评论 -
Hadoop操作错误总结
文件库问题 1文件库权限问题 文件上传问题文件库问题1、文件库权限问题问题描述: 错误1:Permission denied: user=dr.who, access=READ_EXECUTE, inode="/tmp":root:supergroup:drwx-wx-wx 错误2:java.lang.RuntimeException: The root scratch dir: /t原创 2016-08-06 16:38:59 · 409 阅读 · 0 评论 -
hadoop使用put上传的错误DataStreamer Exception
错误描述: 16/03/09 14:34:07 WARN hdfs.DFSClient: DataStreamer Exception org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /test/README.txt.COPYING could only be replicated to 0 nodes原创 2016-03-09 14:48:30 · 2150 阅读 · 0 评论 -
spark运行中的各种错误
NoClassDefFoundErrorNoClassDefFoundError错误描述: Exception in thread “main” java.lang.NoClassDefFoundError: org/apache/spark/SparkConf 解决办法: maven加载依赖是 provided去掉 参考原创 2017-07-05 00:37:25 · 555 阅读 · 0 评论 -
spark中fatMap和Map的区别
直接看图:spark中flatM和Map的区别原创 2016-03-10 16:27:58 · 573 阅读 · 0 评论 -
spark中创建RDD的方式
spark中创建RDD的几种方式: 1、使用程序中的集合创建RDD(一般用于测试) 2、使用本地文件系统创建RDD(一般用于数据量大的文件的测试) 3、基于HDFS创建RDD(生产环境最常用的RDD创建方式) 4、使用s3创建RDD 5、基于数据流创建RDD package com.dt.spark import org.apache.spark.{SparkConf, Sp原创 2016-03-09 10:57:47 · 1666 阅读 · 0 评论