![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
chenlongzhen_tech
[声明] 此账号不在更新,请关注 http://blog.csdn.net/tech_chenlongzhen
展开
-
安装hadoop2.6.0参考的资料以及问题解决
Hadoop2.6单机安装 Hadoop配置常见Log错误指导 例子运行错误解决办法 Problem: Storage directory not exist2010-02-09 21:37:49,890 INFO org.apache.hadoop.hdfs.server.namenode.NameNode: STARTUP_MSG: /************************原创 2015-04-13 23:23:27 · 578 阅读 · 0 评论 -
hadoop1.x配置文件note
配置文件分析qidongshell脚本查看start-all.sh脚本,只能在主节点上执行先启动dfs ,再 mapred启动hdfs守护进程时调用start-dfs.sh shell脚本,启动mapreduce守护进程时,调用start-mapred.sh脚本查看start-dfs.sh主节点运行若先启动datanode在namenode启动之前, Datanode日志文件一直出现链接n原创 2015-09-02 09:46:55 · 426 阅读 · 0 评论 -
hadoop简介note
云openstack 构建公司的私有云hadoop4个特性 1. 扩容能力(scalable) 能可靠(reliably)地存储数据 2. 成本低 通过普通机器组成的服务器群来分发以及处理数据,这些服务器总计可以达数千个节点 3. 高效率 通过分发数据hadoop可以在数据所在的节点上并行地处理他们 4. 可靠性 自动地维护数据的多分复制, 并且在任务失败后能自动地重新部署计算任务思转载 2015-08-30 18:54:27 · 453 阅读 · 0 评论 -
mapreduce 将hdfs数据逐行写入mysql
codepackage hdfsToSQL;import java.io.IOException;import java.sql.Connection;import java.sql.DriverManager;import java.sql.ResultSet;import java.sql.SQLException;import java.sql.Statement;import or原创 2015-08-27 17:07:41 · 2197 阅读 · 1 评论 -
sqoop
http://www.aboutyun.com/thread-6242-1-1.html转载 2015-07-31 13:40:22 · 605 阅读 · 0 评论 -
WARN No appenders could be found for logger (org.apache.hadoop.util.Shell).
http://blog.sina.com.cn/s/blog_7404f71e0102v7pg.html原创 2015-08-27 16:02:25 · 2902 阅读 · 0 评论 -
利用hadoopstreaming&python导入数据库数据
参考 http://blog.csdn.net/zhaoyl03/article/details/8657031/\运行方式:${HADOOP_HOME}/bin/hadoop jar ${HADOOP_HOME}/share/hadoop/tools/lib/hadoop-streaming-2.6.0.jar -file mapper.py -file reducer.py -input原创 2015-08-25 15:14:50 · 1264 阅读 · 0 评论 -
hadoop一些命令
转载自:http://blog.csdn.net/ydpl2007/article/details/8299606hadoop fs -mkdir /tmp/input 在HDFS上新建文件夹 hadoop fs -put input1.txt /tmp/input 把本地文件input1.txt传到HDFS的/tmp/input目录下hadoop fs -ge转载 2015-05-17 09:36:40 · 462 阅读 · 0 评论 -
scala 删除hdfs文件demo
def delete(master:String,path:String): Unit ={ println("Begin delete!--" + master+path) val output = new org.apache.hadoop.fs.Path(master+path) val hdfs = org.apache.hadoop.fs.FileSys原创 2016-03-11 10:19:05 · 4689 阅读 · 0 评论